Σε συστήματα ποινικής δικαιοσύνης, πιστωτικές αγορές, αρένες απασχόλησης, διαδικασίες εισαγωγής τριτοβάθμιας εκπαίδευσης, ακόμη και δίκτυα κοινωνικής δικτύωσης, αλγόριθμοι που βασίζονται σε δεδομένα τώρα οδηγεί στη λήψη αποφάσεων με τρόπους που αγγίζουν την οικονομική, κοινωνική και πολιτική ζωή μας. Αυτά τα συστήματα λογισμικού κατατάσσουν, ταξινομούν, συσχετίζουν ή φιλτράρουν πληροφορίες, χρησιμοποιώντας κανόνες που έχουν δημιουργηθεί από ανθρώπους ή προκαλούνται από δεδομένα και επιτρέπουν συνεπή αντιμετώπιση σε μεγάλους πληθυσμούς.
Αλλά ενώ μπορεί να υπάρξουν κέρδη από αυτές τις τεχνικές, μπορούν επίσης προφυλάξεις κατά μειονεκτούντων ομάδων or ενίσχυση των διαρθρωτικών διακρίσεων. Όσον αφορά την ποινική δικαιοσύνη, για παράδειγμα, είναι δίκαιο να κρίνουμε για την αναστολή του ατόμου με βάση τις στατιστικές τάσεις που μετρούνται σε μια μεγάλη ομάδα ανθρώπων; Θα μπορούσαν να προκύψουν διακρίσεις από την εφαρμογή ενός στατιστικού μοντέλου που αναπτύχθηκε για τον πληθυσμό ενός κράτους σε άλλο, δημογραφικά διαφορετικό πληθυσμό;
Το κοινό πρέπει να κατανοήσει την προκατάληψη και τη δύναμη των αλγορίθμων που χρησιμοποιούνται στη δημόσια σφαίρα, συμπεριλαμβανομένων των κρατικών υπηρεσιών. Μια προσπάθεια με την οποία συμμετέχω, ονομάζεται αλγοριθμική λογοδοσία, επιδιώκει να καταστήσει τις επιρροές αυτών των ειδών συστημάτων σαφέστερες και ευρύτερα κατανοητές.
Οι υπάρχουσες τεχνικές διαφάνειας, όταν εφαρμόζονται σε αλγόριθμους, θα μπορούσαν να επιτρέψουν στους ανθρώπους να παρακολουθούν, να ελέγχουν και να κατακρίνουν τον τρόπο λειτουργίας αυτών των συστημάτων - ή όχι, ανάλογα με την περίπτωση. Δυστυχώς, οι κυβερνητικές υπηρεσίες φαίνονται απροετοίμαστες για έρευνες σχετικά με τους αλγόριθμους και τη χρήση τους σε αποφάσεις που επηρεάζουν σημαντικά τόσο τα άτομα όσο και το ευρύ κοινό.
Άνοιγμα αλγορίθμων για δημόσιο έλεγχο
Πέρυσι το η ομοσπονδιακή κυβέρνηση άρχισε να μελετά τα πλεονεκτήματα και τα μειονεκτήματα της χρήσης μηχανογραφημένης ανάλυσης δεδομένων για να καθοριστεί η πιθανότητα επανάληψης των φυλακισμένων κατά την αποφυλάκιση. Η βαθμολογία ατόμων ως χαμηλού, μεσαίου ή υψηλού κινδύνου μπορεί να βοηθήσει στις αποφάσεις στέγασης και θεραπείας, στον εντοπισμό ατόμων που μπορούν να αποσταλούν με ασφάλεια σε φυλακή ελάχιστης ασφάλειας ή ακόμη και σε «μισό σπίτι» ή που θα επωφεληθούν από έναν συγκεκριμένο τύπο ψυχολογική φροντίδα.
Αυτές οι πληροφορίες μπορούν να κάνουν τη διαδικασία δικαιοσύνης πιο αποτελεσματική και λιγότερο δαπανηρή, ακόμη και να μειώσουν τον συνωστισμό των φυλακών. Έχει αποδειχθεί ότι αντιμετωπίζονται οι παραβάτες χαμηλού κινδύνου όπως οι παραβάτες υψηλού κινδύνου σε μερικές μελέτες να οδηγήσουν σε εσωτερικοποίηση ως «άρρωστο» εγκληματία και χρειάζονται θεραπεία για την αποκλίνουσα συμπεριφορά τους. Ο διαχωρισμός τους μπορεί έτσι να μειώσει την ανάπτυξη αρνητικών συμπεριφορών που θα οδηγούσαν σε υποτροπή κατά την απελευθέρωση.
Dataδη υπάρχουν δεδομένα και αλγόριθμοι για τη βαθμολόγηση του κινδύνου εκ νέου εγκληματικότητας των κρατουμένων χρησιμοποιείται εκτενώς από τα κράτη για τη διαχείριση της προφυλάκισης, της αναστολής, της αναστολής, ακόμη και της καταδίκης. Αλλά είναι εύκολο για αυτούς να περάσουν απαρατήρητοι - συχνά μοιάζουν με λιτή γραφειοκρατική γραφειοκρατία.
Συνήθως οι αλγόριθμοι αναλύονται σε απλοποιημένα φύλλα βαθμολογίας που συμπληρώνονται από δημόσιους υπαλλήλους με μικρή κατανόηση των υποκείμενων υπολογισμών. Για παράδειγμα, ένας υπάλληλος της υπόθεσης μπορεί να αξιολογήσει έναν κρατούμενο χρησιμοποιώντας ένα έντυπο όπου ο υπάλληλος της υπόθεσης σημειώνει ότι ο κρατούμενος είχε καταδικαστεί για βίαιο έγκλημα, ήταν νέος κατά την πρώτη σύλληψη και δεν είχε αποφοιτήσει από το λύκειο ή δεν είχε αποκτήσει GED. Αυτοί οι παράγοντες και άλλα χαρακτηριστικά για το άτομο και το έγκλημα καταλήγουν σε μια βαθμολογία που υποδηλώνει εάν ο κρατούμενος μπορεί να είναι επιλέξιμος για αναθεώρηση της αναστολής.
Η ίδια η φόρμα, καθώς και το σύστημα βαθμολόγησής της, συχνά αποκαλύπτουν βασικά χαρακτηριστικά του αλγορίθμου, όπως οι υπό εξέταση μεταβλητές και πώς συνδυάζονται για να σχηματίσουν μια συνολική βαθμολογία κινδύνου. Αλλά αυτό που είναι επίσης σημαντικό για την αλγοριθμική διαφάνεια είναι να γνωρίζουμε πώς σχεδιάστηκαν, αναπτύχθηκαν και αξιολογήθηκαν τέτοιες φόρμες. Μόνο τότε το κοινό μπορεί να γνωρίζει εάν οι παράγοντες και οι υπολογισμοί που εμπλέκονται στην επίτευξη της βαθμολογίας είναι δίκαιοι και λογικοί, ή ανενημέρωτοι και προκατειλημμένοι.
Χρήση του νόμου για την ελευθερία της πληροφόρησης
Το βασικό μας εργαλείο για να πάρουμε στα χέρια μας αυτές τις μορφές και το υποστηρικτικό υλικό τους, είναι ο νόμος, και συγκεκριμένα, οι νόμοι για την ελευθερία της πληροφόρησης. Είναι από τους πιο ισχυρούς μηχανισμούς που έχει το κοινό στη διάθεσή του για τη διασφάλιση της διαφάνειας στην κυβέρνηση. Σε ομοσπονδιακό επίπεδο, το Νόμος περί ελευθερίας της πληροφόρησης (FOIA) επιτρέπει στο κοινό να ζητήσει επίσημα - και να περιμένει να λάβει ως αντάλλαγμα - έγγραφα από την ομοσπονδιακή κυβέρνηση. Ανάλογα καταστατικά υπάρχουν για κάθε πολιτεία.
Εγκρίθηκε το 1966, η FOIA δημιουργήθηκε πριν από την ευρεία χρήση του υπολογιστή και πολύ πριν χρησιμοποιηθούν τακτικά μεγάλα πεδία δεδομένων σε συστήματα λογισμικού για τη διαχείριση ατόμων και τις προβλέψεις. Υπήρξε κάποια αρχική έρευνα εάν η FOIA είναι σε θέση να διευκολύνει την αποκάλυψη του πηγαίου κώδικα λογισμικού. Αλλά παραμένει ένα ερώτημα σχετικά με το αν οι ισχύοντες νόμοι ανταποκρίνονται στις ανάγκες του κοινού του 21ου αιώνα: μπορούμε να κάνουμε αλγόριθμους FOIA;
Μελέτη περίπτωσης σε διαφάνεια αλγορίθμων
Ξεκίνησα να απαντήσω σε αυτήν την ερώτηση στο Philip Merrill College of Journalism στο Πανεπιστήμιο του Μέριλαντ, όπου είμαι επίκουρος καθηγητής. Το φθινόπωρο του 2015, σε συνεργασία με το μάθημα της νομικής για τα μέσα ενημέρωσης του συναδέλφου Sandy Banisky, καθοδηγήσαμε τους μαθητές να υποβάλουν αιτήματα FOIA σε κάθε ένα από τα 50 κράτη. Ζητήσαμε έγγραφα, μαθηματικές περιγραφές, δεδομένα, αξιολογήσεις επικύρωσης, συμβάσεις και πηγαίο κώδικα που σχετίζονται με αλγόριθμους που χρησιμοποιούνται στην ποινική δικαιοσύνη, όπως αποφάσεις για αποφυλάκιση και αναστολή, εγγύηση ή καταδικαστικές αποφάσεις.
Ως έργο διάρκειας ενός εξαμήνου, η προσπάθεια περιορίστηκε αναγκαστικά από το χρόνο, με πολλά εμπόδια και σχετικά λίγες επιτυχίες. Όπως και σε πολλές έρευνες δημοσιογράφων, ακόμη και το να βρεις ποιον να ρωτήσεις - και πώς - ήταν μια πρόκληση. Διαφορετικοί οργανισμοί μπορεί να είναι υπεύθυνοι για διαφορετικούς τομείς του συστήματος ποινικής δικαιοσύνης (η καταδίκη μπορεί να γίνει από τα δικαστήρια, αλλά η διαχείριση της αναστολής γίνεται από ένα Τμήμα Διορθώσεων).
Ακόμη και μετά τον εντοπισμό του σωστού προσώπου, οι μαθητές διαπίστωσαν ότι κυβερνητικοί αξιωματούχοι χρησιμοποιούσαν διαφορετική ορολογία που καθιστούσε δύσκολη την επικοινωνία των πληροφοριών που ήθελαν. Μερικές φορές, οι μαθητές έπρεπε να εργαστούν σκληρά για να εξηγήσουν τους «αλγόριθμους ποινικής δικαιοσύνης» σε έναν δημόσιο υπάλληλο που δεν είναι τόσο εξοικειωμένος με τα δεδομένα. Εκ των υστέρων, θα ήταν πιο αποτελεσματικό να ζητήσουμε «εργαλεία εκτίμησης κινδύνου», καθώς αυτός είναι ένας όρος που χρησιμοποιείται συχνά από τις κρατικές κυβερνήσεις.
Χειρισμός των απαντήσεων
Ορισμένες πολιτείες, όπως το Κολοράντο, αρνήθηκαν κατηγορηματικά το αίτημά μας, λέγοντας ότι οι αλγόριθμοι περιέχονταν σε λογισμικό, το οποίο δεν θεωρήθηκε «έγγραφο» που απαιτούσε από τους υπαλλήλους να δημοσιοποιούν οι ανοιχτοί κυβερνητικοί νόμοι. Διαφορετικές πολιτείες έχουν διαφορετικούς κανόνες σχετικά με την αποκάλυψη της χρήσης λογισμικού. Αυτό έχει βγει μερικές φορές στα δικαστήρια, όπως το 2004 αγωγή κατά της πόλης του Ντιτρόιτ για το αν θα πρέπει να δημοσιοποιηθεί ο τύπος υπολογισμού των τελών ύδρευσης που χρεώνονται σε μια γειτονική πόλη.
Στις δικές μας προσπάθειες, λάβαμε μόνο μία μαθηματική περιγραφή ενός αλγορίθμου ποινικής δικαιοσύνης: το Όρεγκον αποκαλύφθηκε τις 16 μεταβλητές και τα βάρη τους σε ένα μοντέλο που χρησιμοποιήθηκε εκεί για να προβλέψει την υποτροπή. Η πολιτεία της Βόρειας Ντακότα κυκλοφόρησε ένα υπολογιστικό φύλλο Excel που δείχνει την εξίσωση που χρησιμοποιείται για τον καθορισμό ημερομηνιών πότε οι κρατούμενοι θα είναι επιλέξιμοι να εξεταστούν για αναστολή. Από το Αϊντάχο και το Νέο Μεξικό λάβαμε έγγραφα με ορισμένες περιγραφές των εκτιμήσεων υποτροπής-κινδύνου που χρησιμοποίησαν αυτές οι πολιτείες, αλλά καμία λεπτομέρεια για το πώς αναπτύχθηκαν ή επικυρώθηκαν.
Εννέα κράτη βασίστηκαν στην άρνησή τους να αποκαλύψουν λεπτομέρειες σχετικά με τους αλγόριθμους ποινικής δικαιοσύνης στον ισχυρισμό ότι οι πληροφορίες ανήκαν πραγματικά σε μια εταιρεία. Αυτό συνεπάγεται ότι η απελευθέρωση του αλγορίθμου θα βλάψει την εταιρεία που τον ανέπτυξε. Ένα κοινό ερωτηματολόγιο κινδύνου υποτροπής, ονομάζεται LSI-R, αποδεικνύεται ότι είναι εμπορικό προϊόν, προστατεύεται από πνευματικά δικαιώματα. Πολιτείες όπως η Χαβάη και το Μέιν ισχυρίστηκαν ότι απέτρεψαν την αποκάλυψή της στο κοινό.
Η Λουιζιάνα δήλωσε ότι η σύμβασή της με τον δημιουργό μιας νέας τεχνικής αξιολόγησης κινδύνου απαγόρευσε την έκδοση των ζητούμενων πληροφοριών για έξι μήνες. Η πολιτεία του Κεντάκι ανέφερε τη σύμβασή της με έναν φιλανθρωπικό ίδρυμα ως λόγος δεν μπόρεσε να αποκαλύψει περισσότερες λεπτομέρειες. Οι ανησυχίες για ιδιόκτητες πληροφορίες μπορεί να είναι θεμιτές, αλλά δεδομένου ότι η κυβέρνηση συνηθίζει να συνάπτει συμβάσεις με ιδιωτικές εταιρείες, πώς εξισορροπούμε αυτές τις ανησυχίες έναντι ενός εξηγήσιμου και πράγματι νόμιμου συστήματος δικαιοσύνης;
Πραγματοποίηση βελτιώσεων
Η αναγκαία μεταρρύθμιση της FOIA είναι επί του παρόντος υπό συζήτηση από το Κογκρέσο. Αυτό παρέχει μια ευκαιρία για εκσυγχρονισμό του νόμου, αλλά οι προτεινόμενες αλλαγές εξακολουθούν να κάνουν ελάχιστα για να προσαρμόσουν την αυξανόμενη χρήση αλγορίθμων στην κυβέρνηση. Αλγοριθμική πληροφορία διαφάνειας μπορεί να κωδικοποιηθεί σε εκθέσεις που η κυβέρνηση δημιουργεί και δημοσιοποιεί σε τακτική βάση, ως μέρος των δραστηριοτήτων ως συνήθως.
Ως κοινωνία, πρέπει να απαιτούμε από τους υπαλλήλους πληροφόρησης να εκπαιδεύονται έτσι ώστε να είναι εγγράμματοι και πράγματι να γνωρίζουν καλά την ορολογία που μπορεί να συναντήσουν όταν το κοινό ζητά αλγόριθμους. Η ομοσπονδιακή κυβέρνηση μπορεί ακόμη και να δημιουργήσει μια νέα θέση για έναν «τσάρο αλγορίθμων», έναν διαμεσολαβητή, έργο του οποίου θα ήταν να επικοινωνεί και να διεξάγει έρευνες για την αυτοματοποίηση της κυβέρνησης.
Κανένα από τα έγγραφα που λάβαμε στην έρευνά μας δεν μας είπε πώς αναπτύχθηκαν ή αξιολογήθηκαν τα έντυπα εκτίμησης κινδύνου ποινικής δικαιοσύνης. Καθώς οι αλγόριθμοι διέπουν όλο και περισσότερο τη ζωή μας, οι πολίτες χρειάζονται - και πρέπει να απαιτούν - περισσότερη διαφάνεια.
Σχετικά με το Συγγραφέας
Nicholas Diakopoulos, Tow Fellow, Tow Center for Digital Journalism at Columbia University. Επίκουρος Καθηγητής Δημοσιογραφίας, Πανεπιστήμιο του Μέριλαντ. Η έρευνά του είναι στον τομέα της υπολογιστικής και της δημοσιογραφίας δεδομένων με έμφαση στην αλγοριθμική λογοδοσία, την απεικόνιση αφηγηματικών δεδομένων και τον κοινωνικό υπολογισμό στις ειδήσεις.
Αυτό το άρθρο δημοσιεύθηκε αρχικά στις Η Συνομιλία. Διαβάστε το αρχικό άρθρο.
Σχετικά βιβλία
at InnerSelf Market και Amazon
