Οι αλγόριθμοι αναγνώρισης προσώπου δοκιμάζονται συνήθως χρησιμοποιώντας λευκά πρόσωπα, με αποτέλεσμα η τεχνολογία να μην μπορεί να κάνει διάκριση μεταξύ φυλετικών ατόμων. (Shutterstock)
Η αστυνομία του Ντιτρόιτ συνέλαβε λανθασμένα τον Robert Julian-Borchak Williams τον Ιανουάριο του 2020 για ένα περιστατικό κλοπής καταστημάτων που είχε συμβεί δύο χρόνια νωρίτερα. Παρόλο που ο Ουίλιαμς δεν είχε καμία σχέση με το περιστατικό, η τεχνολογία αναγνώρισης προσώπου που χρησιμοποιήθηκε από την αστυνομία του Μίσιγκαν «ταίριαξε» στο πρόσωπό του με μια κοκκώδη εικόνα που αποκτήθηκε από ένα βίντεο παρακολούθησης στο κατάστημα που έδειχνε έναν άλλο Αφροαμερικανό να παίρνει ρολόγια αξίας 3,800 δολαρίων ΗΠΑ.
Δύο εβδομάδες αργότερα, η υπόθεση απορρίφθηκε κατόπιν αιτήματος της εισαγγελίας. Ωστόσο, βασιζόμενος στον ελαττωματικό αγώνα, η αστυνομία είχε ήδη χειροπέδες και συνέλαβε τον Ουίλιαμς μπροστά από την οικογένειά του, τον ανάγκασε να του δώσει μια κούπα, δακτυλικά αποτυπώματα και δείγμα του DNA του, τον ανακρίθηκε και τον φυλάκισε μια νύχτα.
Οι ειδικοί προτείνουν ότι ο Ουίλιαμς δεν είναι μόνος, και ότι άλλοι έχουν υποστεί παρόμοιες αδικίες. Η συνεχιζόμενη διαμάχη σχετικά με τη χρήση της Clearview AI από την αστυνομία υπογραμμίζει σίγουρα τους κινδύνους απορρήτου που θέτει η τεχνολογία αναγνώρισης προσώπου. Αλλά είναι σημαντικό να το συνειδητοποιήσουμε δεν φέρουμε όλοι μας αυτούς τους κινδύνους εξίσου.
Εκπαίδευση ρατσιστικών αλγορίθμων
Τεχνολογία αναγνώρισης προσώπου που είναι εκπαιδευμένος και συντονισμένος στα καυκάσια πρόσωπα συστηματικά εσφαλμένα αναγνωρίσεις και λανθασμένες επισημάνσεις ρατσισμένων ατόμων: πολλές μελέτες αναφέρουν ότι η τεχνολογία αναγνώρισης προσώπου είναι «ελαττωματικό και μεροληπτικό, με σημαντικά υψηλότερα ποσοστά σφαλμάτων όταν χρησιμοποιείται έναντι ατόμων χρώματος. "
Αυτός ο διαλογισμός στα υπονομεύει την ατομικότητα και την ανθρωπότητα των φυλετικών ατόμων που είναι πιο πιθανό να αναγνωριστούν εσφαλμένα ως εγκληματίες. Η τεχνολογία - και τα σφάλματα ταυτοποίησης που κάνει - αντικατοπτρίζει και περαιτέρω ενθαρρύνει μακροχρόνιες κοινωνικές διαιρέσεις που είναι βαθιά εμπλεγμένες με τον ρατσισμό, το σεξισμό, την ομοφοβία, την αποικιοκρατία και άλλους διασταυρούμενους καταπιεσμούς.
{vembed Y=vSuDE6wvQlU}
Μια έρευνα της France24 για φυλετική προκατάληψη στην τεχνολογία αναγνώρισης προσώπου.
Πώς η τεχνολογία κατηγοριοποιεί τους χρήστες
Στο βιβλίο του που αλλάζει το παιχνίδι του 1993, Το Panoptic Sort, ο μελετητής Όσκαρ Γκάντι προειδοποίησε ότι «η περίπλοκη τεχνολογία [που] περιλαμβάνει τη συλλογή, επεξεργασία και ανταλλαγή πληροφοριών σχετικά με άτομα και ομάδες που δημιουργούνται μέσω της καθημερινής τους ζωής… χρησιμοποιείται για το συντονισμό και τον έλεγχο της πρόσβασής τους στα αγαθά και τις υπηρεσίες που καθορίζουν τη ζωή στο τη σύγχρονη καπιταλιστική οικονομία. " Η επιβολή του νόμου το χρησιμοποιεί για να μαζέψει ύποπτους από το ευρύ κοινό και οι ιδιωτικοί οργανισμοί το χρησιμοποιούν για να καθορίσουν εάν έχουμε πρόσβαση σε πράγματα όπως τραπεζιτικές εργασίες και εργασία.
Ο Γκάντι προειδοποίησε προφητικά ότι, εάν αφεθεί ανεξέλεγκτο, αυτή η μορφή «κυβερνητικής τριχοφυΐας» θα έβλαπτε εκθετικά τα μέλη των κοινοτήτων που αναζητούν ισότητα - για παράδειγμα, ομάδες που είναι ρατσισμένες ή κοινωνικοοικονομικά μειονεκτικές - τόσο ως προς το τι θα τους χορηγηθεί όσο και πώς μπορεί να καταλάβουν τον εαυτό τους.
Περίπου 25 χρόνια αργότερα, ζούμε τώρα με το πανοπτικό είδος στα στεροειδή. Και τα παραδείγματα των αρνητικών επιπτώσεών του στις κοινότητες που αναζητούν ισότητα αφθονούν, όπως η εσφαλμένη αναγνώριση του Ουίλιαμς.
Προϋπάρχουσα προκατάληψη
Αυτή η ταξινόμηση χρησιμοποιώντας αλγόριθμους διεισδύει στις πιο θεμελιώδεις πτυχές της καθημερινής ζωής, προκαλώντας τόσο άμεση όσο και δομική βία.
Η άμεση βία που βιώνει ο Ουίλιαμς είναι άμεσα εμφανής στα γεγονότα γύρω από τη σύλληψη και την κράτησή του, και οι ατομικές βλάβες που υπέστη είναι προφανείς και μπορούν να εντοπιστούν στις ενέργειες της αστυνομίας που επέλεξε να βασιστεί στον «αγώνα» της τεχνολογίας για τη σύλληψη. Πιο ύπουλη είναι η δομική βία διαπράττονται μέσω της τεχνολογίας αναγνώρισης προσώπου και άλλες ψηφιακές τεχνολογίες που βαθμολογούν, ταιριάζουν, κατηγοριοποιούν και ταξινομούν τα άτομα με τρόπους που μεγεθύνουν τα προϋπάρχοντα πρότυπα διάκρισης
Οι βλάβες στη δομική βία είναι λιγότερο προφανείς και λιγότερο άμεσες και προκαλούν τραυματισμό σε ομάδες που αναζητούν ισότητα μέσω συστηματικής άρνησης εξουσίας, πόρων και ευκαιριών. Ταυτόχρονα, αυξάνει τον άμεσο κίνδυνο και βλάβη σε μεμονωμένα μέλη αυτών των ομάδων.
Προγνωστικές αστυνομικές χρήσεις αλγοριθμική επεξεργασία ιστορικών δεδομένων για την πρόβλεψη πότε και πού είναι πιθανό να προκύψουν νέα εγκλήματα, εκχωρεί αναλόγως τους πόρους της αστυνομίας και ενσωματώνει ενισχυμένη αστυνομική παρακολούθηση σε κοινότητες, συνήθως σε γειτονιές χαμηλού εισοδήματος και φυλετικές. Αυτό αυξάνει τις πιθανότητες οποιασδήποτε εγκληματικής δραστηριότητας - συμπεριλαμβανομένης της λιγότερο σοβαρής εγκληματικής δραστηριότητας που διαφορετικά δεν θα προκαλούσε αστυνομική απάντηση - θα εντοπιστεί και θα τιμωρηθεί, περιορίζοντας τελικά τις πιθανότητες ζωής των ανθρώπων που ζουν σε αυτό το περιβάλλον.
Και τα στοιχεία για τις ανισότητες σε άλλους τομείς συνεχίζουν να αυξάνονται. Εκατοντάδες μαθητές στο Ηνωμένο Βασίλειο διαμαρτυρήθηκε στις 16 Αυγούστου για τα καταστροφικά αποτελέσματα της Οφουαλ, ένας ελαττωματικός αλγόριθμος που χρησιμοποίησε η κυβέρνηση του Ηνωμένου Βασιλείου για να καθορίσει ποιοι φοιτητές θα πληρούν τις προϋποθέσεις για πανεπιστήμιο. Το 2019, η υπηρεσία διαφημίσεων μικρο-στόχευσης του Facebook βοήθησε δεκάδες εργοδότες του δημόσιου και του ιδιωτικού τομέα εξαίρεση ατόμων από τη λήψη διαφημίσεων εργασίας βάσει ηλικίας και φύλου. Έγινε τεκμηρίωση της έρευνας που πραγματοποιήθηκε από την ProPublica φυλετική διάκριση τιμών για διαδικτυακά προϊόντα. Και οι μηχανές αναζήτησης παράγουν τακτικά ρατσιστικά και σεξιστικά αποτελέσματα.
Διαιωνίζοντας την καταπίεση
Αυτά τα αποτελέσματα έχουν σημασία επειδή διαιωνίζουν και εμβαθύνουν τις προϋπάρχουσες ανισότητες με βάση χαρακτηριστικά όπως η φυλή, το φύλο και η ηλικία. Έχουν επίσης σημασία επειδή επηρεάζουν βαθιά τον τρόπο με τον οποίο γνωρίζουμε τον εαυτό μας και τον κόσμο γύρω μας, μερικές φορές προεπιλογή των πληροφοριών λαμβάνουμε με τρόπους που ενισχύουν τις στερεότυπες αντιλήψεις. Ακόμη και οι ίδιες οι εταιρείες τεχνολογίας αναγνωρίζουν το επείγον να σταματήσουν οι αλγόριθμοι να διαιωνίσουν τις διακρίσεις.
Μέχρι σήμερα η επιτυχία των ad hoc ερευνών, που πραγματοποιήθηκαν από τις ίδιες τις εταιρείες τεχνολογίας, ήταν ασυνεπής. Περιστασιακά, εταιρείες που εμπλέκονται στην παραγωγή συστημάτων διακρίσεων τις αποσύρουν από την αγορά, όπως πότε Η Clearview AI ανακοίνωσε ότι δεν θα προσφέρει πλέον τεχνολογία αναγνώρισης προσώπου στον Καναδά. Συχνά όμως τέτοιες αποφάσεις προκύπτουν μόνο από ρυθμιστικό έλεγχο ή δημόσια κατακραυγή μετά μέλη των κοινοτήτων που αναζητούν ισότητα έχουν ήδη πληγεί.
Ήρθε η ώρα να δώσουμε στα ρυθμιστικά μας όργανα τα εργαλεία που χρειάζονται για την αντιμετώπιση του προβλήματος. Οι απλές προστασίες απορρήτου που εξαρτώνται από την απόκτηση ατομικής συγκατάθεσης για τη δυνατότητα συλλογής και επαναπροσδιορισμού των δεδομένων από εταιρείες δεν μπορούν να διαχωριστούν από τα διακριτικά αποτελέσματα αυτής της χρήσης. Αυτό ισχύει ιδιαίτερα σε μια εποχή που οι περισσότεροι από εμάς (συμπεριλαμβανομένων των ίδιων των εταιρειών τεχνολογίας) δεν μπορεί να κατανοήσει πλήρως τι κάνουν οι αλγόριθμοι ή γιατί παράγουν συγκεκριμένα αποτελέσματα.
Η ιδιωτικότητα είναι ανθρώπινο δικαίωμα
Μέρος της λύσης συνεπάγεται την κατάρρευση των υφιστάμενων ρυθμιστικών σιλό που αντιμετωπίζουν την ιδιωτική ζωή και τα ανθρώπινα δικαιώματα ως ξεχωριστά ζητήματα. Η στήριξη σε ένα μοντέλο προστασίας δεδομένων βασισμένο στη συγκατάθεση έρχεται αντιμέτωπη με τη βασική αρχή ότι η ιδιωτικότητα και η ισότητα είναι και τα δύο ανθρώπινα δικαιώματα που δεν μπορούν να συμβιβαστούν.
Even Ψηφιακός Χάρτης του Καναδά - η τελευταία προσπάθεια της ομοσπονδιακής κυβέρνησης να ανταποκριθεί στις αδυναμίες της τρέχουσας κατάστασης του ψηφιακού περιβάλλοντος - διατηρεί αυτές τις εννοιολογικές διακρίσεις. Αντιμετωπίζει το μίσος και τον εξτρεμισμό, τον έλεγχο και τη συγκατάθεση, και την ισχυρή δημοκρατία ως ξεχωριστές κατηγορίες.
Για την αντιμετώπιση των αλγοριθμικών διακρίσεων, πρέπει να αναγνωρίσουμε και να πλαισιώσουμε τόσο την ιδιωτικότητα όσο και την ισότητα ως ανθρώπινα δικαιώματα. Και πρέπει να δημιουργήσουμε μια υποδομή που να είναι εξίσου προσεκτική και εξειδικευμένη και στα δύο. Χωρίς τέτοιες προσπάθειες, η γυαλιστερή λάμψη των μαθηματικών και της επιστήμης θα συνεχίσει να καμουφλάρει τις προκαταλήψεις που προκαλούν διακρίσεις από την τεχνητή νοημοσύνη.
Σχετικά με τους Συγγραφείς
Jane Bailey, Καθηγήτρια Νομικής και Συν-Ηγέτης του The eQuality Project, L'Université d'Ottawa / Πανεπιστήμιο της Οτάβα; Jacquelyn Burkell, Αναπληρωτής Αντιπρόεδρος, Έρευνας, Δυτικό Πανεπιστήμιο, και Valerie Steeves, πλήρης καθηγητής, L'Université d'Ottawa / Πανεπιστήμιο της Οτάβα
Αυτό το άρθρο αναδημοσιεύθηκε από το Η Συνομιλία υπό την άδεια Creative Commons. Διαβάστε το αρχικό άρθρο.
Βιβλία για την ανισότητα από τη λίστα με τα Best Sellers του Amazon
"Cast: The Origins of Our discontents"
από την Isabel Wilkerson
Σε αυτό το βιβλίο, η Isabel Wilkerson εξετάζει την ιστορία των συστημάτων καστών σε κοινωνίες σε όλο τον κόσμο, συμπεριλαμβανομένων των Ηνωμένων Πολιτειών. Το βιβλίο διερευνά την επίδραση της κάστας στα άτομα και την κοινωνία και προσφέρει ένα πλαίσιο για την κατανόηση και την αντιμετώπιση της ανισότητας.
Κάντε κλικ για περισσότερες πληροφορίες ή για παραγγελία
"Το χρώμα του νόμου: Μια ξεχασμένη ιστορία του πώς η κυβέρνησή μας διαχώρισε την Αμερική"
από τον Richard Rothstein
Σε αυτό το βιβλίο, ο Richard Rothstein διερευνά την ιστορία των κυβερνητικών πολιτικών που δημιούργησαν και ενίσχυσαν τον φυλετικό διαχωρισμό στις Ηνωμένες Πολιτείες. Το βιβλίο εξετάζει τον αντίκτυπο αυτών των πολιτικών σε άτομα και κοινότητες και προσφέρει μια έκκληση για δράση για την αντιμετώπιση της συνεχιζόμενης ανισότητας.
Κάντε κλικ για περισσότερες πληροφορίες ή για παραγγελία
"Το άθροισμα μας: Τι κοστίζει ο ρατσισμός σε όλους και πώς μπορούμε να ευημερήσουμε μαζί"
από τη Heather McGhee
Σε αυτό το βιβλίο, η Heather McGhee διερευνά το οικονομικό και κοινωνικό κόστος του ρατσισμού και προσφέρει ένα όραμα για μια πιο δίκαιη και ευημερούσα κοινωνία. Το βιβλίο περιλαμβάνει ιστορίες ατόμων και κοινοτήτων που αμφισβήτησαν την ανισότητα, καθώς και πρακτικές λύσεις για τη δημιουργία μιας κοινωνίας χωρίς αποκλεισμούς.
Κάντε κλικ για περισσότερες πληροφορίες ή για παραγγελία
«Ο μύθος του ελλείμματος: Σύγχρονη νομισματική θεωρία και η γέννηση της λαϊκής οικονομίας»
από τη Στέφανι Κέλτον
Σε αυτό το βιβλίο, η Stephanie Kelton αμφισβητεί τις συμβατικές ιδέες σχετικά με τις κρατικές δαπάνες και το εθνικό έλλειμμα και προσφέρει ένα νέο πλαίσιο για την κατανόηση της οικονομικής πολιτικής. Το βιβλίο περιλαμβάνει πρακτικές λύσεις για την αντιμετώπιση της ανισότητας και τη δημιουργία μιας πιο δίκαιης οικονομίας.
Κάντε κλικ για περισσότερες πληροφορίες ή για παραγγελία
"The New Jim Crow: Mass Incarceration in the Age of Colorblindness"
της Μισέλ Αλεξάντερ
Σε αυτό το βιβλίο, η Michelle Alexander διερευνά τους τρόπους με τους οποίους το σύστημα ποινικής δικαιοσύνης διαιωνίζει τη φυλετική ανισότητα και τις διακρίσεις, ιδιαίτερα κατά των Μαύρων Αμερικανών. Το βιβλίο περιλαμβάνει μια ιστορική ανάλυση του συστήματος και των επιπτώσεών του, καθώς και μια έκκληση για δράση για μεταρρύθμιση.
