Η Amazon πρόσφατα άρχισε να προσφέρει παράδοση την ίδια ημέρα σε επιλεγμένες μητροπολιτικές περιοχές. Αυτό μπορεί να είναι καλό για πολλούς πελάτες, αλλά η διάθεση δείχνει πώς η μηχανογραφική λήψη αποφάσεων μπορεί επίσης να προσφέρει μια ισχυρή δόση διακρίσεων.

Είναι λογικό ότι η εταιρεία ξεκίνησε την υπηρεσία της σε περιοχές όπου το κόστος παράδοσης θα ήταν το χαμηλότερο, προσδιορίζοντας τους ταχυδρομικούς κώδικες των πυκνοκατοικημένων χώρων που στεγάζουν πολλούς υπάρχοντες πελάτες της Amazon με επίπεδα εισοδήματος αρκετά υψηλά για να κάνουν συχνές αγορές προϊόντων για παράδοση την ίδια ημέρα. Η εταιρεία παρείχε μια ιστοσελίδα που επέτρεπε στους πελάτες να εισάγουν τον ταχυδρομικό τους κώδικα για να δουν αν τους εξυπηρετούσε η παράδοση της ίδιας ημέρας. Οι ερευνητές δημοσιογράφοι στο Bloomberg News χρησιμοποίησαν αυτήν τη σελίδα για δημιουργήστε χάρτες της περιοχής υπηρεσιών της Amazon για παράδοση αυθημερόν.

Η ανάλυση του Bloomberg αποκάλυψε ότι πολλές φτωχές αστικές περιοχές αποκλείστηκαν από την περιοχή εξυπηρέτησης, ενώ συμπεριλήφθηκαν πιο εύπορες γειτονικές περιοχές. Πολλές από αυτές τις αποκλεισμένες φτωχές περιοχές κατοικούσαν κυρίως από μειονότητες. Για παράδειγμα, ολόκληρη η Βοστώνη ήταν καλυμμένη εκτός από το Roxbury. Η κάλυψη της Νέας Υόρκης περιελάμβανε σχεδόν και τους τέσσερις δήμους αλλά εξαιρούσε εντελώς το Μπρονξ. Η κάλυψη του Σικάγου άφησε εκτός την εξαθλιωμένη νότια πλευρά, ενώ επεκτάθηκε ουσιαστικά στα πλούσια βόρεια και δυτικά προάστια.

Ενώ είναι δελεαστικό να πιστεύουμε ότι οι αποφάσεις που βασίζονται σε δεδομένα είναι αμερόληπτες, έρευνα και επιστημονική συζήτηση έχουν αρχίσει να το αποδεικνύουν η αδικία και οι διακρίσεις παραμένουν. Στο δικό μου διαδικτυακό μάθημα για την ηθική των δεδομένων, οι μαθητές το μαθαίνουν αλγόριθμοι μπορούν να κάνουν διακρίσεις. Αλλά μπορεί να υπάρχει λίγο ασήμι: Όπως υποδηλώνει η έρευνα του Bloomberg, η βάση των αποφάσεων σε δεδομένα μπορεί επίσης να διευκολύνει τον εντοπισμό πότε προκύπτουν προκαταλήψεις.

Η προκατάληψη μπορεί να είναι ακούσια

Αυτή η αδικία στην πολιτική παράδοσης της Amazon μπορεί να προκύψει για πολλούς λόγους, συμπεριλαμβανομένων κρυφές προκαταλήψεις - όπως οι υποθέσεις ότι οι πληθυσμοί κατανέμονται ομοιόμορφα. Οι σχεδιαστές αλγορίθμων πιθανότατα δεν σκοπεύουν να κάνουν διακρίσεις και δεν μπορούν καν να συνειδητοποιήσουν ότι έχει εμφανιστεί ένα πρόβλημα.

Η Amazon είπε στο Bloomberg ότι δεν είχε καμία διάκριση και υπάρχει κάθε λόγος να πιστέψει αυτόν τον ισχυρισμό. Απαντώντας στην έκθεση του Bloomberg, πόλη υπάλληλοι και άλλοι πολιτικοί κάλεσε την Amazon να διορθώσει αυτό το πρόβλημα. Η εταιρία μετακινήθηκε γρήγορα για προσθήκη οι αρχικά αποκλεισμένοι φτωχοί αστικοί ταχυδρομικοί κώδικες στην περιοχή εξυπηρέτησης.

Έγινε παρόμοια ερώτηση ρωτήθηκε από την Uber, η οποία φαίνεται να παρέχει καλύτερη εξυπηρέτηση σε περιοχές που κατοικούνται από υψηλότερες αναλογίες λευκών. Είναι πιθανό ότι θα υπάρξουν περισσότερα παραδείγματα λιανικής και βιομηχανίας υπηρεσιών ακούσιων αλγοριθμικών διακρίσεων που θα ανακαλυφθούν στο μέλλον.

Ζητάτε πάρα πολλούς αλγόριθμους;

Θα πρέπει να σταματήσουμε μια στιγμή για να εξετάσουμε εάν απαιτούμε αδικαιολόγητα αλγοριθμικές αποφάσεις. Οι εταιρείες που λειτουργούν καταστήματα από τούβλα και κονίαμα λαμβάνουν αποφάσεις τοποθεσίας συνεχώς, λαμβάνοντας υπόψη τα κριτήρια που δεν διαφέρουν τόσο από αυτά του Amazon. Τα καταστήματα προσπαθούν να έχουν τοποθεσίες που είναι βολικές για μια μεγάλη ομάδα δυνητικών πελατών με χρήματα.

Κατά συνέπεια, λίγα καταστήματα επιλέγουν να τοποθετηθούν σε φτωχές γειτονιές της πόλης. Ιδιαίτερα στο πλαίσιο των παντοπωλείων, αυτό το φαινόμενο έχει μελετηθεί εκτενώς και ο όρος «έρημο τροφίμων»Έχει χρησιμοποιηθεί για να περιγράψει αστικές περιοχές των οποίων οι κάτοικοι δεν έχουν εύκολη πρόσβαση σε φρέσκα τρόφιμα. Αυτό προκατάληψη θέσης είναι λιγότερο μελετημένο για καταστήματα λιανικής συνολικά.

Ως ενδεικτικό παράδειγμα, εξέτασα τις 55 τοποθεσίες του Μίσιγκαν της Target, μιας μεγάλης ολοκληρωμένης λιανικής αλυσίδας. Όταν ταξινόμησα κάθε ταχυδρομικό κώδικα του Μίσιγκαν με βάση το αν το μέσο εισόδημά του ήταν στο πάνω μισό ή στο κάτω μισό της χώρας, διαπίστωσα ότι μόνο 16 από τα καταστήματα Target (29 τοις εκατό) ήταν σε ταχυδρομικούς κώδικες από την ομάδα χαμηλότερου εισοδήματος. Πάνω από διπλάσια, 39 καταστήματα, τοποθετήθηκαν σε ταχυδρομικούς κώδικες από το πιο εύπορο μισό.

Προσδιορισμός των διακρίσεων

Επιπλέον, δεν υπάρχουν καταστήματα Target στην πόλη του Ντιτρόιτ, αν και υπάρχουν αρκετά στα (πλουσιότερα) προάστιά της. Ωστόσο, δεν έχει υπάρξει λαϊκή κατακραυγή που να ισχυρίζεται ότι ο Target κάνει άδικες διακρίσεις εις βάρος των φτωχών ανθρώπων στις αποφάσεις τοποθεσίας του καταστήματός του. Υπάρχουν δύο κύριοι λόγοι που δικαιολογούνται οι ανησυχίες για την Amazon: η ακαμψία και η κυριαρχία.

Η ακαμψία έχει να κάνει τόσο με τις διαδικασίες λήψης αποφάσεων του διαδικτυακού λιανοπωλητή όσο και με το αποτέλεσμα. Η Amazon αποφασίζει ποιοι ταχυδρομικοί κώδικες βρίσκονται στην περιοχή υπηρεσιών της. Εάν ένας πελάτης ζει ακριβώς απέναντι από το όριο που έχει ορίσει η Amazon, βρίσκεται έξω από την περιοχή εξυπηρέτησης και μπορεί να κάνει λίγα γι 'αυτό. Αντίθετα, κάποιος που ζει σε ταχυδρομικό κώδικα χωρίς κατάστημα Target μπορεί ακόμα να ψωνίσει στο Target - αν και μπορεί να χρειαστεί περισσότερος χρόνος για να φτάσει εκεί.

Έχει επίσης σημασία πόσο κυρίαρχος είναι ένας λιανοπωλητής στο μυαλό των καταναλωτών. Ενώ το Target είναι μόνο μία από τις πολλές αλυσίδες καταστημάτων, η Amazon απολαμβάνει κυριαρχία στην αγορά ως λιανοπωλητής ιστού, και ως εκ τούτου προσελκύει περισσότερη προσοχή. Μια τέτοια κυριαρχία είναι χαρακτηριστικό του σημερινού νικητής-παίρνει όλα διαδικτυακές επιχειρήσεις.

Ενώ η ακαμψία και η κυριαρχία τους μπορεί να μας προκαλέσει μεγαλύτερη ανησυχία για τις διαδικτυακές επιχειρήσεις, είμαστε επίσης σε θέση να εντοπίσουμε τις διακρίσεις τους από ό, τι για τα καταστήματα με τούβλα και κονίαμα. Για ένα παραδοσιακό κατάστημα αλυσίδων, πρέπει να μαντέψουμε πόσο μακριά είναι διατεθειμένοι να ταξιδέψουν οι καταναλωτές. Mayσως χρειαστεί επίσης να γνωρίζουμε το χρόνο: Πέντε μίλια από την επόμενη έξοδο του αυτοκινητόδρομου δεν είναι το ίδιο πράγμα με πέντε μίλια μέσω κυκλοφοριακών δρόμων στην άλλη πλευρά της πόλης. Επιπλέον, ο ίδιος ο χρόνος ταξιδιού μπορεί να ποικίλει σημαντικά ανάλογα με την ώρα της ημέρας. Αφού προσδιορίσετε τις πιθανές περιοχές που εξυπηρετεί ένα κατάστημα, ενδέχεται να μην χαρτογραφούνται τακτοποιημένα σε γεωγραφικές ενότητες για τις οποίες έχουμε στατιστικά στοιχεία σχετικά με τη φυλή ή το εισόδημα. Εν ολίγοις, η ανάλυση είναι ακατάστατη και απαιτεί μεγάλη προσπάθεια.

Αντίθετα, οι δημοσιογράφοι στο Bloomberg θα χρειάζονταν μόνο λίγες ώρες για να αναπτύξουν έναν χάρτη της περιοχής υπηρεσιών της Amazon και να τον συσχετίσουν με το εισόδημα ή τη φυλή. Εάν η Amazon το είχε κάνει αυτό εσωτερικά, θα μπορούσε να είχε κάνει την ίδια ανάλυση σε λίγα λεπτά-και ίσως να είχε παρατηρήσει τα προβλήματα και να τα διορθώσει πριν καν ξεκινήσει η υπηρεσία της ίδιας ημέρας.

Πώς συγκρίνονται οι άνθρωποι;

Ας ρίξουμε μια ματιά σε ένα πολύ διαφορετικό παράδειγμα για να δούμε πώς εφαρμόζονται ευρέως τα ίδια σημεία. Πρόσφατα, δημοσιεύτηκε η ProPublica μια εξαιρετική ανάλυση των φυλετικών διακρίσεων από έναν αλγόριθμο που προβλέπει την πιθανότητα ενός εγκληματία να προσβάλει ξανά. Ο αλγόριθμος εξετάζει δεκάδες παράγοντες και υπολογίζει μια εκτίμηση πιθανότητας. Η ανάλυση της ProPublica βρήκε σημαντική συστηματική φυλετική προκατάληψη, παρόλο που η φυλή δεν ήταν μεταξύ των συγκεκριμένων παραγόντων που εξετάστηκαν.

Χωρίς τον αλγόριθμο, ένας ανθρώπινος δικαστής θα έκανε μια παρόμοια εκτίμηση, ως μέρος μιας απόφασης καταδίκης ή αποφυλάκισης. Η ανθρώπινη απόφαση μπορεί να λάβει υπόψη ένα πλουσιότερο σύνολο παραγόντων, όπως η συμπεριφορά του δικαστή στην αίθουσα του εγκληματία. Αλλά ξέρουμε, από σπουδές στην ψυχολογία, Ότι η λήψη ανθρώπινων αποφάσεων είναι γεμάτη μεροληψία, ακόμα και όταν προσπαθούμε να είμαστε δίκαιοι.

Αλλά τυχόν λάθη που προκύπτουν από προκατάληψη στις αποφάσεις των ανθρώπινων δικαστών είναι πιθανό να είναι διαφορετικά μεταξύ των δικαστών, ακόμη και για διαφορετικές αποφάσεις που λαμβάνονται από τον ίδιο δικαστή. Συνολικά, μπορεί να υπάρχουν φυλετικές διακρίσεις λόγω υποσυνείδητη προκατάληψη, αλλά η τελική διαπίστωση αυτού είναι δύσκολο. Μια μελέτη του αμερικανικού υπουργείου Δικαιοσύνης βρήκε ισχυρά στοιχεία για ανισότητες στην καταδίκη λευκών και μαύρων καταδίκων, αλλά δεν μπόρεσε να καθορίσει με σαφήνεια εάν η ίδια η φυλή ήταν παράγοντας σε αυτές τις αποφάσεις.

Αντίθετα, ο ίδιος ακριβώς αλγόριθμος που εξέτασε η ProPublica χρησιμοποιείται σε χιλιάδες περιπτώσεις σε πολλές πολιτείες. Η ακαμψία του και ο μεγάλος όγκος του, διευκολύνουν το έργο του προσδιορισμού της διάκρισης - και μπορεί να προσφέρει τρόπους αποτελεσματικής διόρθωσης του προβλήματος.

Η χρήση της τεχνολογίας των πληροφοριών φαίνεται να κάνει τις γραμμές πιο φωτεινές, τις διαφορές πιο έντονες και τα δεδομένα για όλα αυτά πολύ πιο εύκολα διαθέσιμα. Αυτό που θα μπορούσε να βουρτσιστεί κάτω από το χαλί χθες τώρα φωνάζει για προσοχή. Καθώς βρίσκουμε ολοένα και περισσότερες χρήσεις για αλγορίθμους που βασίζονται σε δεδομένα, δεν είναι ακόμη συνηθισμένο να αναλύουμε τη δικαιοσύνη τους, ιδιαίτερα πριν από την κυκλοφορία μιας νέας υπηρεσίας που βασίζεται σε δεδομένα. Κάνοντάς το έτσι θα πάει πολύ στη μέτρηση και τη βελτίωση της δικαιοσύνης αυτών των ολοένα και πιο σημαντικών υπολογιστικών υπολογισμών.

Σχετικά με το Συγγραφέας

HV Jagadish, Bernard A Galler Collegiate Professor of Electrical Engineering and Computer Science, Πανεπιστήμιο του Michigan

Αυτό το άρθρο δημοσιεύθηκε αρχικά στις Η Συνομιλία. Διαβάστε το αρχικό άρθρο.

Σχετικά βιβλία

at InnerSelf Market και Amazon