Οι ειδικοί το έκαναν καταστροφικά λάθος, σύμφωνα με τον Dominic Cummings, πρώην επικεφαλής σύμβουλο του πρωθυπουργού του Ηνωμένου Βασιλείου Μπόρις Τζόνσον. Ο Cummings υποστήριξε ότι οι επίσημες επιστημονικές συμβουλές της βρετανικής κυβέρνησης τον Μάρτιο του 2020 παρανόησαν πολύ τον τρόπο με τον οποίο θα εκδηλώθηκε η πανδημία, με αποτέλεσμα να καθυστερήσει το κλείδωμα που κόστισε χιλιάδες ζωές.

Σύμφωνα με τον Cummings, ήταν ορισμένοι ειδικοί με λιγότερες γνώσεις πανδημίας ή ιατρικής - όπως ο επιστήμονας δεδομένων Ben Warner, ο ερευνητής τεχνητής νοημοσύνης Demis Hassabis του DeepMind και ο μαθηματικός Tim Gowers - που έδωσαν πιο ακριβείς προβλέψεις σε αυτό το σημείο.

Το Cummings είναι επίσης γνωστό ότι είναι ανεμιστήρας of Υπερπροστασία από τον Philip Tetlock, ένα βιβλίο για άτομα που προβλέπουν μελλοντικά γεγονότα πιο αξιόπιστα από τα περισσότερα. Μερικοί υπερ-εκπαιδευτές έχουν εγκωμιάσει για τις προβλέψεις τους για την πανδημία, ενώ άλλοι έχουν επίσης επικρίνει τους εμπειρογνώμονες εγγραφή.

Θα έπρεπε λοιπόν οι κυβερνήσεις να κάνουν μεγαλύτερη χρήση των υπερ-εκπαιδευτών αντί να βασίζονται σε επιστημονικούς εμπειρογνώμονες; Τα στοιχεία δεν είναι τόσο ξεκάθαρα. Αλλά σίγουρα φαίνεται να υπάρχουν πράγματα που οι κυβερνήσεις θα μπορούσαν να μάθουν από την υπερ-πρόβλεψη.

Σε διάσημη αμερικανική μελέτη σε superforecasters που δημοσιεύθηκαν το 2014, ήταν ένα ελίτ πλήρωμα. Μόνο το κορυφαίο 2% των διεκδικητών απέδωσε αρκετά καλά σε ένα τουρνουά γεωπολιτικής πρόβλεψης για να κερδίσει τον τίτλο. Ο στόχος τους ήταν να δώσουν πιθανότητες σε πιθανές απαντήσεις σε δεκάδες ερωτήσεις.

Οι ερευνητές παρέχουν μερικά επεξηγηματικά παραδείγματα. Ποιος θα ήταν ο πρόεδρος της Ρωσίας το 2012; Θα πυροδοτήσει η Βόρεια Κορέα ένα άλλο πυρηνικό όπλο τους επόμενους τρεις μήνες; Πόσοι πρόσφυγες θα φύγουν από τη Συρία το επόμενο έτος;

Φυσικά, επειδή κάποιος κάνει καλά ένα χρόνο δεν αποδεικνύει ότι είναι πιο ειδικευμένος από οποιονδήποτε άλλο. Ίσως απλά τυχεροί. Πρέπει να δούμε πόσο καλά έκαναν τα επόμενα χρόνια για να αξιολογήσουμε πόσο «σούπερ» είναι πραγματικά.

Εντυπωσιακά, αυτοί οι superforecasters διατήρησαν το πλεονέκτημά τους καθώς το τουρνουά φορούσε για τρία ακόμη χρόνια. Στην πραγματικότητα, αφού συνδυάστηκαν σε «ομάδες υπερπροστασίας» που περιέχουν μόνο άλλες κορυφαίες επιδόσεις, η απόδοσή τους αυξήθηκε κατά ένα σημαντικό περιθώριο. Οι ερευνητές διαπίστωσαν επίσης ότι η εργασία σε ομάδες και η λήψη σχετικής εκπαίδευσης βελτίωσαν την απόδοση για άλλους προγνώστες, σε σύγκριση με τους προγνώστες σε κατάσταση ελέγχου.

Ομάδες και εκπαίδευση

Είτε παίρνουμε είτε όχι τον Cummings στο λόγο του ότι ο σχεδιασμός πανδημίας του Ηνωμένου Βασιλείου υπέφερε από μια «κλασική φούσκα ομαδικής σκέψης», γνωρίζουμε ότι οι ομάδες δεν παίρνουν πάντα σοφές αποφάσεις. Τι ήταν αυτό που έκανε τις ομάδες πιο επιτυχημένες στη μελέτη των ΗΠΑ;

Είναι δύσκολο να το πούμε σίγουρα, αλλά οι ερευνητές ενθάρρυναν συγκεκριμένα τις ομάδες να υποβάλουν συγκεκριμένες ερωτήσεις για να ενθαρρύνουν τη σαφέστερη σκέψη για τα στοιχεία που υποστηρίζουν μια συγκεκριμένη πρόβλεψη, να «αναζητήσουν στοιχεία που έρχονται σε αντίθεση με την τρέχουσα πρόβλεψή σας» και να εισαγάγουν εποικοδομητικά εναλλακτικές απόψεις .

Μια τέτοια συζήτηση μπορεί βελτίωση της συλλογικής κρίσης και προφυλάξτε από το groupthink. Ούτε τα μέλη της ομάδας έπρεπε να καταλήξουν σε συναίνεση. Αν και μοιράστηκαν πληροφορίες και απόψεις, έκαναν ακόμη μεμονωμένες προβλέψεις που συνδυάστηκαν με αλγόριθμο. Οι ομάδες του Superforecaster ήταν ιδιαίτερα πολύ αφοσιωμένος, συχνά κοινή χρήση πληροφοριών και ερωτήσεις άλλων μελών της ομάδας.

Μια άλλη μελέτη πήρε μια πιο προσεκτική ματιά σε ποιες συγκεκριμένες τεχνικές προπόνησης φαινόταν να βοηθούν περισσότερο. Τρεις τεχνικές συσχετίστηκαν ιδιαίτερα με μεγαλύτερη ακρίβεια. Το πρώτο ήταν η χρήση των λεγόμενων κατηγοριών σύγκρισης.

Για παράδειγμα, αν προσπαθώ να προβλέψω την πιθανότητα ότι ο Benedict Cumberbatch και η Sophie Hunter θα είναι ακόμα μαζί σε πέντε χρόνια, μπορεί να είναι χρήσιμο να σκεφτούμε άλλες «τάξεις» που είναι σχετικές - ας πούμε, την τάξη των γάμων διασημοτήτων ή ακόμα και γάμοι γενικά. Αυτό μου επιτρέπει να κοιτάξω στην ιστορία για να ενημερώσω τις προβλέψεις μου: Ποιο ποσοστό γάμων διασημοτήτων τελειώνουν σε οποιαδήποτε δεδομένη πενταετή περίοδο;

Το δεύτερο ήταν η χρήση μαθηματικών και στατιστικών μοντέλων, όταν είναι διαθέσιμα, για την ενημέρωση των απόψεων. Το τρίτο ήταν να «επιλέξετε τις σωστές ερωτήσεις» - μια πρόταση για να αφιερώσετε περισσότερο χρόνο προβλέποντας απαντήσεις σε ερωτήσεις όπου γνωρίζετε περισσότερα από άλλα σχετικά με το θέμα ή για τα οποία είναι πιθανό να αποδώσει επιπλέον έρευνα. Ωστόσο, οι ερευνητές τόνισαν ότι όλα τα συστατικά του η προπόνηση μπορεί να συνέβαλε ολιστικά στην καλύτερη απόδοση.

Η έρευνα έχει επίσης δείξει ότι Η ακρίβεια βελτιώνεται όταν παρακολουθούμε την προηγούμενη απόδοσή μας - αλλά το είδος της ανατροφοδότησης έχει σημασία. Μήπως τα αποτελέσματα που νομίζατε ότι θα συμβούν 20% του χρόνου πραγματικά θα συμβούν 20% του χρόνου; Τι γίνεται με τα αποτελέσματα που πιστεύατε ότι θα συνέβαιναν στο 90% του χρόνου; Η απόδοση βελτιώνεται για όσους λαμβάνουν αυτού του είδους τις πληροφορίες.

Μπορούν οι κυβερνήσεις να κάνουν καλύτερα;

Θα μπορούσε η κυβέρνηση του Ηνωμένου Βασιλείου να έχει κάνει καλύτερα στο COVID-19 ζητώντας τη συμβολή ομάδων υπεροσυντηρητών; Είναι δυνατό. Superforecasters στο Ανοιχτή καλή κρίση και ασκούσε προβλέψεις στο Metaculus (στο οποίο έχω συμμετάσχει) ο καθένας φαίνεται να έχει κάνει καλά στο COVID-19, με τον Metaculus να ισχυρίζεται ότι έχει υπεραπόδοση εμπειρογνωμόνων τον Ιούνιο του 2020. Τούτου λεχθέντος, σε ένα πρόσφατη σειρά των προβλέψεων που σχετίζονται με το COVID-19, οι εκπαιδευμένοι προγνώστες δεν ήταν πάντα πιο ακριβείς από τους ειδικούς. Οι ερευνητές πίσω από την έρευνα πειραματίζονται με τρόπους συνδυασμού προβλέψεων από ειδικούς τομέα και εκπαιδευμένους προγνώστες σε μια «πρόβλεψη συναίνεσης».

Φαίνεται επίσης εύλογο ότι ακόμη και η εκπαίδευση που βοήθησε τους μη-supers να κάνουν καλύτερες προβλέψεις θα ήταν χρήσιμη. Για παράδειγμα, ο Cummings ισχυρίστηκε ότι παρόλο που δόθηκε μεγάλη προσοχή στα επιδημιολογικά μοντέλα, στοιχεία που αντικρούουν τις υποθέσεις των μοντέλων - όπως δεδομένα που αναφέρονται από μονάδες εντατικής θεραπείας - αγνοήθηκαν. Φυσικά φαίνεται εύλογο ότι κάποιος που εκπαιδεύτηκε να «αναζητήσει αποδεικτικά στοιχεία που έρχονται σε αντίθεση με την τρέχουσα πρόβλεψή σας» μπορεί να το είχε εντοπίσει νωρίτερα.

Φυσικά, δεν είναι όλες οι συστάσεις της βιβλιογραφίας πρακτικές σε κυβερνητικά περιβάλλοντα. Θεωρητικά, οι κυβερνήσεις θα μπορούσαν να δοκιμάσουν τέτοιες συστάσεις για τον εαυτό τους, υιοθετώντας όσες φαινόταν ωφέλιμες. Δυστυχώς, δεν μπορείτε να βελτιώσετε αυτό που δεν μετράτε.

In Υπερπροστασία, Η Tetlock υπογραμμίζει ότι κάθε οργανισμός που ενδιαφέρεται για τη βελτίωση των προβλέψεών του πρέπει να επισυνάψει συγκεκριμένους αριθμούς σε αυτούς, τουλάχιστον εσωτερικά. Μια φράση όπως «σοβαρή πιθανότητα» μπορεί να σημαίνει 20% πιθανότητα σε ένα άτομο και 80% πιθανότητα σε άλλο.

Αυτό σχεδόν σίγουρα αναφέρεται στο Cummings όταν είπε: «Ένας άντρας που ονομάζεται Phil Tetlock έγραψε ένα βιβλίο και σε αυτό το βιβλίο είπε ότι δεν πρέπει να χρησιμοποιείτε λέξεις όπως λογικές και πιθανές και πιθανές, γιατί μπερδεύει όλους». Ίσως δεν πρέπει να μας εκπλήσσει εάν οι οργανισμοί που δεν κάνουν προβλέψεις με τρόπο που μπορούν να αξιολογηθούν δεν είναι εξοπλισμένοι για να μάθουν πώς να τις βελτιώσουν. Για να βελτιωθεί, πρέπει πρώτα να δοκιμάσετε.