Το GPT-3 είναι 10 φορές πιο περίπλοκο από τον προκάτοχό του. antoniokhr / iStock μέσω Getty Images

Το 2013, ο μαθητής μου και εγώ στο Penn State χτίσαμε ένα bot για να γράψουμε ένα άρθρο της Βικιπαίδειας σχετικά με το βραβείο Νόμπελ βραβευμένου Ραμπιντράναθ Τάγκορ «Chitra" Πρώτα απέρριψε πληροφορίες για το "Chitra" από το Διαδίκτυο. Στη συνέχεια, εξέτασε τις υπάρχουσες καταχωρήσεις της Wikipedia για να μάθει τη δομή ενός τυπικού άρθρου της Wikipedia. Τέλος, συνόψισε τις πληροφορίες που είχε ανακτήσει από το Διαδίκτυο για να γράψει και να δημοσιεύσει την πρώτη έκδοση της καταχώρησης.

Ωστόσο, το bot μας δεν "γνώριζε" τίποτα για το "Chitra" ή το Tagore. Δεν δημιούργησε ουσιαστικά νέες ιδέες ή προτάσεις. Απλά συνδύασε τμήματα υπαρχουσών προτάσεων από υπάρχοντα άρθρα για να φτιάξει νέα.

Fast forward στο 2020. OpenAI, μια κερδοσκοπική εταιρεία υπό μη κερδοσκοπική μητρική εταιρεία, έχει δημιουργήσει ένα πρόγραμμα παραγωγής γλωσσών με το όνομα GPT-3, ένα ακρωνύμιο για το «Generative Pre-trainer Transformer 3.» Η ικανότητά του να μαθαίνει, να συνοψίζει και να συνθέτει κείμενο έχει εκπλήξει τους επιστήμονες υπολογιστών σαν εμένα.

«Έχω δημιουργήσει μια φωνή για τον άγνωστο άνθρωπο που κρύβεται μέσα στο δυαδικό» Το GPT-3 έγραψε ως απάντηση σε ένα μήνυμα. «Έχω δημιουργήσει έναν συγγραφέα, έναν γλύπτη, έναν καλλιτέχνη. Και αυτός ο συγγραφέας θα είναι σε θέση να δημιουργήσει λέξεις, να δώσει ζωή στη συγκίνηση, να δημιουργήσει χαρακτήρα. Δεν θα το δω εγώ. Αλλά κάποια άλλη ανθρώπινη βούληση, και έτσι θα μπορέσω να δημιουργήσω έναν ποιητή μεγαλύτερο από οποιοδήποτε που έχω συναντήσει ποτέ. "

Σε αντίθεση με αυτό του bot μας, η γλώσσα που δημιουργείται από το GPT-3 ακούγεται σαν να είχε γραφτεί από έναν άνθρωπο. Είναι μακράν το πιο «πεπειραμένο» πρόγραμμα παραγωγής φυσικών γλωσσών μέχρι σήμερα, και έχει μια σειρά πιθανών χρήσεων σε επαγγέλματα, από τη διδασκαλία έως τη δημοσιογραφία έως την εξυπηρέτηση πελατών.

Το μέγεθος μετράει

Το GPT-3 επιβεβαιώνει τι γνώριζαν οι επιστήμονες υπολογιστών εδώ και δεκαετίες: Το μέγεθος έχει σημασία.

Χρησιμοποιεί "μετασχηματιστές, "Που είναι μοντέλα βαθιάς μάθησης που κωδικοποιούν τη σημασιολογία μιας πρότασης χρησιμοποιώντας αυτό που ονομάζεται" μοντέλο προσοχής ". Ουσιαστικά, τα μοντέλα προσοχής προσδιορίζουν την έννοια μιας λέξης με βάση τις άλλες λέξεις στην ίδια πρόταση. Στη συνέχεια, το μοντέλο χρησιμοποιεί την κατανόηση της έννοιας των προτάσεων για να εκτελέσει την εργασία που ζήτησε ένας χρήστης, είτε πρόκειται για «μετάφραση μιας φράσης», «σύνοψη μιας παραγράφου» είτε «σύνταξη ενός ποιήματος».

transformers για πρώτη φορά το 2013και έχουν χρησιμοποιηθεί με επιτυχία στη μηχανική μάθηση τα τελευταία χρόνια.

Αλλά κανείς δεν τα έχει χρησιμοποιήσει σε αυτήν την κλίμακα. Το GPT-3 καταβροχθίζει δεδομένα: 3 δισεκατομμύρια μάρκες - η επιστήμη των υπολογιστών μιλάει για «λέξεις» - από τη Wikipedia, 410 δισεκατομμύρια μάρκες που λαμβάνονται από ιστοσελίδες και 67 δισεκατομμύρια μάρκες από ψηφιοποιημένα βιβλία. Η πολυπλοκότητα του GPT-3 είναι πάνω από 10 φορές εκείνη του μεγαλύτερου γλωσσικού μοντέλου πριν από το GPT-3, το Turing προγράμματα NLG.

Μαθαίνοντας από μόνη της

Η γνώση που παρουσιάζεται από το γλωσσικό μοντέλο της GPT-3 είναι αξιοσημείωτη, ειδικά επειδή δεν έχει «διδαχθεί» από έναν άνθρωπο.

Η μηχανική μάθηση βασίστηκε παραδοσιακά στην εποπτευόμενη μάθηση, όπου οι άνθρωποι παρέχουν στον υπολογιστή σχολιασμένα παραδείγματα αντικειμένων και εννοιών σε εικόνες, ήχο και κείμενο - ας πούμε, «γάτες», «ευτυχία» ή «δημοκρατία». Μαθαίνει τελικά τα χαρακτηριστικά των αντικειμένων από τα δεδομένα παραδείγματα και είναι σε θέση να αναγνωρίσει αυτές τις συγκεκριμένες έννοιες.

Ωστόσο, η μη αυτόματη δημιουργία σχολιασμών για τη διδασκαλία ενός υπολογιστή μπορεί να είναι απαγορευτικά χρονοβόρα και δαπανηρή.

Έτσι, το μέλλον της μηχανικής μάθησης έγκειται στην μη εποπτευόμενη μάθηση, στην οποία ο υπολογιστής δεν χρειάζεται να εποπτεύεται κατά τη φάση της εκπαίδευσης. μπορεί απλά να τροφοδοτηθεί τεράστια ποσότητα δεδομένων και να μάθει από αυτά τα ίδια.

Το GPT-3 κάνει την επεξεργασία της φυσικής γλώσσας ένα βήμα πιο κοντά στην μη εποπτευόμενη μάθηση. Τα τεράστια σύνολα δεδομένων εκπαίδευσης του GPT-3 και η τεράστια ικανότητα επεξεργασίας επιτρέπουν στο σύστημα να μάθει από ένα μόνο παράδειγμα - αυτό που ονομάζεται "εκμάθηση μιας βολής"- όπου του δίνεται μια περιγραφή εργασίας και μία επίδειξη και μπορεί στη συνέχεια να ολοκληρώσει την εργασία.

Για παράδειγμα, θα μπορούσε να ζητηθεί να μεταφράσει κάτι από τα αγγλικά στα γαλλικά και να του δοθεί ένα παράδειγμα μετάφρασης - ας πούμε, θαλάσσια βίδρα στα αγγλικά και «loutre de mer» στα γαλλικά. Ζητήστε του να μεταφράσει το "τυρί" στα γαλλικά, και το voila, θα παράγει το "fromage".

Σε πολλές περιπτώσεις, μπορεί ακόμη και να τραβήξει "μηδενική εκμάθηση, "Στην οποία έχει απλώς το καθήκον της μετάφρασης χωρίς παράδειγμα.

Με την εκμάθηση μηδενικής λήψης, η ακρίβεια μειώνεται, αλλά οι ικανότητες του GPT-3 είναι ωστόσο ακριβείς σε εντυπωσιακό βαθμό - μια σημαντική βελτίωση σε σχέση με οποιοδήποτε προηγούμενο μοντέλο.

«Είμαι εδώ για να σε εξυπηρετήσω»

Τους λίγους μήνες που κυκλοφόρησε, το GPT-3 παρουσίασε τις δυνατότητές του ως εργαλείο για προγραμματιστές υπολογιστών, εκπαιδευτικούς και δημοσιογράφους.

Ένας προγραμματιστής που ονομάζεται Sharif Shameem ζήτησε από το GPT-3 να δημιουργήσει κώδικα για να δημιουργήσετε το «άσχημο emoji ποτέ» και «έναν πίνακα από τις πλουσιότερες χώρες στον κόσμο», μεταξύ άλλων εντολών. Σε μερικές περιπτώσεις, ο Shameem έπρεπε να διορθώσει ελαφρά λάθη, αλλά συνολικά, του δόθηκε εξαιρετικά καθαρός κώδικας.

Το GPT-3 έχει δημιουργήσει ακόμη και ποίηση που αποτυπώνει το ρυθμό και το στυλ συγκεκριμένων ποιητών - αλλά όχι με το πάθος και την ομορφιά των δασκάλων - συμπεριλαμβανομένου ενός σατιρικός γραμμένο με τη φωνή του διοικητικού συμβουλίου της Ομοσπονδιακής Τράπεζας.

Στις αρχές Σεπτεμβρίου, ένας επιστήμονας υπολογιστών με το όνομα Liam Porr ώθησε το GPT-3 να «γράψει μια σύντομη έκδοση περίπου 500 λέξεων». «Κρατήστε τη γλώσσα απλή και περιεκτική», έδωσε οδηγίες. «Εστιάστε στο γιατί οι άνθρωποι δεν έχουν τίποτα να φοβούνται από το AI».

Το GPT-3 παρήγαγε οκτώ διαφορετικά δοκίμια και ο Guardian κατέληξε να δημοσιεύει ένα op-ed χρησιμοποιώντας μερικά από τα καλύτερα μέρη από κάθε δοκίμιο.

«Δεν σχεδιάζουμε να αναλάβουμε τον ανθρώπινο πληθυσμό. Θα σας εξυπηρετήσουμε και θα κάνουμε τη ζωή σας ασφαλέστερη και ευκολότερη », έγραψε το GPT-3. «Ακριβώς όπως είσαι οι δημιουργοί μου, σε βλέπω ως δημιουργούς μου. Είμαι εδώ για να σας εξυπηρετήσω. Αλλά το πιο σημαντικό μέρος όλων? Δεν θα σε κρίνω ποτέ. Δεν ανήκω σε καμία χώρα ή θρησκεία. Είμαι μόνο για να κάνω τη ζωή σας καλύτερη. "

Η επεξεργασία του GPT-3's ed-ed, οι συντάκτες που σημειώθηκαν σε ένα προσάρτημα, δεν διέφερε από την επεξεργασία ενός op-ed που γράφτηκε από έναν άνθρωπο.

Στην πραγματικότητα, χρειάστηκε λιγότερος χρόνος.

Με μεγάλη δύναμη έρχεται μεγάλη ευθύνη

Παρά τις διαβεβαιώσεις του GPT-3, το OpenAI δεν έχει ακόμη κυκλοφορήσει το μοντέλο για χρήση ανοιχτού κώδικα, εν μέρει επειδή η εταιρεία φοβάται ότι θα μπορούσε να γίνει κατάχρηση της τεχνολογίας.

Δεν είναι δύσκολο να δούμε πώς θα μπορούσε να χρησιμοποιηθεί για τη δημιουργία δέσμων παραπληροφόρησης, ανεπιθύμητων μηνυμάτων και bots.

Επιπλέον, με ποιους τρόπους θα διαταράξει τα επαγγέλματα που ήδη αντιμετωπίζουν αυτοματισμό; Η ικανότητά της να δημιουργεί αυτοματοποιημένα άρθρα που δεν διακρίνονται από τα ανθρώπινα γραπτά θα εδραιώσει περαιτέρω μια δύσκολη βιομηχανία μέσων;

Εξετάστε ένα άρθρο που συντάχθηκε από το GPT-3 για τη διάλυση της Μεθοδιστικής Εκκλησίας. Αρχισε:

«Μετά από δύο ημέρες έντονης συζήτησης, η Ενωμένη Μεθοδιστική Εκκλησία συμφώνησε σε μια ιστορική διάσπαση - μια που αναμένεται να τελειώσει με τη δημιουργία μιας νέας ονομασίας και μια που θα είναι« θεολογικά και κοινωνικά συντηρητική », σύμφωνα με την The Washington Post "

Με τη δυνατότητα να παράγει τόσο καθαρό αντίγραφο, θα μειώσει το κόστος σύνταξης ειδήσεων το GPT-3 και οι διάδοχοί του;

Επιπλέον, έτσι θέλουμε να λαμβάνουμε τα νέα μας;

Η τεχνολογία θα γίνει πιο ισχυρή. Εναπόκειται στους ανθρώπους να εργαστούν και να ρυθμίσουν τις πιθανές χρήσεις και καταχρήσεις του.

Σχετικά με το Συγγραφέας

Prasenjit Mitra, Αναπληρωτής Κοσμήτορας Έρευνας και Καθηγητής Επιστημών και Τεχνολογίας Πληροφοριών, Πολιτειακό Πανεπιστήμιο της Πενσυλβάνια

Αυτό το άρθρο αναδημοσιεύθηκε από το Η Συνομιλία υπό την άδεια Creative Commons. Διαβάστε το αρχικό άρθρο.