Künstliche Intelligenz ist Sprachbeherrschung. Sollen wir dem vertrauen, was er sagt?

„Ich denke, es ermöglicht uns, Sicherheitsfragen durchdachter und reflektierter anzugehen“, sagt Altman. „Teil unserer Strategie ist: Schrittweise Veränderung der Welt ist besser als plötzliche Veränderung.“ Oder, wie Mira Moratti, Vizepräsidentin von OpenAI, es ausdrückte, als ich sie nach der Arbeit des Sicherheitsteams fragte, das den offenen Zugriff auf die Software einschränkt: „Wenn wir lernen wollen, wie man diese leistungsstarken Technologien einsetzt, fangen wir an, wenn der Einsatz sehr gering ist .“

Während GPT-3 selbst OpenAI läuft auf 285.000 CPU-Kernen in einem Supercomputer-Cluster in Iowa und operiert im Missionsgebiet von San Francisco in einer renovierten Gepäckfabrik. Im November letzten Jahres traf ich dort Ilya Sotskefer, der versuchte, einem Laien eine Erklärung dafür zu entlocken, wie GPT-3 wirklich funktioniert.

„Das ist die Grundidee von GPT-3“, sagte Sotskever gespannt und beugte sich in seinem Stuhl vor. Er hat eine interessante Art, Fragen zu beantworten: Einige Fehlanfänge – „Ich kann Ihnen eine Beschreibung geben, die ungefähr mit der Beschreibung übereinstimmt, nach der Sie gefragt haben“ – unterbrochen von langen meditativen Pausen, als würde er die gesamte Antwort im Gange aufzeichnen.

Er sagte schließlich: „Die Grundidee von GPT-3 ist eine Möglichkeit, einen intuitiven Begriff des Verstehens mit etwas in Beziehung zu setzen, das mechanisch gemessen und verstanden werden kann, und das ist die Aufgabe, das nächste Wort im Text vorherzusagen. Andere Formen künstlicher Intelligenz versuchen, Informationen über die Welt zu verschlüsseln: die Schachstrategien der großen Meister, die Prinzipien der Klimatologie. Aber GPT-3-Intelligenz, wenn Intelligenz das Wort dafür ist, kommt von unten nach oben: durch das elementare Verb, um das nächste Wort vorherzusagen. Für das GPT-3-Training erhält das Modell eine „Aufforderung“ – beispielsweise einige Sätze oder Textabschnitte aus einem Zeitungsartikel, einem Roman oder einer wissenschaftlichen Arbeit – und wird dann gebeten, eine Liste möglicher Wörter vorzuschlagen könnte die Sequenz vervollständigen, geordnet nach Wahrscheinlichkeit. In den frühen Stadien des Trainings sind die vorgeschlagenen Wörter Unsinn. Fragen Sie den Algorithmus mit einem Satz wie „Der Schreiber hat das letzte Wort aus dem ersten Wort gelöscht …“ und erraten würde eine Art Unsinnsstrom: Liste – das richtige fehlende Wort erscheint: „Absatz.“ Dann das Programm stärkt und schwächt alle zufälligen neuronalen Verbindungen, die diesen bestimmten Vorschlag erzeugen Alle Verbindungen, die falsche Vermutungen erzeugt haben Dann bewegt es sich zum nächsten Router Mit der Zeit lernt das Programm mit genügend Iterationen.

Bereits im Januar fügte OpenAI eine Funktion hinzu, die es Benutzern ermöglicht, direkte GPT-3-Anweisungen als Aufforderung zu geben, anstatt nur ein Beispieltextsegment zu erweitern. Beispielsweise erhielt GPT-3 im Hilfemodus einmal die Aufforderung: „Schreiben Sie einen Aufsatz, in dem die Rolle der Metafiktion in Italo Calvinos Werk diskutiert wird.“ Ein kurzer Absatz, der wie folgt begann:

Der italienische Autor Italo Calvino gilt als Experte für Metafiktion, eine Art des Schreibens, bei der der Autor die vierte Wand durchbricht, um den Akt des Schreibens selbst zu diskutieren. Für Calvino ist Metafiktion eine Möglichkeit, die Natur der Realität zu erforschen und die Art und Weise, wie Geschichten unsere Wahrnehmung der Welt prägen können. Seine Romane beinhalten oft spielerische Strukturen und Labyrinthe, die die Grenzen zwischen Realität und Fantasie manipulieren. Befindet sich der Reisende beispielsweise in einer Winternacht, wird der Leser ständig von Diskussionen auf der Metaebene des Lesevorgangs und der Natur des Geschichtenerzählens unterbrochen. . . .

Sie können GPT-3 immer wieder genau dieselbe Eingabeaufforderung geben, und jedes Mal wird es eine einzigartige Antwort erzeugen, einige überzeugender als andere, aber fast alle bemerkenswert unkompliziert. Indikative Aufforderungen können alle möglichen Formen annehmen: „Gib mir eine Liste aller Zutaten für Bolognese-Sauce“, „Schreibe ein Gedicht über ein französisches Küstendorf im Stil von John Ashbery“, „Erkläre den Urknall in einer Sprache, die ein 8-jähriger ist -alte versteht.“ Bei den ersten GPT-3-Stimuli dieser Art lief mir manchmal eine echte Gänsehaut über den Rücken das nächste Wort.

Aber KI hat eine lange Geschichte darin, die Illusion von Intelligenz oder Verständnis zu erzeugen, ohne die Ware tatsächlich zu liefern. beim viel diskutiertes Papier Im vergangenen Jahr veröffentlicht, erklärten die Linguistikprofessorin Emily Bender von der University of Washington, der frühere Google-Forscher Timnit Gebru und eine Gruppe von Co-Autoren, dass große Sprachmodelle nur „zufällige Papageien“ seien: Das heißt, das Programm verwende die Randomisierung nur, um von geschriebene Sätze neu zu mischen Menschen. . Bender sagte mir kürzlich per E-Mail: „Was sich geändert hat, ist nicht ein Schritt über eine bestimmte Schwelle in Richtung ‚künstliche Intelligenz‘, sondern, was sich geändert hat, sind ‚Hardware, Software und wirtschaftliche Innovationen, die die Anhäufung und Verarbeitung riesiger Datenmengen ermöglichen Datensätze“ – sowie Kulturtechnologie, die „Menschen haben können, die solche Dinge bauen und verkaufen“, ist weit davon entfernt, sie auf der Grundlage ungenauer Daten aufzubauen.“