Liebe Internet-Beobachtende,
die letzte Ausgabe vor Weihnachten ist eine Einführung in GPT-3, ein Hype-Thema dieses Jahres.
Thema der Woche: Die Bedeutung von GPT-3
Wer über das Digitaljahr 2020 spricht, muss GPT-3 erwähnen. Die neue Version des Textgenerators von Open AI sorgte im Sommer für Aufsehen, weil sie ziemlich plausibel wirkende Texte verfasste.
Was aber genau ist GPT-3? Der Name (“Generative Pre-trained Transformer”) verrät es bereits. Ein bisschen zumindest. Ein vortrainiertes (“pre-trained”) Rechenmodell, das auf einem neuronalen Netzwerk nach dem Transformer-Sprachmodell basiert und Texte “generiert”. Transformer-Sprachmodell heißt: Bezüge zwischen Wörtern herstellen, die teilweise im Text weit voneinander entfernt liegen. Generieren heißt hier: GPT-3 berechnet das nächste Wort, das nach seiner eigenen Logik am geeignetsten ist. Und dann das nächste Wort. Und dann das nächste Wort. Undsoweiter.
GPT-3 hat 2020 einige Texte verfasst. Zum Beispiel einen Gastbeitrag im Guardian. Oder Chats, die komplexer waren als das, was Chatbots bislang fabrizierten (nicht schwierig, das). Gedichte im Stil bestimmter Lyrikerinnen oder Songwriter. Oder funktionierenden Computercode. Dabei bekam es kurze Muster (in Form von Text) gezeigt, eine in Alltagssprache formulierte Aufforderung und/oder erste Worte eines Textes, manchmal auch eine Erklärung der Rolle, die es als Autor hat.
Das alles ist kein Verständnis im klassischen Sinn: GPT-3 kann nicht “verstehen”, nicht im Voraus denken oder planen, was es schreiben wird. Es hat auch kein Ziel, außer Text zu vervollständigen. Aber weil es monatelang mit Online-Texten gefüttert wurde, hat es eine sehr präzise mathematische Sprachkarte entwickelt: Es hat 175 Milliarden Parameter identifiziert; also mathematische Repräsentationen von Mustern, wie wir Buchstaben, Worte und Sätze zusammensetzen (ein Training auf 1000 Parameter kostet heruntergerechnet etwa einen Dollar, falls jemanden der Preis interessiert). Mit Hilfe dieser Karte kann es bereits anhand relativ kleiner Datenmengen lernen, was es schreiben soll (das vielleicht bislang erfolgreichste Beispiel für “Few Shot Learning”).
Durch all diese Faktoren erscheint der Output, also der Text, oft sehr “menschlich”: Menschlich in dem Sinne, dass wir meist einen Menschen und keine Software dahinter vermuten würden.
Aber was genau lernt GPT-3, wenn es den Input zu Output macht? GPT-3 ist nicht Sprachverarbeitung/Mustererkennung im klassischen Sinne “künstlicher Intelligenz”. Vielmehr läuft so etwas wie “Meta-Lernen” ab: Die Software analysiert, welches Dokument sie gerade scannt und wen sie imitieren soll. Deshalb eignet sie sich mittelfristig auch als Plugin: Sie kann relativ schnell Beziehungen zwischen Informationen in Texten herstellen und eine “Haltung” dazu einnehmen.
GPT-3 lässt sich deshalb weiterdenken: Zum Beispiel über Bilderkennung oder sonstige sensorische Inputs als System, das auch in der physischen Welt funktioniert (im Sinne von “komplexe Aussagen über die dortigen Zusammenhänge treffen kann”). Um zu spekulieren: Das wäre dann kein Weg in Richtung “General AI”, also den berühmten denkenden Maschinen; sondern eher ein neues Werkzeug zur menschlichen und maschinellen Informationsverarbeitung in Form eines Assistenzsystems, “Scanners” der Welt oder den Menschen verständliche Vorhersage-Maschine. Wie so viele “KIs” also ein Werkzeug oder eine Prothese, um auf unsere wachsende Überforderung durch Informationen zu reagieren.
Um aber in die Gegenwart zurückzukommen: Wie viele solcher Systeme schleppt auch GPT-3 die Probleme des Textcorpus mit, aus dem es gelernt hat. Zum Beispiel produziert es negative Stereotype von Minderheiten. GPT-3 hat Probleme bei naturwissenschaftlichen Texten. Und auch die Qualität nimmt offenbar häufiger mit der Textlänge ab, wenn ich das richtig verstanden habe.
Microsoft hat sich im Sommer die Exklusiv-Lizenz gesichert, die Endnutzer werden GPT-3 also wahrscheinlich erst einmal im Kontext Textverarbeitung erleben. Was GPT-3 für uns faszinierend macht: Wir können, anders als bei vielen anderen Machine-Learning-Anwendungen, den Output sofort verstehen und bewerten. Facebooks PyTorch und Googles TensorFlow erhalten als Frameworks weit weniger Aufmerksamkeit, obwohl sie das Backend für die Machine-Learning-Anwendungen der Zukunft bilden werden. Einige Beobachter nehmen an, dass der Erfolg von GPT-3 dazu führt, dass Facebook und Google ähnliche, x-mal bessere Sprachmodelle bauen.
Zwei Fragen, die ich im Kontext GPT-3 für dringend relevant halte: Wenn wir GPT-3 weiter auf GPT-X hochskalieren, also einfach mehr und mehr Milliarden Parameter draufsatteln - erhalten wir dann einfach nur plausibleren Text oder wirklich ein fähigeres System? Und was bedeutet in diesem Zusammenhang eigentlich “fähiger”?
Und, in Anlehnung an die klassische KI-Datendebatte: Steuern wir auf ein Kessler-Syndrom digitaler Information zu? Heißt: Werden anhand von Internet-Daten trainierte artifizielle Systeme nicht nur die dortigen Müll-Informationen aufnehmen, sondern auch in ihren Ergebnissen zurück in die Welt spielen und zu einem geschlossenen System von Falschinformationen/Vorurteilen führen? Je nach Abhängigkeit/Grad der Kopplung zwischen Menschen und solchen Systemen könnte dies für uns problematische Konsequenzen haben.
Hashtags /zl;ng
#InternetRegulierung Die EU-Kommission hat vergangene Woche Digital Markets Act und Digital Services Act vorgestellt. Das Rahmenwerk sieht Pflichten für Gatekeeper-Digitalkonzerne (lies: amerikanische Tech-Konzerne) vor. Bis es auf nationaler Ebene ankommt, dürften etwa drei Jahre vergehen. In der EU-Kommission hatte es deutliche Differenzen darüber gegeben, wie protektionistisch der Ansatz sein soll. (Margrethe Vestager: wenig; Thierry Breton: EUROPE FIRST!) (Politico)
#Hacking Hacker, vermutlich aus Russland, sind in den vergangenen 6-12 Monaten in zahlreiche IT-Systeme von US-Ministerien und -Behörden eingebrochen. Weil die Angreifer das Netzwerk-Analysewerkzeug SolarWinds Orion modfizierten und die Schadsoftware per Update einspielten, war der Angriff erst spät aufgefallen. Die USA sind nicht ausreichend auf solche “Supply-Chain”-Angriffe vorbereitet. Und viele andere Betroffene, die in den nächsten Monaten bekannt werden dürften, ebenfalls nicht. (Ars Technica)
#ITSicherheit Das Bundeskabinett hat vergangene Woche das IT-Sicherheitsgesetz 2.0 verabschiedet. Es löst den Konflikt über Huawei-Bauteile beim 5G-Mobilfunknetz nicht auf, sondern verlagert ihn in einen ministeriellen Prozess. Kritiker bemängeln, dass der Rest des Gesetzes wenig durchdacht ist. Hier mein Hintergrund dazu. (Deutschlandfunk)
#Plattformen Fortnite-Produzent Epic bietet in seinem Games-Store jetzt auch Spotify an. Dies gilt als Signal dafür, dass Epic seinen App-Store deutlich breiter aufstellen möchte. (The Verge)
#Aufmerksamkeitsökonomie Zahlen aus diesem Jahr zufolge könnte Musik-Streaming den Sättigungspunkt in den USA überschritten haben. “Könnte”, weil wahrscheinlich Faktoren wie die US-Wahl und coronabedingte Tour-Absagen einen Einfluss haben. Andere, längerfristige Faktoren: Steigende Nutzung von TikTok und Gaming.
Vielen Dank für die Aufmerksamkeit, erholsame Feiertage und bis Ausgabe #07!
Johannes