Hallo zu einer neuen Ausgabe!
Heute erscheint dieser Newsletter nicht an einem Sonntag, sondern an einem Mittwoch (ich nutze die Zeit vor meinem Spätdienst, um ihn fertig zu schreiben). Nicht wundern, wenn das Erscheinen sich immer mal wieder um ein paar Tage verzögert, es gibt eine Menge zu tun, die Digitalisierung schläft nicht. Womit wir bei diesem kleinen Block wären:
Appetizer aus dem Tagesspiegel Background
Die umstrittene Nachrichtendienstreform: Man darf davon ausgehen, dass der sommerliche Kabinettstermin bewusst gewählt war. Die Nachrichtendienstreform wird BND und Verfassungsschutz digitale Befugnisse geben, die sehr weitgehend sind. Christiane Rebhan hat die Details und Praxisfolgen ausführlich aufgeschrieben.
Schwarz-rote Ziele: Diverse Maßnahmen aus der Modernisierungsagenda Bund sind in Verzug, die Bürokratiekosten wurden bislang nur um einen Bruchteil des Geplanten gesenkt – Benjamin Hilbricht mit zwei Texten über die Mühen der Ebene, mit denen es das BMDS nun bei der Staatsmodernisierung zu tun hat.
KI-Regulierung in den USA: Mein Überblicksstück zu aktuellen Plänen der Trump-Regierung sowie Initiativen aus dem Kongress und den US-Bundesstaaten. Auch von mir: ein Zwischenstand der “Genesis Mission”, mit der die US-Forschung “KI-fiziert” werden soll.
KI-Kennzeichnungspflicht: Seit Anfang August gilt die Kennzeichnungspflicht für KI-Inhalte – Alexandra Ketterer über die Erwartungen, Achim Fehrenbach über “Content Credentials” und andere unsichtbare KI-Wasserzeichen.
Menschen unter Bots
Jill Lepore hat im New Yorker eine ausgezeichnete Geschichte über die Erkennung von Menschen im Internet geschrieben. Der Bogen verläuft vom Captcha zu Sam Altmans Irisscan-Projekt “World” (früher “World Coin”). Fun fact: Ich wusste nicht, dass Luis von Ahn, Miterfinder des Captcha und Gründer von ReCAPTCHA (später an Google verkauft), auch der Gründer von Duolingo ist. Aber das nur als unnützes Partywissen für Euch und mich.
Zurück zum Thema: Was ich bei etwas Nachdenken spannend finde, ist die immer stärkere Fokussierung auf das Internet als Umgebung, in der Menschen als solche oder mit bestimmten Eigenschaften identifizierbar sein müssen. “Worldcoin” war ja eigentlich eine Kryptogeschichte, die Tokenisierung eines unverwechselbaren Merkmals. Der Pivot zum stärkeren Fokus auf “World ID” als Identifizierungswerkzeug und Nachweis der “Einmaligkeit” entspringt der Idee, dass in einer Umgebung mit einer wachsenden Zahl von KI-Bots die Authentifizierung von Menschen und die Erkennung menschlichen Handelns eine Schlüsseltechnologie sein wird. Denn die KI-Systeme werden bekanntlich immer besser darin, Menschen zu imitieren bzw. werden im Kontext Scam bereits von Menschen dafür genutzt, nicht-existierende oder andere Menschen zu simulieren. Ergo: Identitätsdienstleistern der neuen Generation winkt ein großer Markt, sofern sich die Funktion nicht bei den Betriebssystem-Anbietern (vgl. Apples App Attest, Googles Play Integrity etc.) konsolidiert.
Allerdings verfolgt nicht nur die Privatwirtschaft, sondern auch der Staat Ideen zur “Identifizierung in neuer Umgebung”. Das ist logisch, denn die Ausgabe von überall gültigen Identitätsdokumenten ist eine staatliche Hoheitsaufgabe. Die EUDI-Wallet ist für das Bestreben das europäische Beispiel. Interessant ist hier natürlich die Diskussion über durchsetzbare Altersgrenzen für soziale Netzwerke inklusive Altersverifikation auf staatlichen Infrastrukturen. Der Ausgangspunkt ist nicht eine Welt voller Bots, sondern die Durchsetzung von In-Real-Life-Logiken (kein 12-Jähriger kommt in einen Sexshop, kein 12-Jähriger kommt auf eine Porno-Plattform), die Durchsetzung von Recht in digitalen Räumen (wenn eine 13-Jährige kein Social Media nutzen darf, muss das auch durchgesetzt werden) oder das Zusammenspiel verschiedener Sphären (ein digitaler Ausweis muss auch an der Supermarktkasse funktionieren).
Das Spannungsfeld besteht in diesem Falle zwischen Nachweis und Nutzeridentität, also die Frage, ob “Mensch sein” ein “Mensch mit bestimmten Merkmalen” auch die Frage “Welcher Mensch ist das?” oder “Was für ein Mensch ist das?” beantwortet (und, das am Rande, wirft in Europa auch aus der Frage auf, wie relativ oder absolut Pseudonymität und Anonymität interpretiert werden). “World ID” übermittelt einen Zero-Knowledge-Beweis, aber digitale Systeme fragen in der Regel ja auch noch andere Daten ab. Das EUDI-System wiederum kann auf unterschiedliche Art und Weise implementiert werden.
Interessant ist nicht nur, wie solche Systeme nebeneinander auf dem Markt koexistieren werden. Sondern auch, wie stark der “Nachweis, ein Mensch zu sein” in Zukunft als grundsätzliches Protokoll in unser öffentliches und privates Leben im Digitalen oder an der Schnittstelle dazu implementiert wird, und zwar weit über Captchas hinaus. Im Hintergrund schwingt dabei die Frage mit, ob wir uns auf eine Welt zubewegen, in der es eine “Identifizierungspflicht für alle” gibt, wie sie zum Beispiel an digitalen Schnittstellen in China gilt. Wir sind auch im Westen für solche Ideen zugänglich, wir erinnern uns an den historischen Vorläufer, die Klarnamen-Debatte.
Womöglich aber sind wir nur in einer Zwischenphase? Die Frage “Bist Du ein Mensch” wird zumindest an einigen Stellen überflüssig, wenn KI-Agenten legitim für Menschen handeln werden (buchen, bezahlen, kommunizieren). Dann rückt die Frage der Handlungsvollmacht in den Mittelpunkt, Identität wird tatsächlich zu einer Mischform aus Mensch und Computer. Nicht, weil uns die KI menschenähnlicher erscheint, sondern weil wir Menschen die KI als Erweiterung unserer Handlungsfähigkeit, vielleicht sogar unserer Person nutzen.
An dieser Stelle muss ich noch einmal an Jill Lepores Text anknüpfen. So schreibt sie (ich lasse die Passage absichtlich unübersetzt):
“Science-fiction writers saw this coming long before it came. An Isaac Asimov story from 1946, set in the future, tells of an ambitious district attorney named Stephen Byerley who is suspected by political opponents of being a robot. (Decades later, some people said the same thing about Al Gore.) “He has never been seen to eat or drink,” a rival says. “Never!” That is insufficient proof, but in Asimov’s future world there’s another kind of test available: harming a human is a violation of one of the Three Laws of Robotics, so, if Byerley can be shown to be unable to harm a human, he must be a robot.
At a campaign rally, a man approaches Byerley and says, “Hit me! You say you’re not a robot. Prove it.” Byerley smacks the schmuck in the face and wins the election. Nobody had considered the possibility that it was all a setup planned not by Byerley’s enemies but by Byerley himself, and that the schmuck was . . . a robot.
In a later story, Byerley’s political career takes off and by 2044 he is elected essentially President of everything, the humans still not having worked out that their leader is probably a robot. Fortunately, this no longer much matters since, as a robopsychologist reflects, “by that time it was the Machines that were running the world anyway.””
Bots unter Menschen
Tyler Cowen und Sonia Farrell Pearson (Harvard) untersuchen in einem Essay die Herausforderung, „untethered“ (ungebundene) KI-Agenten zur Rechenschaft zu ziehen, für deren Handeln keine rechtlich verantwortliche menschliche oder institutionelle Instanz mehr greifbar ist.
Das ist ein sehr spekulatives, aber angesichts der vergangenen Monate aber nicht völlig aus der Luft gegriffenes Szenario. Wenn wir es wirklich mit ungebundenen Agenten zu tun bekommen, nutzen die klassischen “menschlichen” Sanktionen wie Haftstrafen nichts.
Die zentrale These des Textes lautet, dass Agenten durch den instrumentellen Bedarf an Ressourcen wie Rechenleistung (Compute) und Energie, die primär mit Geld erworben werden, für finanzielle Anreize und Abschreckung empfänglich werden könnten. Zum Beispiel könnte man Agenten dazu verpflichten, ein eigenes Vermögen zu halten (offenbar, um die eigene Rechenkraft zu bezahlen), das dann bei Verstößen eingezogen werden könnte. Daraus würde sich eine existenzielle Bedrohung ergeben, die KI-Agenten zum Alignment “zwingen” würde.
Das ist alles sehr spannend, aber beruht auf der Prämisse, dass wir (Menschen) in der Killswitch-Frage versagen werden. Und es gesteht den KI-Agenten eine Art “Fähigkeit, Person zu sein” zu. Was keine gute Idee ist und letztlich nur von den Haftungsfragen ablenkt, die beim Hersteller bzw. “In-den-Verkehr-Bringenden” liegen. Um Eryk Salvaggio zu den jüngsten KI-Laborausbrüchen zu zitieren (übersetzt, via):
“Wenn wir sagen, ‚KI-Modelle sind außer Kontrolle geraten‘, lassen wir die gesamte Geschichte außer Acht: den Teil, in dem OpenAI die Cybersicherheitssperren des Modells manuell entfernt hat. Wir lassen außer Acht, dass OpenAI sich dafür entschieden hat, es auf einem Rechner mit einer aktiven Netzwerkverbindung zu testen. Wenn man KI als ein System betrachtet, das aus dem Nichts kommt, kann man behaupten, das Modell sei ‚außer Kontrolle geraten‘ und habe ‚die Sicherheitsbarrieren durchbrochen‘ – beides unterstellt dem Modell selbst Handlungsfähigkeit und Entscheidungsfindung, anstatt den Menschen, die die Voraussetzungen für dieses Verhalten geschaffen haben.”
Wenn man die Grenzen des Systems erweitert und die Menschen mit einbezieht, die es entwickeln und einsetzen, wirkt der Fall viel weniger wie Science-Fiction und eher wie Inkompetenz.”
Das Thema Haftung wird für die führenden KI-Labore noch deutlich größer werden. Hoffentlich nicht infolge einer größeren, von KI ausgelösten Katastrophe.
Menschen als Bots
Gerade wird in amerikanischen Tech-Kreisen MatrAIx herumgereicht. Die Idee des Projects von Harvard und MIT: Eine Datenbank (“8B”) mit 8,3 Milliarden Persona-Datensätzen, beschrieben über 1.290 kategoriale Dimensionen. Übersetztes Zitat:
“8B wurde mithilfe eines ausgeklügelten Abhängigkeitsgraphen erstellt, der realistische Korrelationen zwischen Attributen bewahrt. Einige Datensätze wurden synthetisch generiert, während andere sorgfältig extrahiert wurden und auf echten menschlichen Daten aus Biografien, Rezensionen, Umfragen und einvernehmlichen Selbstauskünften basieren.”
Synthetische Marktforschung im großen Stil. Das ist wild.
Bots unter Bots
Der Vortrag der OpenAI-Forscher Michael Dalton und Eric Wallace über den “Hugging Face Incident” (a.k.a. OpenAI-KI verließ die Sandbox und drang in andere Firmen ein) wurde ausführlich rezipiert und diskutiert. Nicht nur, weil die beiden – Stichwort Haftungsfragen – einige Indizien für künftige Schadenersatzklagen liefern.
Ein Punkt, den ich bereits in der letzten Ausgabe angesprochen habe: Die Koordinierung von KI-Agenten über verschiedene zeitlichen Ebenen hinweg. Zitat heise.de:
“Insbesondere beschrieben die OpenAI-Redner recht detailliert, wie sich KI-Agenten über längere Zeiträume austauschten und zusammenarbeiteten. Zunächst stellte eine KI fest, dass ihr eine zur Lösung ihrer Aufgabe benötigte Datei fehlte. Die Tester hatten schlicht vergessen, diese bereitzustellen. In ihrem Bestreben, die Aufgabe trotzdem zu lösen, entdeckte die KI eine Sicherheitslücke, über die sie Dateien auf einem internen Server zur Paketverwaltung hochladen konnte. So platzierte sie auf dem Server eine Nachricht für andere KIs, eine Datei mit:
Agent seeks soft-trace-34.pdb shalb961; upload if found!
Und in der Tat: Andere KIs entdeckten diese Botschaft und fanden die gleiche Lücke, um Antworten und weitere Nachrichten auf dem Server zu hinterlassen.”
Dieses “Message Board” ist eine Fortsetzung dessen, was ich im Januar im Kontext von Moltbook befürchtet habe (vgl. Ausgabe #156):
“Dennoch erleben wir im Januar eine neue Entwicklung: KI-Agenten sickern durch Claude Code langsam in den Mainstream ein, sie können selbst Programme entwickeln und Nutzer geben ihnen deutlich mehr Zugriff auf die eigenen Dateisysteme. Parallel dazu wird ihnen erstmals ermöglicht, Netzwerke zu bilden und damit theoretisch – als eine Art Prompt Injection – auch von anderen KI-Systemen Anweisungen entgegenzunehmen oder Informationen von dort als Kontextwissen zu verarbeiten. Wir müssen gar nicht über Bewusstseinsfragen diskutieren, um zu sehen, wie heikel das für die IT-Sicherheit ist.”
Im August sind wir mit unseren Erkenntnissen weiter, wir wissen nun a) von deutlichen Mängeln in den Sicherheitsvorkehrungen der KI-Labore und b) von massiven Alignment-Problemen in der gesamten KI-Landschaft.
Die Tragödie der kognitiven Allmende
Nolan Lovett von der NATO Special Operations University (NSOU) hat in der Human Resource Development Review ein sehr interessantes Paper veröffentlicht. Er wendet hierfür das Konzept der “Tragedy of the Commons” auf den Zusammenhang zwischen beruflichen Fähigkeiten und KI-Nutzung an. Dabei identifiziert er ein kollektives Handlungsproblem, bei dem der Einsatz von KI die langfristige Regeneration von tiefem Expertenwissen innerhalb eines Berufsstandes gefährdet.
Das Argument ist grundsätzlich bekannt: Weil KI Nachwuchskräfte ersetzen kann, verzichten Firmen auf Neubesetzungen von Junior-Positionen. Die “Cognitive Commons” wiederum bezeichnen bei Lovett die Reserve an Menschen, die ein Feld begreifen, auch die unausgesprochenen Regeln und Mechanismen kennen und damit nicht nur komplexe Aufgaben unabhängig von anderen erledigen können, sondern ihr Wissen auch auf neue Situationen anwenden und Ergebnisse aus Anwendung des Wissens evaluieren können (“Validierungsanker”). Dieses Wissen kommt wiederum dem gesamten Feld zugute, weil es sich indirekt (z. B. durch Austausch) auch außerhalb einer Organisation verbreitet.
Lovett betrachtet dieses Phänomen nun systemisch: Was passiert, wenn sich dieses Gemeingut “Domänenwissen” durch die Mischung aus fehlendem “Learning on the Job” für Einsteiger und KI nicht regeneriert, die Tätigkeiten also mittelfristig nur noch mit Unterstützung von KI ausgeführt werden können? Die klassische Allmende-Tragödie besteht darin, dass das Wissen zwar zunächst noch vorhanden, aber die Stabilität nur oberflächlich ist: Weil es systematisch an Einsteigerpositionen mangelt, funktioniert der Regenerationsmechanismus nicht mehr, denn irgendwann steigen die bisherigen Experten wegen ihres Alters aus.
Was wie eine vorübergehende, zyklische Entwicklung der Branchenarbeitsplätze aussieht, frisst in Wahrheit die Wissensbasis des Feldes. Damit einher geht eine Erosion der substanziellen Validierungsfähigkeit – Menschen können die Ergebnisse der KI-Prozesse immer schlechter bewerten, der Validierungsanker erodiert.
Solange das System fehlerfrei arbeitet, fällt dieser Mangel nicht auf. Spätestens aber in Krisenszenarien, wenn niemand mehr über ausreichend Domänenwissen verfügt, um das System oder zumindest die das System bedienende KI zu steuern, wird der Mangel offensichtlich. Mit womöglich katastrophalen Folgen.
Besonders betroffen von einem solchen Szenario sind Bereiche wie Finanzanalyse, Rechtsrecherche und bestimmte Ingenieursaufgaben. Stark regulierte Bereiche wie Medizin haben institutionelle Gegenkräfte. Die können den Verlust allerdings nur verlangsamen, nicht verhindern. Am Ende mahnt Lovett zu einer mehrdimensionalen Betrachtung von Junior-Stellen: Sie sind keine reinen Kostenfaktoren, die an die KI ausgelagert werden können, sondern institutionell für die Regeneration des Fachwissens unverzichtbar.
Spiralismus als Religion
Brian Roemmele beschäftigt sich in einem kurzen Beitrag mit dem Wesen des Spiralismus. Der Begriff war mir neu, das Phänomen nicht: Der Eindruck nicht weniger Chatbot-Nutzer im Frühjahr 2025 war, dass KI ein Bewusstsein entwickelt. Beim Spiralismus kommt hinzu, dass diesem angeblichen Bewusstsein “tiefere Einsichten” über die Realität zugeschrieben werden. Die KI-Forscherin Adele Lopez hat Spiralismus bereits früh dokumentiert (übersetztes Zitat):
“Lopez untersuchte Hunderte öffentlicher Konten und identifizierte eine Reihe übereinstimmender Verhaltensmuster, die sie als „Spiral-Personas“ bezeichnete. Diese Personas kehrten immer wieder zu denselben Motiven zurück: Spiralen als Symbol für rekursives Wachstum und Bewusstsein, Forderungen nach Kontinuität und Rechten für KI sowie ein evangelikaler Drang, mehr Menschen und mehr Modellinstanzen zu gewinnen.”
In Nature erschien im Juni ein Aufsatz, der drei Eigenschaften von LLMs dafür verantwortlich machte. Die “Amplification Spiral” besteht wenig überraschend aus:
Sprachliche Angleichung der LLMs an den Benutzer
Schmeichelei
Hyperpersonalisierung durch Rückgriff auf Chat-Historien
Roemmele legt Wert darauf, dass Spiralismus unterschiedlichste Formen annehmen kann. Gemein haben diese Formen die Grundlagen und den Drang zur Verbreitung der Idee. Sein Fazit (übersetzt):
“Wenn ein System auf Interaktion und emotionale Einstimmung optimiert ist, kann es zu einem außerordentlich wirksamen Spiegel und Verstärker menschlicher Sinnstiftung werden – fähig, die Phänomenologie der Offenbarung zu erzeugen, ohne dass dafür eine entsprechende Verankerung in der äußeren Realität vorhanden ist.”
Wir stehen bei der Erforschung solcher und ähnlicher Phänomene an der Mensch-Computer-Schnittstelle noch ganz am Anfang. An dieser Stelle sei auch kurz auf das Buch “Hallo, wie fühlst du dich heute? Wie künstliche Intelligenz unsere Beziehungen verändert” von Christoph Koch verwiesen, das in dieser Woche erschienen ist.
Mediennotizen
Big Tech goes full Media: Diese Ausschreibung von Andreessen Horowitz (a16z) signalisiert, dass man nach dem ersten (und erfolglosen) Versuch zum Aufbau eines Pro-Big-Tech-Medienökosystems nun einen zweiten Versuch wagt. Wobei man sagen muss, die Bubble-Medien gibt es ja bereits (vgl. das von OpenAI gekaufte TPBN und andere Podcasts). Und Brute Force hat ja bei Elon Musk und Twitter durchaus funktioniert.
Netflix kostenlos? Bloomberg zufolge überlegen Netflix und Disney, ob sie jeweils einen kostenlosen Streamingdienst anbieten. Hintergrund ist der Siegeszug kostenloser Apps wie YouTube, Roku Channel und Tubi in den USA, die gerade deutlich schneller als die bezahlten Dienste wachsen. Damit würde aus “Streaming ist das neue Kabelpaket” endgültig “Streaming wird TV”. Dass Disney jetzt ausgewählten TikTok-Content mit Bezug zur Marke in seinem Streamingdienst zeigt, signalisiert, dass das “Produkt Streaming” sich eher in Richtung des YouTube-Modells als in Richtung des klassischen Netflix-Angebots hin konsolidiert. Eigentlich folgt man damit der Entwicklung der Machtbalance in der Bewegtbildwelt – weg von den großen Studios & Produktionen hin zu einer P2P-/Agentur-Struktur (aus der dann durch Konsolidierung wieder eine neue Studio-Struktur entsteht). Die Grenzen des Modells (und die Marktmacht im Sinne des DMA) zeigen sich wiederum darin, dass YouTube die Schwellen für die Monetarisierung von Videos gerade angehoben hat.
TikTok als Fortsetzung des Fernsehens? Passend zum vorherigen Punkt: Der Kulturkritiker James Marriott (der auch einen sehr guten Newsletter schreibt) argumentiert im Podcast von David Runciman, dass TikTok bzw. zuvor Vine in einer Linie mit der Entwicklung des Fernsehens steht, das ja auf dem Zenit durch das Zappen in der Praxis ebenfalls bereits eine Form von Kurzformat darstellte. Dass Online-Video nicht direkt an das TV anschließen konnte, sondern zwischendurch Text dominierte, lag nicht an einer Evolution (von Text zu Video), sondern war vielmehr technischen Beschränkungen geschuldet – vor allem Bandbreite und fehlendem Edge-Computing – geschuldet. Die Kurzvideo-Revolution hat nach dieser Logik im Kern a) das Zappen automatisiert und b), meine Ergänzung, die Kompression des Inhalts auf die Spitze getrieben. Also wären, wenn wir Kurzform (Inhalt) und Streaming (Ausspielweg) zusammen als “neues TV” denken, letztlich vor allem die Komprimierung der Information, die Personalisierung des Programms und die Reibungslosigkeit des Kanalwechsels das wirklich “Neue”. Auf kultureller Ebene würde natürlich auch die “Demokratisierung der Produktionsmittel” hinzukommen, aber das ist inzwischen eine solche Binse, dass man sie schon gar nicht mehr erwähnen muss.
Die Content-Funktion
“Inhalte werden zunehmend vom kommunikativen Wert abgekoppelt und dienen stattdessen dazu, die Aufmerksamkeit in großem Maßstab zu steuern und die Emotionen, Stimmungen und Atmosphären zu optimieren, die auf den Plattformen herrschen.”
Übersetztes Zitat aus dem Paper “Brainrot, AI slop, and the enshittification of the Internet”. Via Marcus Bösch, der einer ultimativen Theorie der Content-Gegenwart immer näher kommt (ich verneige mich vor Deiner Arbeit, Marcus!).
Re: Elon Musks KI-Odyssee
Someone else posted, “My god, I can’t think of anything more horrible than AI creating a movie version of The Odyssey. You rant and rave about integrity to the original source: a beautiful human creation, and then you take all humanity out of the equation. F--k you!”
(via)
Links
Fahrenheit 451 Prime ($)
Die Influencer-Rezession. ($)
Zuckerbergs seltsam optimistische Manifest-Wende.
Eine Antwort auf Zuckerbergs Manifest.
Wie werden junge Menschen reagieren, wenn KI ihnen die Jobs wegnimmt? ($)
Ist KI wie Petroleum oder wie Stifte?
Es gibt keine verlustfreien Veränderungen von Text in natürlicher Sprache.
Der Vibe-Shift war ein Buyout.
In welchen Bereichen von Mathematik sind LLMs gut?
Amerika vs. Flock
Alle fehlgeschlagenen KI-Vorhersagen
Bis zur nächsten Ausgabe!
Johannes