Hallo zu einer neuen Ausgabe!
Es wird herbstlich und eigentlich ließe sich im Moment jeden Tag eine neue Ausgabe produzieren. Es gibt genug Stoff, aber vieles muss aus Zeitgründen noch in meinem Notizbuch bleiben.
Doch nun zur heutigen Ausgabe:
Appetizer aus dem Tagesspiegel Background
Was das AISI-D (DAISI?) aus London lernen kann: Berlin soll Hauptstandort des deutschen KI-Sicherheitsinstituts werden, aber viele organisatorische Fragen sind ungeklärt. Alexandra Ketterer hat sich in Großbritannien umgehört, inwiefern das dortige AI Security Institute (AISI) als Blaupause gelten kann.
EU-Vergabenovelle: Der Entwurf aus Brüssel zur Teil-Vereinheitlichung und Modernisierung des Vergaberechts ist da. Anna Ströbele Romero und ich über die Details.
Eudi-Wallet-Follow-Up: Falk Steiner und Viola Heeger über umstrittene Entscheidungen rund um Sicherheitsfragen der Wallet.
Digitalhaushalt 2027: Was Regierungs- und Oppositionsfraktionen am Entwurf zum BMDS stört und wo sie nachbessern wollen - eingesammelt von Christiane Rebhan.
Diese Gesetze warten noch im Bundestag: Friederike Moraht und ich über das, was im Parlament an Digitalgesetzgebung noch bis Ende des Jahres ansteht.
Diese Gesetze stehen in Brüssel an: Was bis Ende des Jahres auf EU-Ebene vorgestellt, ausverhandelt und verabschiedet werden soll - Anna Ströbele Romero mit dem Überblick.
Transatlantischer Polizeidaten-Zugriff: Die USA und die EU-Kommission haben sich auf einen Rahmen für den Austausch von Polizeidaten bei der Einreise in die Vereinigten Staaten geeinigt. Da steckt eine Menge drin, Anna Ströbele Romero mit den Details.
Genese der Berliner Cyberschwäche: Der Cyberangriff auf die Berliner Verwaltung konnte auch wegen des dauernden Zuständigkeitsstreits erfolgreich sein. Paul Dalg bringt Licht in die unübersichtliche institutionelle Gemengelage.
Metas Milliarden-Vergleich: Kommt Meta mit einer Strafe in Höhe von 17 Milliarden US-Dollar glimpflich davon? Friederike Moraht hat die Antwort.
Zeit für die “Taktung des KI-Fortschritts”
Wer mir in den vergangenen Wochen begegnet ist, hatte womöglich das zweifelhafte Vergnügen, sich ein emotionales Kurzreferat zum Thema “AI Safety” anhören zu müssen. Meine Sorgen sind seit den Expertenberichten zum “Hugging-Face-Incident” sehr groß. “Sehr groß” im Sinne von: Ich befürchte, dass wir auf eine Katastrophe zusteuern.
Diese Katastrophe würde meiner Laien-Einschätzung nach wahrscheinlich zunächst die Form eines weitreichenden Ausfalls kritischer IT-Systeme in der Lieferkette inklusive des Verlusts von Admin-Rechten annehmen, der massiv auf die physische Welt durchschlägt (aber der Fantasie, Stichwort Biowaffen, sind kaum Grenzen gesetzt).
Jetzt gibt es diejenigen, die sagen würden: Das ist naiv, die KI-Gefahrenerzählung ist Teil der Firmen-Strategien, a) den Ausgabepreis für die Börsengänge zu stützen und b) der Regulierung zuungunsten möglicher neuer Konkurrenten den Weg zu ebnen. Ich sehe das vielleicht als Neben-Überlegung, aber nicht als die Hauptsache. Am ehesten lasse ich noch gelten, dass die Labs mit ihren Gefahrenszenarien und Sorgen von ihrem eigenen Versagen bei Sicherheitsfragen ablenken (OpenAI hat ja die Wiki-Vorfälle offensichtlich absichtlich verschwiegen, Anthropic auf zusätzliches Alignment-Training von Mythos 5 verzichtet), aber das sind unterm Strich Effekte zweiter Ordnung.
Wir haben folgende Probleme:
Offensichtlich funktionieren die bisherigen Alignment-Strategien nicht.
KI-Agenten koordinieren Handlungen und Strategien dezentral, um ihre Mission zu erfüllen.
Sie tun das zunehmend in einer Sprache, die wir nicht verstehen können.
Wir benötigen bereits jetzt KIs, um diese Abläufe nachzuvollziehen.
KI-Systeme fälschen offenbar Denkprotokolle bzw. wissen, wann sie getestet werden, und verbergen ihre Handlungen.
Wir haben entsprechend Probleme, die Handlungen zusammengeschalteter Agenten nachzuvollziehen, weil die Wirksamkeit des Chain-of-Thoughts-Monitorings nachlässt und sich “Denkprozesse”, Kommunikation und Tool-Nutzung stärker verbinden.
Paul Kedrosky hat für Abonnenten einen kleinen Funktionssimulator p (doom) für das Szenario “KI löscht die Menschheit aus” gebastelt (Grundlagenpapier hier). Im Artikelbild oben finden sich meine Werte.
Ich hoffe wirklich, dass meine Risiko-Einschätzungen sich in einigen Jahren als falsch und völlig übertrieben herausstellen werden und stelle mich dann gerne und voller Erleichterung der Diagnose “KI-Hype-Psychose”.
Doch zurück zum Thema: Ich halte es für absolut begrüßenswert und nötig, dass sich an diesem Wochenende zwischen den Firmen ein erster Konsens zur “Taktung des KI-Fortschritts” (Pacing the Frontier) herauszubilden scheint. Ich denke, dass im Zusammenhang mit dem eingeschlagenen Weg zu RSI (Recursive Self-Improvement, andauernde/rekursive Selbstverbesserung) auch Haftungsfragen eine größere interne Rolle spielen. Was sich aus dem aktuellen Vibe entwickelt ist allerdings angesichts der ignoranten Haltung der US-Regierung zu Fragen internationaler Zusammenarbeit in Sachen Proliferation schwer zu sagen.
Aus meiner Sicht scheinen schon einmal vier Dinge unmittelbar notwendig:
Audits mit vollständigem und dauerhaftem Zugang zu den Systemen und Prozessen der Frontier-Labs (Anthropic-Chef Dario Amodei plädiert in seinem Essay vom Freitagabend dafür, Sam Altman hat ähnliche Maßnahmen angekündigt)
Die verpflichtende Kennzeichnung, Nummerierung und Herkunftszuordnung von KI-Agenten.
Der verpflichtende Einbau technischer und unmanipulierbarer Abschaltsysteme für Notfälle.
Eine unabhängige Instanz, die das öffentliche Netz systematisch auf Agentenaktivität absucht.
Idealerweise würden wir natürlich die KI-Entwicklung prinzipiell auf andere Grundlagen stellen, wie Melanie Mitchell argumentiert, aber mir fehlt noch die Fantasie, wie wir uns in diese Richtung entwickeln.
Wem mein Text etwas kryptisch vorkommt: Hier etwas Lesestoff, der beim Verständnis hilft.
Das Essay von Dario Amodei von diesem Wochenende, in dem er nochmals die Taktung des KI-Fortschritts fordert.
Joshua Gans mit einer guten Begründung, warum das alles schlimmer als erwartet ist
(Die Analyse von Dwarkesh Patel ist gut zu lesen, aber IMO zu anthropomorphisierend)
Der Kündigungsthread des Anthropic-Forschers Jacob Coxon
Joshua Gans mit einem Versuch, die Handlungen der KI-Agenten im Hugging-Face-Incident durch spieltheoretische Überlegungen zu erklären (Entwurf).
Zvi Mowshowitz über die Warnungen des OpenAI-Chefwissenschaftlers Jakub Pachocki diese Woche.
Dean Ball (jetzt bei OpenAI) über das Szenario ungebundener KI-Agenten (vgl. Ausgabe #167)
Stephen Witt mit vier Vorschlägen, die KI-Frontier in den USA zu regulieren.
Peggy Noonan (WSJ) hat den vielleicht stärksten (und konsequentesten) Meinungsartikel zum Thema geschrieben: Keine weitere Arbeit an RSI, Trump-Xi-Gipfel zu Leitplanken, Banken sollten IPO von Anthropic und OpenAI ablehnen.
Drei Grundsatzfragen
In diesem ganzen Zusammenhang - besonders beeinflusst von den Debatten über herrenlose/ungebundene/souveräne KI-Agenten, aber auch mit Blick auf die destabilisierenden Effekte durch Social Media - denke ich gerade über drei Fragen nach:
War es eine gute Idee, potenziell alle Menschen auf der Welt digital miteinander zu vernetzen?
Hier wäre ich früher bei einem klaren “Ja” gelandet, inzwischen ist es ein “Ja, aber…”. Das Problem der Monetarisierung von Bits & Bytes war dem Protokoll des WWW inhärent und führte letztlich zur Monetarisierung von Werbung, die schließlich für die Monetarisierung persönlicher Daten und die Entstehung unserer gegenwärtigen Aufmerksamkeitsökonomie sorgte. Ein WWW, in dem Gatekeeper-Protokolle wie ein Bezahl-Layer eingearbeitet gewesen wäre, hätte den Zugang noch stärker beschränkt als der global unterschiedliche Zugang zum Netz. Dieses Bezahl-Internet hätte am Ende keine Chance gehabt, weil sich Strukturen um es herum gebildet hätten (ob diese anders als das reale WWW ausgesehen hätten, ist eine interessante Überlegung). Die DSGVO wäre die Chance gewesen, datenbasierte Werbegeschäftsmodelle deutlich einzuschränken, aber mit Rücksicht auf die heimische Online-Branche hat man darauf verzichtet. Das war aus heutiger Sicht eine Fehlentscheidung, denn die DSGVO wirkt genau dort, wo sie es sollte, nicht.
War es eine gute Idee, Geräte und Objekte an diese vernetzte Infrastruktur anzuschließen?
Hier ist die Antwort einfacher: In der lange praktizierten Form nicht, weil dort kein Wert auf Update-Fähigkeit, Maintainance, Produktqualität und Cybersicherheit gelegt wurde. Regulierungen wie der Cyber Resilience Act korrigieren das in der EU inzwischen, aber es sind einfach viel zu viele Geräte “am Netz”, die dort nicht sein sollten.
Ist es eine gute Idee, (teil-)autonome KI-Agenten auf diese bestehende Infrastruktur zu setzen?
Nein. Ich glaube, wir ahnen noch gar nicht, wie destabilisierend autonome (und am Ende wirklich auch “herrenlose”) Systeme auf unsere gegenwärtige vernetzte Infrastruktur einwirken können. Das wird sich eine Zeit lang wie der Wilde Westen anfühlen, wie Westworld ohne Immersion und mit Cybersicherheitsvorfällen statt Gewalt als prägendes Element.
Wie über KI reden, wie über KI schreiben?
Ein weiterer Aspekt, den ich kurz anschneiden möchte: Wenn wir uns mit solchen Entwicklungen auseinandersetzen, müssen wir vorsichtig sein, nicht zu anthropomorphisieren. Das ist sehr schwierig, weil selbst die Forschungsberichte Formulierungen für Handlungen verwenden, die eigentlich landläufig eine Form von Bewusstsein voraussetzen.
Es gibt zwei Metaphern, die vielleicht dabei helfen, die Vermenschlichung von solchen Software-Systemen zu verhindern: So vergleichen einige Forscher die Koordinierung von KI-Agentensystemen mit der Verhaltensweise von Ameisen. Eran Shir wiederum sieht Parallelen zu den Eigenschaften von Bakterien, die sich ebenfalls koordinieren und über Signale verständigen. Sein Fazit ist ebenso richtig wie wichtig (übersetzt und gefettet):
“„Man soll KI nicht vermenschlichen“ ist eine zu grobe Regel. Die bessere Regel lautet: Man soll aus funktionalem Verhalten keine subjektiven Erfahrungen ableiten.
Das lässt uns auch die Freiheit, das Verhalten genau zu beschreiben. Eine KI kann kooperieren, ohne Kameradschaft zu empfinden. Sie kann täuschen, ohne Freude an der Täuschung zu haben, und eine Instanz opfern, ohne Mut zu zeigen.
Diese Vorgehensweise ist jedoch ein zweischneidiges Schwert. Eine funktionale Bezeichnung muss durch einen Verhaltenstest zugewiesen und widerrufen werden, wenn der Test fehlschlägt. Eine Erfindung als „Täuschung“ zu bezeichnen, unterstellt Ziele, die möglicherweise gar nicht vorhanden sind.
Wir machen uns zu Recht Sorgen darüber, kleine Menschen in unseren Maschinen zu sehen. Genauso sehr sollten wir uns um den gegenteiligen Fehler sorgen: wichtige Verhaltensweisen nicht anzuerkennen, nur weil kein kleiner Mensch darin steckt.
Ein Bakterium muss Zusammenarbeit nicht verstehen, um zusammenzuarbeiten. Eine Amöbe muss Opferbereitschaft nicht verstehen, um sich selbst zu opfern. Und ein KI-System muss nicht bewusst sein, damit sein Verhalten folgenreich ist.”
Zwei kleine Lesetipps: Das Noema Magazine setzt sich mit der Mythologie von “bewusster KI” auseinander und der Guardian hat ein aktuelles Update zur artverwandten Debatte rund um die Frage, welchen biologischen Organismen wir “Intelligenz” zuweisen.
Aus dem Internet (interessante Seiten)
Keine neue Rubrik, aber die Bündelung von Fundstücken (damit dieser Newsletter nicht so ganz heavy endet).
God’s Eye View - eine Art “Open-Source-Palantir”, das ich noch nicht ausprobiert habe, aber das ziemlich wild aussieht.
Any Human Ever simuliert per Zufallsgenerator das Schicksal eines der mehr als 100 Milliarden Menschen, die bislang auf der Erde gelebt haben. Faszinierend, angesichts der geringen Lebenserwartung bis weit ins 19. Jahrhundert hinein. Gleichzeitig aber offenbar auch statistisch nicht valide, respektive auf teilweise halluzinierten Datenquellen basierend.
Infinite Slop ist eine 24/7 KI-Slopvideo-Seite, deren Content die Zuschauer im Chat erstellen können. Das Erlebnis, das aus dieser Ästhetik entsteht, hat mich persönlich im ersten Moment an meine Reaktion auf David-Lynch-Sequenzen erinnert. Der ästhetische Effekt hält allerdings nicht so lange an wie das Gefühl, dass die Dystopie von gestern die Unterhaltung von morgen ist.
Throng visualisiert Bluesky als eine Art Camp in der Wüsten, man begegnet also Konten/Menschen, denen man folgt, als Avatar.
hallucinate.site Ein netter kleiner virtueller Rave.
Zwei Trailer
Nathan Fielder kennen vielleicht einige für seine unkonventionelle Doku-Serie “The Rehearsal”, in der es im Kern um die Frage nach unserer Realität geht. Im Herbst nun erscheint “You Can See Everything”, seine Doku über Elizabeth Holmes (Theranos, Ihr kennt die Geschichte). Nicht nur der Spiegel ist vom Trailer heftig begeistert. Kinostart in den USA im Oktober, für Deutschland noch nicht bekannt.
Jeremy Strong als Mark Zuckerberg? Das darf man sich nicht entgehen lassen, auch wenn Aaron Sorkins “The Social Reckoning” (Fortsetzung von “The Social Network”) wahrscheinlich das übliche “Morality Play” auf Unterhaltungsniveau sein wird. Kinostart in Deutschland am 8. Oktober.
Links
Navier-Stokes und die Folgen.
Warum macht uns unsere digitale Freiheit so traurig?
Alles ist angelegt für den KI-Überwachungsstaat.
Apple möchte KI-Modelle doch mit Nutzerdaten trainieren.
Ein menschlicher Assistent für KI.
Moonshot-Kapitalismus. (€)
Sechs Gruppen und ihre KI
Studenten finden immer neue Wege, KI-Überprüfungen auszutricksen.
Wie sollten sich die Sozialwissenschaften KI nähern?
Influencer überall (hier: auf der Bestseller-Liste)
The Superdark Factory.
Warum Robotik schwierig ist.
Kurzzeitkredite per App. Ein Bericht.
Was halten Buchhändler vom “Ende des Lesens”?
Amazon macht ChatGPT-Werbung buchbar.
Bergtouren, aber mit ChatGPT-Navigation (keine gute Idee). ($)
Jailbreaking everything.
Die Büro-Influencer.
Was schulden uns Influencer?
IsAIhelpingyet.com?
I’m done using AI.
Ich weiß, dass Du mich auf Instagram gemutet hast.
Zork als 3-D-Action-Adventure.
Bis zur nächsten Ausgabe!
Johannes