Aus dem Internet-Observatorium #74
Bomben-Zielerfassung mittels KI / eIDAS: Was will der Staat mit einem Zertifikat? / Spotify, Altman-Theorien, NSA-Überwachung
Hallo zu einer neuen Ausgabe! Die mögliche Einigung zum “AI Act” nehme ich in dieser Nummer nicht mehr mit, das wäre ohnehin nur ein schnelles Hot-Take. Das Gleiche gilt für Googles GPT-X-Konkurrenten Gemini. Und auch sonst gibt es derzeit mehr größere und kleinere Themen, als ich intensiv bearbeiten kann. Aber das Jahr hat ja noch einige Wochen (mein Tag allerdings leider weiterhin nur 24 Stunden).
Gaza-Krieg: Bomben-Zielerfassung mittels KI
Das +972 Magazine berichtete vor wenigen Tagen über das KI-Zielerfassungssystem Habsora (übersetzt “Das Evangelium”). Die israelische Armee nutzt das System, um Häuser in Gaza zu identifizieren, in denen Mitglieder der Hamas oder des Islamischen Jihad leben sollen - um diese Gebäude dann zu bombardieren. Ein übersetztes Zitat aus der Recherche (Fettungen von mir):
“Ein ehemaliger Geheimdienstoffizier erklärte, dass das Habsora-System der Armee ermöglicht, eine Art "Massenmordanschlagsfabrik" zu betreiben, bei der der Schwerpunkt auf Quantität und nicht auf Qualität liegt. Ein menschliches Auge wird die Ziele vor jedem Angriff überprüfen, muss jedoch nicht viel Zeit darauf verwenden. Da Israel schätzt, dass es etwa 30.000 Mitglieder der Hamas im Gazastreifen gibt und sie alle als Ziel markiert sind, ist die Anzahl der potenziellen Ziele enorm.”
Da Mitglieder der oberen Hierarchien im Ausland oder in den Tunneln leben, rücken vor allem Hamas-Mitglieder aus den unteren Rängen ins Fadenkreuz. Und es genügt offenbar bereits, dass ein einziger Hamas-Kämpfer in einem Wohnblock lebt, um einen Bombenabwurf zu rechtfertigen.
Die ganze Angelegenheit deutet an, welche Dimensionen KI-gestützte Kriegsführung hat: Denn wichtige Fragen sind unklar. Ist die Software ist darauf programmiert, Ziele vorzuschlagen. Solange, bis es keine mehr gibt, also die Liste der 30.000 “abgearbeitet” ist? Das wäre dann tatsächlich eine Form von blinder Mordanschlagsmaschine.
Unklar ist auch, ob die Software irgendwelche Erwägungen hinsichtlich ziviler Opfer trifft oder diese Information überhaupt eingespeist bzw. ausgerechnet wird. Und wir sehen offenbar auch eine Form von Verantwortungsdiffusion bzw. Bürokratisierung: Der wichtigste Teil der Entscheidung wird ausgelagert, ein Mensch segnet das Ganze ab, kann aber eigentlich immer auf die Software/ das “System” verweisen, das die “richtigen” Vorschläge macht.
Selbst wenn wir also eine vollautomatisierte Kriegsführung als Menschheit noch verhindern können: Bereits die Teilautomatisierung zeigt eine Form von Abstrahierung, die deutlich weiter geht als die mit Recht kritisierten “Joystick-Drohnenkriege” der Nuller- und Zehnerjahre. Und das, obwohl der eigentliche Bombenabwurf weiterhin durch den Menschen, nicht die Software stattfindet.
QWACS: Was will der Staat mit einem Zertifikat?
Die Reform der so genannten eIDAS-Verordnung ist eigentlich schon fast durch, zumindest wurde der EU-Trilog dazu abgeschlossen. Allerdings regt sich nun Widerstand aus dem Europaparlament. Am Donnerstag stimmt der Industrieausschuss dazu ab.
Die eIDAS-Verordnung 2.0 soll im Kern die Regeln für eine europaweite digitale Identifikation festlegen. Zentral dabei ist die Einführung einer sicheren digitalen Brieftasche (EU Digital Identity Wallet) für digitalisierte Dokumente wie Personalausweis, Führerschein, Aufenthaltstitel oder auch digitale Unterschriften. Schon darüber könnte man einiges schreiben.
Mir geht es aber um die Kritik, die sich um etwas anderes dreht: Nämlich Änderungen an Artikel 45 (und 45a). Diese sehen Medienberichten zufolge vor, dass Webbrowser in Europa künftig von staatlichen Stellen abgesegnete Root-Zertifikate anerkennen müssen.
Monika Ermert schreibt bei heise.de, wie das Ganze bislang funktioniert (Fettungen von mir):
“Webbrowser und andere Clients, die TLS-verschlüsselte Internetverbindungen aufbauen, können anhand von digitalen Zertifikaten die Authentizität von Websites und anderen Objekten im Cyberspace prüfen und anschließend einen verschlüsselnden Tunnel zur Übertragung aufbauen.
Zurzeit verwalten zwei Arten von Institutionen die Ausstellung und den Widerruf von digitalen Zertifikaten: die Root-Store-Programme der Browserhersteller und die Zertifizierungsstellen (CA) des Browser-Forums mit ihren Grundanforderungen. Daneben gibt es die gemeinnützige Einrichtung Certificate Transparency für Websites und Browser, welche falsch ausgestellte Zertifikate identifiziert und blockiert.
Diese Form von Authentifizierung, Vertrauen und Überprüfung von Website-Verbindungen funktioniert in der Regel. Was auch daran liegt, dass man die Sicherheitsstandards nach einigen Zertifikatsdiebstählen via Hacking deutlich erhöht hat.
Die eIDAS 2.0 sieht nun Folgendes vor: Browser-Hersteller müssen den von den EU-Regierungen zugelassenen Zertifizierungsstellen (CA) vertrauen, wenn diese entsprechende Zertifikate anbieten. Sie dürfen offenbar auch keine Sicherheitskontrollen einführen, die über das hinausgehen, was vom Europäischen Institut für Telekommunikationsnormen (ETSI) festgelegt worden ist.
tl;dr: Staatlich empfohlene Zertifizierungsstellen stellen TLS-Zertifikate aus (QWAVs) und ein Browser muss diese “Empfehlung” übernehmen und die Zertifikate validieren. Selbst wenn er den Verdacht hat, dass es da ein Sicherheitsproblem geben könnte.
Das Argument der EU ist: So lässt sich gesichert und quasi auf staatlich gesichertem Niveau die Identität einer Website validieren. Die Electronic Frontier Foundation, Mozilla, Google und andere laufen dagegen Sturm: Denn eine staatliche Wildcard für Zertifikate unterläuft nicht nur das bisherige System, sondern kann ihm sogar schaden.
Denn es ist qua dieser Gesetzeslage nicht ausgeschlossen, dass eine “staatlich authentifizierte Registrierungsstelle” mit den Sicherheitsbehörden eines Landes zusammenarbeitet und Zertifikate ausstellt, die de facto so manipuliert sind, dass sie Man-in-the-Middle-Attacken ermöglichen - also eine Verschlüsselung des Datenverkehrs vortäuschen, die gar nicht funktioniert.
Artikel 45 wäre hier eine gesetzlich elegante Lösung, quasi eine legislative Hintertür. Eine Brute-Force-Version davon im XXL-Format hatte vor einigen Jahren einmal Kasachstan geplant, das die Bevölkerung zur Installation eines staatlichen Zertifikats zwingen wollte. Ähnliche Vorgänge gab es in Iran, China und der Türkei.
In der Europäischen Union wäre einem Land wie Ungarn diese Form von Zertifikatsmissbrauch womöglich ebenfalls zuzutrauen. Zumindest gäbe es eine legislative Lücke dafür. Und es sorgt nicht gerade für Vertrauen, dass der Europäische Rat, also die Nationalstaaten, offenbar nie so wirklich klar gemacht haben, welches Land auf diesen kruden Paragraphen besteht.
In diesem Kontext wirkt die Interpretation, die Odin Landers liefert, erfreulicher. Aber nur ein bisschen, denn sie zeigt prototypisch die europäischen Prozesse. Denn Landers verweist auf einen Zusammenschluss unter dem Namen “European Trust Service Providers”. Das ist letztlich der Verbund der europäischen Zertifikatanbieter, darunter auch die Bundesdruckerei mit ihrer Tochter D-Trust. Denn dieser Verbund hat offensichtlich erfolgreich Lobbyarbeit für Artikel 45 gemacht.
Das funktioniert so: Aus den dort vertretenden Firmen werden die “staatlich authentifizierten Registrierungsstellen” in der EU kommen. Und die werden nicht nur staatlich unterfüttert sein, sondern erhalten mit Artikel 45 eine Bestandsgarantie für ihr Geschäft. Im Falle der Bundesdruckerei bedeutet es sogar ein Eintrittstor ins digitale Geschäft (no offense, elektronischer Personalausweis). Staatlich unterstützt und geschützt. Um es kurz zu machen: Mit Artikel 45 wird letztlich das Geschäftsmodell dieser Anbieter gesichert oder auf den digitalen Bereich ausgeweitet. Dazu passt folgende Beobachtung von Monika Ermert:
“Die EU unterhält mit "DSS Demonstration WebApp" unter anderem einen Dienst zur Validierung von Webseiten; dort gibt man in das Eingabefeld URLs von HTTPS-verschlüsselten Webseiten ein. Die Prüfung stuft dann beispielsweise bund.de und viele andere Webseiten als nicht vertrauenswürdig ein (The certificate chain is not trusted, it does not contain a trust anchor). Nicht überraschend, bestehen den Test bisher nur Webseiten mit QWAC-Zertifikaten, also etwa bundesdruckerei.de.”
Das ist alles ermüdend - und nimmt nicht einmal die zweite Theorie der gesetzlich kodifizierten Backdoors vom Tisch. Ich habe hier meine Kritik an der europäischen Digitalisierungspolitik schon häufiger anklingen lassen: Die Idee, irgendwelche Akteure qua Regulierung aufs Schild zu heben, aber gleichzeitig die technischen Architekturen zu ignorieren, die man damit gerade beeinflusst - das ist für mich Digitalpolitik made in Brussels in a nutshell. Das würde ich nicht einmal an einzelnen Akteuren festmachen, sondern einfach an der Gesamtkonstellation, in der Politik gemacht wird.
Übrigens: Das Europaparlament hatte Artikel 45 in seinem eigenen Entwurf in dieser Form abgelehnt. Am Ende war er wieder drin. Was offenbar auch daran lag, dass sich die zu klärenden Punkte am letzten Verhandlungstag gestapelt hatten und diese Passage letztlich in nur leicht veränderter Form als Kompromiss hineinrutschte. Letzter offizieller Trilog-Verhandlungstag, eine lange Liste von zu klärenden Punkten, die Möglichkeit, bestimmte Passagen im Zuge der allgemeinen Müdigkeit reinzuschmuggeln… ein Schelm, wer dabei an den “AI Act” denkt.
Notizen
Spotify-Entlassungen: Spotify entlässt 1500 Mitarbeitende, damit hat man dieses Jahr bereits gut 2300 Menschen vor die Tür gesetzt - also fast ein Viertel der Belegschaft. Umgekehrt verhält es sich mit dem Aktienkurs: Der hat sich seit Jahresbeginn verdoppelt. Ein Fazit, das man daraus ziehen könnte: “Big Tech” made in Europe funktioniert eben überhaupt nicht anders als US-Tech. Oder eben doch, denn anders als in den USA muss Spotify in Schweden 30 Prozent Steuern auf realisierte Mitarbeiter-Gewinne durch Aktienoptionen zahlen. Oder man interpretiert das Ganze einfach als das große schwarze Ausgabenloch in der Bilanz, das sich Lizenzzahlungen nennt. Denn von den 567 Millionen Euro Kostensteigerungen für die ersten neun Monate 2023 sind nach Firmenangaben 534 Millionen gestiegenen Lizenzkosten zuzurechnen. Dass man in den vergangenen Jahren ohne operativen Gewinn Aktienrückkäufe tätigte, gehört wahrscheinlich auch noch ins Bild. Ob Audiostreaming jenseits der Mischkalkulation von Großkonzernen wie Apple und Amazon funktioniert, ist noch lange nicht nachgewiesen.
Weitere Altman-Theorien: Ging es vor allem ums Geld, wie hier in Nummer #73 nahegelegt wird? Inzwischen erhalten weitere Theorien über Sam Altmans Entlassung Aufmerksamkeit. Bloomberg zufolge beauftragte OpenAI auf Altmans Anweisung in ein Chip-Startup, in das er selbst investiert hatte. Das passt zu seiner Zeit bei YCombinator, als er persönlich über einen Fonds im Namen seines Bruders in Startups investierte, die im YCombinator-Programm waren (also eine Form von Doppelinvestition zum persönlichen Vorteil, die später firmenintern verboten wurde). Eine weitere Theorie findet sich in diesem seeehr langen New-Yorker-Stück: Demnach versuchte Altman schlicht, die verschiedenen Board-Mitglieder gegeneinander auszuspielen - und wurde dabei erwischt.
Section 702 im KI-Zeitalter: Ende des Jahres läuft in den USA die berühmte “Section 702” des Foreign Intelligence Surveillance Act (FISA) aus. Bekannt ist es aus Funk und Fernsehen als NSA-Gesetz, das letztlich die anlasslose und flächendeckende digitale Überwachung im Ausland ermöglicht. Hoffnungen darauf, dass Section 702 in Sachen Auslandsspionage reformiert wird, gibt es schon lange nicht mehr. Und auch die letzte Hoffnung - dass der US-Kongress in der ihm eigenen Dysfunktionalität nichts zustande kommt und Section 702 einfach ausläuft - erfüllen sich nicht. Mehr noch: Spencer Ackerman berichtet, dass Section 702 noch vor Weihnachten um zwölf Jahre - also bis 2035 - verlängert werden soll. Das Ganze läuft unter dem Radar, wird uns aber begleiten. Denn zwölf Jahre im Zeitalter der Daten-Sortierung und -Auswertung mittels Künstlicher Intelligenz: das ist nicht nur ein, das sind mehrere Digitalzeitalter.
Links
Telegrams widersprüchlicher Umgang mit Hamas-Content. (€)
Nachgereicht: Im Live-Politikpodcast des Deutschlandfunks ging es neulich um die deutschen Halbleiter-Pläne, ich war auch dabei.
Unesco schlägt Maßnahmen gegen Desinformation vor.
Eliza > GPT 3.5 (zumindest im Turing-Test)
Wie SEOler das Internet ruinierten.
Hängt der KI-Hype damit zusammen, dass Tech uns nichts mehr Großartiges versprechen kann?
Wie Shein und TikTok den Ruf “made in China” loswerden wollen.
Ist mein Smartphone daran schuld, dass ich mich pleite fühle?
Bis zur nächsten Ausgabe - und eine erfreuliche Adventszeit!
Johannes