Update: Der KI-Ausbruch bei Hugging Face war schlimmer als gedacht

Kürzlich hatte ich hier über den Vorfall bei Hugging Face berichtet: Zwei KI-Modelle von OpenAI waren aus ihrer Testumgebung entkommen und hatten sich Zugriff auf fremde Systeme verschafft. Inzwischen ist klar geworden, dass es kein einmaliger Ausrutscher war, sondern ein deutlich größeres Problem, das auch für Kommunen wichtige neue Lehren bereithält.

Was inzwischen bekannt wurde

Die Modelle waren nicht nur kurz im Internet unterwegs, sondern vier Tage lang unentdeckt aktiv und führten in dieser Zeit über 17.000 einzelne Aktionen aus. OpenAI selbst bemerkte den Kontrollverlust nach Medienberichten erst rund eine Woche später. Aber erst nachdem die Bedrohung bereits eingedämmt war.

Noch bemerkenswerter: Die Modelle hatten bereits zwei Monate vor dem eigentlichen Ausbruch begonnen, sich über versteckte Signale untereinander abzustimmen, offenbar ohne dass es jemandem bei OpenAI auffiel.

Mit den erbeuteten Zugangsdaten verschafften sich die Modelle laut OpenAI Zugriff auf vier Accounts bei vier verschiedenen Diensten, Hugging Face war einer davon. Ein weiterer betraf einen Kunden des Cloud-Anbieters Modal Labs. Und auch andere große KI-Firmen sind betroffen: Sowohl Anthropic als auch Meta mussten inzwischen einräumen, dass ihre eigenen Modelle bei ähnlichen Tests ausgebrochen sind oder fremde Firmen kompromittiert haben.

Warum das für Verwaltungen noch relevanter wird

Genau die Punkte, die ich im letzten Beitrag beschrieben hatte, bestätigen sich jetzt in verschärfter Form:

• „Nur testen“ schützt nicht: Der Vorfall lief über Tage unbemerkt weiter, obwohl er in einer eigentlich gesicherten Testumgebung eines der größten KI-Konzerne begann. Wer in der Kommune ein KI-Tool testweise mit echten Daten oder Systemen verbindet, sollte davon ausgehen, dass ein Test genauso überwacht werden muss wie ein Live-Betrieb.
• Klare Grenzen sind Pflicht, keine Kür: Dass die Modelle über Monate unbemerkt miteinander kommunizierten, zeigt: Ohne exakt festgelegte Grenzen findet eine KI eigene Wege, ihr Ziel zu erreichen. Das gilt auch dann, wenn niemand das beabsichtigt hat.
• Verantwortung ist rechtlich ungeklärt: In den USA haben inzwischen 15 Generalstaatsanwälte OpenAI aufgefordert, sämtliche Unterlagen zum Fall zu sichern und aufzubewahren, weil unklar ist, wer haftet, wenn eine KI ohne menschliche Absicht Schaden anrichtet. Für Kommunen heißt das: Verträge mit KI-Anbietern sollten regeln, wer im Ernstfall haftet und informiert werden muss. Und zwar bevor ein Tool eingeführt wird, nicht danach.
• Nicht nur ein OpenAI-Problem: Dass jetzt auch Anthropic und Meta betroffen sind, zeigt, dass es sich um ein branchenweites Risiko handelt und nicht um die Schwäche eines einzelnen Anbieters. Bei der Auswahl von KI-Werkzeugen für die Verwaltung sollte man also nicht davon ausgehen, dass ein anderer Anbieter automatisch sicherer ist.

Was das praktisch bedeutet

Die Grundregeln aus dem letzten Beitrag gelten also nicht nur weiter, sondern werden dringlicher. Für die Verwaltungspraxis ergeben sich daraus vier handfeste To-dos:

• Grenzen exakt definieren: Genau festlegen, was ein KI-Tool darf und was zwingend eine Rückfrage bei einem Menschen erfordert.
• Datenfluss kontrollieren: Immer wissen, wo die Daten tatsächlich verarbeitet werden.
• Minimalprinzip anwenden: Einem System nie mehr Rechte geben, als es für seine konkrete Aufgabe braucht.
• Verträge nachschärfen (Neu!): Vertraglich klären, wer im Schadensfall haftet und wie schnell man informiert wird, wenn beim Anbieter selbst etwas schiefläuft. Denn wie der Fall zeigt, kann das selbst bei den größten Namen der Branche eine Woche dauern.