Der AI-Act-Check: Wie du KI-Projekte in deiner Verwaltung rechtssicher vorbereitest

Ab dem 2. August greifen die nächsten zentralen Pflichten aus dem EU AI Act, unter anderem zur Kennzeichnung von KI-Inhalten und zu Hochrisikosystemen. Das klingt erstmal nach einem Thema für Juristinnen und Juristen. Ist es aber nicht nur. Das betrifft ziemlich genau die Tools, mit denen in vielen Ämtern schon gearbeitet wird oder gerade geplant ist zu arbeiten, von ChatGPT und Copilot für Texte und Zusammenfassungen bis zu Chatbots und KI-Agenten für Bürgeranfragen und Antragsbearbeitung.

Das eigentliche Problem

In der Praxis scheitert ein KI-Projekt selten am Gesetz selbst. Es scheitert daran, dass niemand von Anfang an klärt, wer eigentlich zuständig ist. IT-Sicherheit, Datenschutz, das Fachamt, manchmal auch die Rechtsstelle. Wenn das nicht früh geregelt ist, verzögert sich jede Entscheidung, und am Ende hängt ein gutes Vorhaben in der Abstimmungsschleife fest.

Wo KI helfen kann, bevor überhaupt jemand entscheidet

An dieser Stelle lohnt sich ein einfacher Trick. Man lässt KI nicht das Projekt bewerten, sondern die eigene Idee erst einmal sauber aufbereiten. Das Ergebnis ist keine Rechtsberatung, sondern eine strukturierte Grundlage für das erste Gespräch mit allen Beteiligten.

Der Prompt dafür:

„Du bist Assistenz für KI-Compliance in einer öffentlichen Verwaltung. Prüfe die folgende Beschreibung eines geplanten KI-Einsatzes anhand dieser Kriterien:

Wer nutzt das System, wer ist betroffen? Welche Daten werden verarbeitet? Wird mit Bürgerinnen und Bürgern kommuniziert? Entstehen KI-Inhalte in Text, Bild oder Video? Welche Punkte müssen Datenschutz, IT-Sicherheit, Fachamt oder Rechtsstelle prüfen?

Gib keine Rechtsberatung. Erstelle nur eine strukturierte Prüfliste mit offenen Fragen.“

Ein Beispiel, damit es greifbar wird

Stellen wir uns vor, das Bürgerbüro will eingehende E-Mails automatisch vorsortieren lassen, damit schneller klar ist, welches Sachgebiet zuständig ist. Meldewesen, Gewerbeanmeldung, Fundsachen, sowas.

Die Beschreibung, die man zusammen mit dem Prompt eingibt, könnte so aussehen:

„Das Bürgerbüro plant den Einsatz eines KI-Tools, das eingehende E-Mails automatisch nach Themen sortiert. Die KI liest den Text, ordnet ihn einer Kategorie zu und schlägt eine Weiterleitung an die passende Zuständigkeit vor. Die Entscheidung trifft weiterhin ein Mitarbeiter.“

Herauskommen würde in etwa das:

Wer nutzt das System, wer ist betroffen? Mitarbeitende im Bürgerbüro, aber auch alle Bürgerinnen und Bürger, die schreiben.
Welche Daten werden verarbeitet? Personenbezogene Angaben aus den E-Mails, je nach Thema teils sensibel.
Wird mit Bürgerinnen und Bürgern kommuniziert? Indirekt schon, weil die Zuordnung beeinflusst, wie schnell und von wem geantwortet wird.
Entstehen KI-Inhalte? Nein, das Tool kategorisiert nur, es schreibt nichts Neues.
Was muss geprüft werden? Datenschutzfolgenabschätzung, Zugriffsrechte, und zwingend die Frage, ob das System lokal oder zumindest DSGVO-konform gehostet ist, bevor es überhaupt Bürgerdaten liest. Dazu der Umgang mit Fehlzuordnungen.

Das ist keine juristische Bewertung. Aber es ist genau die Liste, mit der man ins Gespräch mit Datenschutz und IT gehen kann, statt dort erst anzufangen zu improvisieren.

Was rechtlich wirklich dahintersteht

Kennzeichnungspflichtig sind vor allem Deepfakes, KI-Systeme, die direkt mit Menschen interagieren, etwa Chatbots, und veröffentlichte KI-Texte zu Themen von öffentlichem Interesse. Bei Chatbots reicht es nicht, das irgendwo zu erwähnen, die Information muss spätestens beim ersten Kontakt klar und deutlich zu erkennen sein. Bei Texten gilt eine Ausnahme, wenn ein Mensch den Inhalt geprüft hat und jemand die redaktionelle Verantwortung trägt.

Am Ende geht es nicht um den 2. August als Stichtag, der irgendwann vorbei ist. Es geht um eine Arbeitsweise, die für jedes künftige KI-Vorhaben taugt. Die KI liefert die Vorarbeit. Die Entscheidung bleibt, wo sie hingehört.