Akte 07
Red Teaming
AI Red Teaming heißt: das eigene KI-System gezielt angreifen, bevor es jemand anderes tut. Strukturiert, dokumentiert, wiederholbar.
Was ist AI Red Teaming?
AI Red Teaming, auf Deutsch KI-Red-Teaming, bezeichnet das gezielte Angreifen eines KI-Systems im Auftrag seines Betreibers, um Schwachstellen zu finden, bevor es ein echter Angreifer tut. Ein Red Team stellt die Frage, die kein Dashboard beantwortet: Was passiert, wenn jemand dieses System wirklich brechen will? Für KI-Systeme heißt das, mit den Techniken der Angreifer zu arbeiten, von Prompt Injection über Jailbreak-Klassen bis zu vergifteten Trainingsdaten, gegen das echte System im echten Kontext. Wie nötig das ist, zeigt der bislang größte öffentliche Red-Teaming-Wettbewerb (Zou et al., 2025): 22 aktuelle KI-Agenten, 1,8 Millionen Angriffsversuche, fast jeder Agent bei den meisten Verhaltensweisen innerhalb von 10 bis 100 Anfragen gebrochen. Was ein solcher Test beweist, hängt davon ab, was vor dem ersten Prompt festgelegt wurde.
Ist Red Teaming nach dem EU AI Act Pflicht?
Ja, für Anbieter, nicht für Betreiber. Der EU AI Act nennt es Angriffstests: Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko müssen sie seit dem 2. August 2025 durchführen und dokumentieren (Art. 55), Anbieter von Hochrisiko-Systemen ab dem 2. Dezember 2027 anhand vorab festgelegter Metriken und Schwellenwerte testen (Art. 9 Abs. 8). Damit wird Red Teaming vom Kür-Thema zur Dokumentationsfrage: Wer wann was getestet hat, mit welchem Ergebnis, und was daraufhin geändert wurde.
Woran erkennt man brauchbares Red Teaming?
Ein brauchbarer Test hat definierte Technikklassen, messbare Erfolgskriterien und einen festen Platz im Lebenszyklus: vor dem Start, nach jedem Modellwechsel, nach jeder Änderung an Werkzeugen und Rechten. Ein einmaliger Workshop mit Bildschirmfotos ist kein Red Teaming, sondern Beruhigung. Wie ein Test abläuft, der etwas beweist, von der Angreiferdefinition bis zum wiederholbaren Testsatz, zeigt der Beitrag zu LLM Red Teaming.
Beiträge in dieser Akte 01