Akte 04
Data Poisoning
Ein Modell ist so vertrauenswürdig wie die Daten, aus denen es gelernt hat. Wer die Daten kontrolliert, kontrolliert am Ende das Verhalten.
Was ist Data Poisoning?
Data Poisoning, auf Deutsch Datenvergiftung, ist ein Angriff, bei dem manipulierte Beispiele in die Daten gelangen, aus denen ein KI-System lernt oder aus denen es antwortet. Das trifft Training und Feinabstimmung genauso wie den Dokumentenindex einer RAG-Anwendung. Das Ergebnis reicht von schleichender Verzerrung bis zur gezielten Hintertür, die nur auf ein bestimmtes Auslösewort wartet. Wie wenig dafür reicht, hat PoisonedRAG (USENIX Security 2025) gemessen: Fünf präparierte Texte pro Zielfrage in einem Index mit Millionen Dokumenten lenkten die Antwort in 90 % der Fälle. Trägt das Dokument statt falscher Fakten eine Anweisung, wird daraus Indirect Prompt Injection.
Warum ist die ML-Lieferkette angreifbar?
Kaum ein Unternehmen trainiert von null: Öffentliche Datensätze, gescrapte Quellen, vortrainierte Modelle von Modell-Hubs und externe Feinabstimmung bilden eine Lieferkette mit vielen Gliedern. Jedes Glied, das niemand prüft, ist eine Stelle, an der Manipulation unbemerkt einfließt. Und es braucht erschreckend wenig: Eine Studie von Anthropic, dem UK AI Security Institute und dem Alan Turing Institute (2025) zeigt, dass 250 präparierte Dokumente genügen, um Modellen von 600 Millionen bis 13 Milliarden Parametern eine Hintertür einzubauen. Beim größten Modell waren das 0,00016 % der Trainingsdaten, und die Zahl wächst nicht mit dem Modell mit. Wer Modelle oder Datensätze von Hubs bezieht, prüft sie deshalb wie jede fremde Abhängigkeit; die OWASP LLM Top 10 führen genau das unter Supply Chain sowie Data and Model Poisoning.
Wie schützt man sich vor Data Poisoning?
Daten-Governance ist die unspektakuläre Antwort: Herkunft dokumentieren, Quellen prüfen, Datensätze versionieren und Änderungen erklärbar machen. Dazu Verhaltenstests, die ein Modell nicht nur auf Genauigkeit prüfen, sondern gezielt auf Auffälligkeiten, die dort nicht hingehören. Weil kein Test jede Hintertür findet, begrenzt zusätzlich eine Architektur, die das Modell als unsichere Komponente behandelt, was ein vergiftetes Modell überhaupt anrichten kann.
Beiträge in dieser Akte 00
> akte angelegt, die ermittlung läuft … erste protokolle folgen im Journal.