Akte 04
Data Poisoning
Ein Modell ist so vertrauenswürdig wie die Daten, aus denen es gelernt hat. Wer die Daten kontrolliert, kontrolliert am Ende das Verhalten.
Vergiftete Quellen
Data Poisoning heißt: Ein Angreifer bringt manipulierte Beispiele in die Daten, aus denen ein System lernt oder aus denen es antwortet. Das trifft Training und Feinabstimmung genauso wie den Dokumentenindex einer RAG-Anwendung. Das Ergebnis reicht von schleichender Verzerrung bis zur gezielten Hintertür, die nur auf ein bestimmtes Auslösewort wartet.
Die Lieferkette des maschinellen Lernens
Kaum ein Unternehmen trainiert von null: Öffentliche Datensätze, gescrapte Quellen, vortrainierte Modelle von Modell-Hubs und externe Feinabstimmung bilden eine Lieferkette mit vielen Gliedern. Jedes Glied, das niemand prüft, ist eine Stelle, an der Manipulation unbemerkt einfließt.
Was dagegen hält
Daten-Governance ist die unspektakuläre Antwort: Herkunft dokumentieren, Quellen prüfen, Datensätze versionieren und Änderungen erklärbar machen. Dazu Verhaltenstests, die ein Modell nicht nur auf Genauigkeit prüfen, sondern gezielt auf Auffälligkeiten, die dort nicht hingehören.
Beiträge in dieser Akte 00
> akte angelegt, die ermittlung läuft … erste protokolle folgen im Journal.