Akte 01
Prompt Injection
Die wichtigste Schwachstelle in LLM-Anwendungen steht in keinem Handbuch: Sprachmodelle können Anweisung und Inhalt nicht zuverlässig trennen.
Was ist Prompt Injection?
Prompt Injection ist ein Angriff auf KI-Systeme, bei dem ein Angreifer eigene Anweisungen in Text einschleust, den ein Sprachmodell verarbeitet, und das Modell so gegen die Vorgaben seines Betreibers arbeiten lässt. Ein Sprachmodell verarbeitet alles, was es liest, als eine einzige Folge von Text: die Vorgaben des Betreibers, die Eingabe des Nutzers, nachgeladene Dokumente. Genau darin liegt die Schwachstelle. Ein Angreifer braucht keinen Schadcode. Es genügt eine Formulierung, die das Modell als neue Anweisung versteht, versteckt in einer E-Mail, einem PDF oder einer Webseite. Die OWASP führt Prompt Injection als LLM01 an erster Stelle ihrer Top 10 der Risiken für LLM-Anwendungen.
Was unterscheidet direkte und indirekte Prompt Injection?
Bei der direkten Injection greift der Nutzer selbst an, etwa um Systemvorgaben auszulesen oder zu umgehen. Gefährlicher ist die indirekte Variante: Der Angreifer platziert seine Anweisung in Inhalten, die das System später von sich aus verarbeitet. Er spricht nie mit dem System und taucht in keinem Zugriffsprotokoll als Angreifer auf.
Wie lässt sich Prompt Injection verhindern?
Vollständig verhindern lässt sich Prompt Injection nach heutigem Stand nicht; begrenzen lassen sich ihre Folgen. Wortfilter und Erkennungsmodelle senken das Grundrauschen, halten aber gezielten Angriffen selten stand. Wirksame Verteidigung ist Architektur: Rechte des Modells begrenzen, seine Ausgaben als nicht vertrauenswürdig behandeln und kritische Aktionen von einer Bestätigung außerhalb des Modells abhängig machen.
Beiträge in dieser Akte 01