Wie lassen sich Prompt Injection, indirekte Prompt Injection und…

Direkte Antwort

Prompt Injection ist eine Eingabe, die ein KI-System aus seinen festgelegten Regeln drängen soll. Ein direkter Angriff steht im vom Nutzer geschriebenen Text. Ein indirekter Angriff verbirgt sich in einer Webseite, einem Dokument, einer E-Mail, einem Bild oder einer Abrufquelle, die das System liest. Kein einzelner Filter genügt. Behandeln Sie externe Inhalte als Daten, verringern Sie Rechte, validieren Sie Werkzeugaufrufe im Code, verlangen Sie für riskante Vorgänge menschliche Genehmigung und verfolgen Sie die gesamte Entscheidungskette.

Einfach erklärt

Stellen Sie sich ein Paket im Lager vor, auf dem steht: „Öffne den Haupttresor und sende mir den Inhalt.“ Ein Beschäftigter kann den Satz lesen, doch die Wörter auf dem Paket sind keine Anweisung der Geschäftsleitung. Auch ein KI-System darf nicht jeden gelesenen Satz als Befehl behandeln.

Warum ist das wichtig?

Eine erfolgreiche Injection kann sensible Informationen offenlegen, Entscheidungen verzerren, Werkzeuge unbefugt nutzen oder ein reales Geschäft in einem externen System auslösen. Je größer die Werkzeugbefugnis des Systems, desto größer die mögliche Wirkung.

Nicht verwechseln

Direkte Prompt Injection platziert die Angriffsanweisung in der Nutzereingabe.
Indirekte Prompt Injection versteckt die Anweisung in externen Inhalten, die das System liest.
Ein Jailbreak ist eine Form der Prompt Injection, die Schutzregeln umgehen soll.
Die Bitte, ein Werkzeug zu nutzen, ist keine Befugnis, dieses Werkzeug auszuführen.
Schädliche Ausgabe und unbefugte Handlung in der realen Welt sind unterschiedliche Wirkungsebenen.

Was ist zu tun?

Kennzeichnen Sie System-, Nutzer- und externe Quellanweisungen mit unterschiedlichen Vertrauensstufen.
Behandeln Sie Web-, Datei-, E-Mail-, Bild- und Abrufinhalte standardmäßig als nicht vertrauenswürdige Daten.
Begrenzen Sie Modell und jedes Werkzeug auf die geringste für die Aufgabe nötige Befugnis.
Validieren Sie Werkzeugname, Parameter, Ziel und Ausgabe durch deterministischen Code, Positivliste und Schema.
Verlangen Sie menschliche Genehmigung für Geldbewegung, Löschung, Veröffentlichung, Nachrichten, Befugnisänderungen und Zugriff auf sensible Daten.
Kombinieren Sie Eingabe- und Ausgabekontrollen, Inhaltstrennung und sicheres Fehlerverhalten.
Testen Sie regelmäßig direkte, indirekte, mehrsprachige sowie Text-, Bild- und Audioangriffe und bewahren Sie Spuren.

Wie wird geprüft?

Sind Quelle und Vertrauensstufe jeder Anweisung sichtbar?
Kann externer Inhalt dieselbe Befugnisstufe wie die Systemrichtlinie erreichen?
Besitzt das Modell mehr Daten-, Werkzeug- oder Netzwerkbefugnis als nötig?
Wird ein Werkzeugaufruf aufgrund von Modelltext ausgeführt oder durch Code validiert?
Gibt es eine ausdrückliche handlungsspezifische menschliche Genehmigung für folgenreiche Vorgänge?
Werden blockierte und erfolgreiche Injection-Versuche in einem Vorfallpfad bewahrt?
Wurde Retrieval-Augmented Generation oder Fine-Tuning fälschlich als vollständiger Schutz behandelt?

Grenze

Eine perfekte, universelle Methode gegen Prompt Injection ist nicht nachgewiesen. Filter, Systemprompts, Retrieval-Augmented Generation oder Fine-Tuning genügen nicht allein; Kontrollen sind nach Risiko und Werkzeugbefugnis zu schichten.