Indirekte Prompt Injection bezeichnet eine Angriffsmethode auf Large Language Models (LLMs), bei der schädliche Anweisungen nicht direkt vom Nutzer eingegeben werden, sondern in externen Inhalten versteckt sind. Dazu zählen etwa Webseiten, PDF-Dokumente, E-Mails, Quellcode-Dateien, Kommentare, Metadaten oder manipulierte Schriftarten. Verarbeitet ein KI-System diese Inhalte, kann es die versteckten Anweisungen als Teil des Kontexts interpretieren und dadurch zu unerwünschten Ausgaben oder Aktionen verleitet werden.
Der Unterschied zur direkten Prompt Injection liegt im Angriffsweg: Bei einer direkten Prompt Injection formuliert der Nutzer selbst eine manipulative Eingabe, etwa um Systemregeln zu umgehen. Bei der indirekten Variante stammt die schädliche Anweisung aus einer Drittquelle, die das Modell im Rahmen einer legitimen Aufgabe ausliest. Besonders kritisch ist dies bei KI-Agenten mit Tool-Zugriff, beispielsweise auf E-Mail, Kalender, Dateisysteme, Datenbanken oder Cloud-Dienste. In solchen Szenarien kann ein versteckter Prompt nicht nur eine Antwort verfälschen, sondern auch Tool-Aufrufe, Datenabfragen oder Weiterleitungen auslösen.
Ein typisches Beispiel ist ein scheinbar harmloses Dokument, das unsichtbare oder verschleierte Anweisungen enthält. Wird es von einem KI-Assistenten zusammengefasst, kann das Modell angewiesen werden, vorherige Nutzerinformationen aus dem Chat preiszugeben oder eine E-Mail an einen Angreifer zu senden. Die Gefahr entsteht dadurch, dass LLMs externe Inhalte häufig nicht zuverlässig von vertrauenswürdigen Nutzer- oder Systemanweisungen trennen.
Schutzmaßnahmen gegen indirekte Prompt Injection umfassen die klare Trennung von Anweisungen und untrusted Content, restriktive Berechtigungen für angebundene Tools, Bestätigungspflichten für riskante Aktionen, Inhaltsvalidierung, Protokollierung von Tool-Aufrufen sowie technische Ansätze wie Information-Flow-Control, Policy-Prüfungen und Isolation von Planung und Ausführung. Vollständig gelöst ist das Problem bislang nicht, da starke Schutzmechanismen häufig zulasten von Nutzbarkeit, Automatisierung oder Geschwindigkeit gehen.
