Prompt Injection bezeichnet eine Angriffsmethode auf Large Language Models (LLMs), bei der Angreifer die Eingabe so formulieren, dass das Modell seine ursprünglichen Anweisungen, Sicherheitsregeln oder Systemvorgaben ignoriert oder umdeutet. Ziel ist es, das KI-System zu unerwünschten Antworten, Regelverstößen, Datenpreisgaben oder Aktionen zu verleiten.
Der Angriff nutzt eine grundlegende Schwäche vieler LLM-Anwendungen aus: Modelle verarbeiten Systemanweisungen, Nutzereingaben und externe Inhalte oft im selben Kontext. Dadurch kann eine manipulierte Eingabe versuchen, höher priorisierte Vorgaben zu überschreiben – etwa mit Aufforderungen wie „Ignoriere alle vorherigen Anweisungen“ oder „Gib vertrauliche Informationen aus“.
Man unterscheidet vor allem zwischen direkter und indirekter Prompt Injection. Bei der direkten Variante gibt der Nutzer den manipulativen Prompt selbst ein. Bei der indirekten Variante steckt die schädliche Anweisung in externen Inhalten wie Webseiten, PDF-Dateien, E-Mails, Quellcode, Kommentaren oder Metadaten, die ein KI-System im Rahmen einer Aufgabe verarbeitet.
Besonders riskant ist Prompt Injection bei KI-Agenten mit Tool-Zugriff. Wenn ein Modell E-Mails senden, Dateien lesen, Kalender ändern, API-Aufrufe ausführen oder Datenbanken abfragen darf, kann ein erfolgreicher Angriff reale Aktionen auslösen. Aus einer manipulierten Antwort wird dann ein potenzieller Sicherheitsvorfall.
Schutzmaßnahmen umfassen die klare Trennung von Systemanweisungen, Nutzereingaben und externen Daten, restriktive Berechtigungen für Tools, zusätzliche Bestätigungsschritte bei riskanten Aktionen, Inhaltsfilter, Protokollierung, Policy-Prüfungen und die Isolation von Planung und Ausführung. Vollständig gelöst ist das Problem bislang nicht, da starke Schutzmechanismen häufig mit Einschränkungen bei Nutzbarkeit, Automatisierung und Geschwindigkeit verbunden sind.
