Laut der Google Threat Intelligence Group eröffnet dieser Trend eine neue Phase der KI-Missbrauchsfälle: Angreifer kombinieren klassische Infektionsmethoden mit "Just-in-Time"-Generierung von Schadcode. PROMPTFLUX etwa verwendet die Gemini-API, um seinen eigenen Quellcode ständig zu obfuskieren und so Erkennungssysteme zu umgehen. PROMPTSTEAL wiederum nutzt generative KI, um gezielte Windows-Befehle zu erstellen, mit denen Daten gesammelt und exfiltriert werden.

Auch staatlich unterstützte Gruppen aus Nordkorea, Iran und China greifen auf generative KI zurück – vom Erstellen glaubwürdiger Phishing-Texte über Reconnaissance bis hin zur Entwicklung eigener Command-&-Control-Tools. Einige Akteure täuschen in ihren Prompts harmlose Absichten vor, etwa als Teilnehmer von "Capture-the-Flag"-Wettbewerben, um Sicherheitsmechanismen zu überlisten.

Widerstandsfähigere KI-Modelle

Parallel dazu hat sich im Untergrund ein regelrechter Marktplatz für KI-basierte Angriffswerkzeuge entwickelt. Dort werden multifunktionale Tools zum Erstellen von Phishing-Kampagnen, Malware oder Deepfakes angeboten – häufig mit Abo-Modellen, API-Zugriff und Support-Channels auf Discord. Dadurch sinkt die Einstiegshürde für technisch weniger versierte Angreifer erheblich.

Google betont, dass viele der identifizierten Kampagnen noch in der Testphase seien. Das Unternehmen habe betroffene Konten deaktiviert und Schutzmechanismen in seinen Modellen – darunter Gemini – weiter verstärkt. Ziel sei es, KI-Systeme widerstandsfähiger gegen Missbrauch zu machen und Sicherheitsklassifikatoren laufend zu verbessern.