"Software is eating the world" ist einer der markantesten Sprüche der Tech-Szene und kaum eine Prognose hat sich auf ähnliche Weise bewahrheitet. Software steckt heute in allem, vom Auto über den Smart TV und das Smartphone bis hin zum Kühlschrank. Künstliche Intelligenz ist mittlerweile ebenfalls im Alltag angekommen, was selbstverständlich auch für die Softwareentwicklung gilt. Programmierer und solche, die es werden wollen, verwenden immer häufiger KI-Assistenten – etwa integriert in ihre IDE – zur Code-Vervollständigung oder zur automatisierten Generierung ganzer Programmabschnitte. Ein aktueller Bericht von Cycode zeigt, dass rund 97 Prozent der Unternehmen KI-basierte Coding-Assistenten einsetzen. Das kann Entwicklungsprozesse beschleunigen, bringt jedoch auch neue Sicherheits- und Governance-Risiken mit sich.

Die Schattenseiten künstlicher Intelligenz

Durch den zunehmenden Einsatz von KI im Entwicklungsprozess entstehen auch neue Sicherheitsrisiken. Dazu zählen etwa unsichere Codemuster, veraltete oder potenziell verwundbare Dependencies sowie Lizenzkonflikte. Ein wiederkehrendes Problem sind unsichere Input-Verarbeitungen, wie sie häufig bei KI-generiertem Code auftreten: KI-Assistenten verwenden manchmal String-Konkatenationen, um SQL-Abfragen oder API-Calls zusammenzusetzen. Gemeint ist, dass das Modell einzelne Eingaben einfach aneinanderhängt, anstatt sie sicher über Parameterbindung oder Prepared Statements zu übergeben. Für Fachleute ist klar, dass solche Muster Angriffsflächen für SQL- oder Command-Injection bieten, insbesondere wenn externe Eingaben nicht ausreichend validiert werden.

Weitere typische Schwachstellen betreffen Authentifizierungs- und Autorisierungslogik. KI generiert zuweilen Code, der funktional korrekt ist, jedoch fehlerhafte Token-Validierungen oder unzureichendes Hashing enthält. Auch obligatorische Rollenprüfungen berücksichtigt KI nicht immer zuverlässig. Die Integration problematischer oder veralteter Dependencies ist ebenfalls ein Problem, mit dem sich Entwickler immer wieder auseinandersetzen müssen. Es entsteht, da KI-Modelle häufig auf bekannte, aber nicht aktualisierte Libraries zurückgreifen oder Input aus Libraries fehlerhaft integrieren.

Ohne automatisierte Sicherheitsprüfungen bleiben solche Schwachstellen in Anwendungen oftmals unentdeckt. Zu ihnen kommt es unter anderem, weil KI primär auf historischen Trainingsdaten sowie auf Wahrscheinlichkeiten basierende Vorschläge macht und entsprechenden Code generiert. Was sie dabei nicht berücksichtigt, ist der spezifische Sicherheitskontext eines Unternehmens, zu dem spezielle Richtlinien, Coding-Best-Practices oder das Verbot bestimmter Frameworks und Bibliotheken gehört. Das Problem wird zusätzlich dadurch verschärft, dass sich gerade unerfahrene Entwickler zu stark auf KI verlassen, während ihnen gleichzeitig die Routine fehlt, unsicheren Quellcode, problematische Coding-Praktiken oder Fehler in der Geschäftslogik des KI-Outputs zu identifizieren. Wenn Entwickler einen Großteil ihres Codes durch KI generieren lassen, entstehen zusätzliche Risiken für Qualitätssicherung und Sicherheit.

Neben den Risiken durch KI-generierten Code nimmt auch der Einsatz unautorisierter oder nicht zentral verwalteter KI-Tools im gesamten Softwareentwicklungsprozess zu. Sicherheitsexperten nennen diesen Faktor Schatten-KI. Mitarbeitende nutzen dabei KI-Tools teilweise ohne zentrale Freigabe oder Sicherheitsprüfung. Dadurch entstehen zusätzliche Risiken, etwa durch Datenabfluss, unkontrollierte Abhängigkeiten oder fehlende Nachvollziehbarkeit. Laut Cycode zählt der Einsatz nicht freigegebener KI-Werkzeuge für viele Sicherheitsverantwortliche inzwischen zu den größten Unsicherheitsfaktoren im Entwicklungsprozess. Gleichzeitig verfügt mehr als die Hälfte der Unternehmen über keine zentrale Governance für die Einführung von KI. Dezentrale oder ad-hoc getroffene Entscheidungen führen dadurch häufig zu Inkonsistenzen und zusätzlichem Verwaltungsaufwand.

Sicherheitsprüfungen in Entwicklungsprozesse integrieren

In der Praxis zeigt sich, dass KI zwar Entwicklungsprozesse beschleunigen kann, gleichzeitig jedoch auch die Zahl potenzieller Sicherheitslücken steigt. Unternehmen stehen damit vor der Aufgabe, schnellere Entwicklungsgeschwindigkeit mit Sicherheits- und Governance-Anforderungen in Einklang zu bringen. Bestehende Sicherheitsansätze reichen dafür häufig nicht mehr aus, wenn Software Supply Chain Security sowie Application Security Testing und Posture Management (ASPM) isoliert voneinander betrachtet werden.

Security-Teams müssen KI-generierten Code daher mindestens mit derselben Sorgfalt prüfen wie von Menschen geschriebenen Code. Dazu gehört auch, KI-Werkzeuge, Workflows und Nutzungspraktiken abzusichern, die in Entwicklungsprozesse eingebunden sind. Ein erster Schritt kann der Einsatz sogenannter Guardrails und Prompt-Analyse-Tools sein. Diese prüfen bereits bei der Eingabe von Befehlen in ein KI-System, ob beispielsweise Secrets oder andere sensible Informationen enthalten sind, die nicht an ein LLM übertragen werden dürfen.

Aus Betriebs- und Administrationssicht ist zudem entscheidend, Sicherheitsprüfungen direkt in bestehende CI/CD-Pipelines zu integrieren, statt sie als nachgelagerte manuelle Kontrollen zu behandeln. Praktisch bedeutet das, dass KI-generierter Code automatisch dieselben Prüfprozesse durchläuft wie jeder andere Commit. Entwicklerteams definieren dafür etwa statische Codeanalyse, Dependency-Scans, Lizenzprüfungen und Secret-Detection als feste Pipeline-Stufen, die Builds bei kritischen Findings automatisch blockieren.

Ergänzend können Unternehmen Richtlinien einführen, die KI-generierten Code kennzeichnen oder dokumentieren. Dadurch können Security-Teams nachvollziehen, welche Teile einer Anwendung auf KI-Vorschlägen basieren und gezielt überprüft werden sollten.

Klare Richtlinien, zentrale Governance-Strukturen und transparente Prozesse helfen zudem dabei, Schatten-KI zu erkennen und Risiken systematisch zu reduzieren. Product Security übernimmt dabei eine wichtige Rolle als Schnittstelle zwischen Entwicklung, Cloud, APIs und KI-Systemen.

Praxisorientierte Ansätze der Product Security

Als erste konkrete Maßnahmen sollten Unternehmen zentrale Richtlinien für die KI-Nutzung, die vollständige Nachverfolgung von KI-generiertem Code und die Integration von Sicherheitsprüfungen direkt in KI-Workflows umsetzen. Auch die Dokumentation von KI-Modellen über eine sogenannte AI Bill of Materials (AIBOM) kann sinnvoll sein. Sie ergänzt die klassische Software Bill of Materials (SBOM), in der verwendete Bibliotheken, Frameworks, Versionsnummern, Dependencies und Lizenzinformationen dokumentiert sind. Dadurch verbessern Unternehmen Transparenz und Nachvollziehbarkeit beim Einsatz von KI-Systemen. Auf organisatorischer Ebene unterstützen klare Verantwortlichkeiten standardisierte Freigabeprozesse sowie die Schulung von Entwicklern im sicheren Umgang mit KI.

Neben Governance spielt auch die Konsolidierung von Security-Tools eine Rolle. Die Erfahrung zeigt, dass eine größere Zahl unterschiedlicher Werkzeuge nicht automatisch zu mehr Sicherheit führt. Auch Sicherheitsteams selbst nutzen häufig zahlreiche separate Werkzeuge, wodurch zusätzlicher Verwaltungsaufwand und neue Unübersichtlichkeit entstehen können. Integrierte Plattformen können dabei helfen, Sicherheitswarnungen besser zu priorisieren, Risiken einzuordnen und Schwachstellen teilweise automatisiert zu beheben.

Fazit

KI verändert die Softwareentwicklung derzeit spürbar und erhöht zugleich die Anforderungen an Sicherheit und Governance. Unternehmen sollten KI-generierten Code daher transparent dokumentieren, automatisiert prüfen und den Einsatz entsprechender Werkzeuge zentral steuern. Klare Richtlinien, integrierte Security-Checks und nachvollziehbare Prozesse helfen dabei, Risiken besser zu kontrollieren. (ln)

Über den Autor: Jochen Koehler ist Vice President of Sales EMEA bei Cycode.