Sicherheitslücken in KI-Systemen: Wenn der Verteidiger angegriffen wird!


Kostenfreie E-Learning Kurse sichern!

Jetzt unter learning.aware7.de registrieren und
alle E-Learning Kurse und Webinare kostenfrei absolvieren!



Systeme, welche mit einer künstlichen Intelligenz verwendet werden, sollen nicht nur im Alltag einen Nutzer zum Beispiel beim Autofahren unterstützen, sondern können auch IT-Sicherheitsexperten bei einer Analyse unterstützen. Eine gut angelernte KI kann viel schneller Systeme auf verschiedene Lücken hin überprüfen als ein Mitarbeiter. Doch was passiert, wenn die KI selbst eine Sicherheitslücke hat?

Die Sicherheitslücken in KI durch Manipulation

Bekommt ein Angreifer A zum Beispiel mit, dass in Firma B eine KI zum Einsatz kommt, kann er diese gezielt als eigenes Schlupfloch verwenden. Häufig verwendet man hier den Angriffsvektor der Testdatenmanipulation. Jede KI muss zunächst anhand von Testdaten angelernt werden.

Beispielsweise muss ein 100 km/h Schild zunächst klassifiziert werden und anhand von verschiedenen Bildern in verschiedenen Situationen angebracht werden. Anschließend soll die KI eine entsprechende Reaktion wie z.B. Bremsen oder Beschleunigen eines Fahrzeugs durchführen.

Schafft ein Angreifer im Testvorgang die Daten so zu manipulieren, dass ein 100 km/h Schild als 10 km/h Schild erkannt wird, so würde das Fahrzeug auf der Autobahn plötzlich anfangen auf 10km/h zu Bremsen, was zu einer Gefahrensituation führt.

Bezieht man dieses Gedankenbeispiel zurück auf die IT-Sicherheit, kann zum Beispiel beim Lernen zur Erkennung schlechter Passwörter alle Daten zu Zahlenfolgen entfernt werden und die KI würde „123456“ nicht als schlechtes Passwort erkennen.




KI-Infrastruktur beeinflussen

Aber nicht nur Testdaten können von einem Angreifer manipuliert werden, auch die KI-Infrastruktur muss entsprechend gesichert sein. Ist es möglich, die KI während der Ausführung zu beeinflussen, so können falsche Testergebnisse erzeugt werden oder anderweitig Störungen wie eine hohe Auslastung des Netzwerks auftreten.

Auch die Testergebnisse selbst sollten vor dritten ausreichend geschützt werden, denn sollte die KI eine kritische Sicherheitslücke finden, darf ein Angreifer nichts darüber erfahren, bis diese geschlossen wurde.

Daher muss die KI möglichst Transparent für verschiedene IT-Sicherheitsleute gemacht werden und genau analysiert werden, damit mögliche Sicherheitslücken der KI selbst aufgedeckt werden können. Das daraus herausgearbeitete Sicherheitskonzept muss zu jedem Zeitpunkt angewandt werden.


Sevencast – der IT-Security Podcast

Von unterwegs, im Büro oder zu Hause hören und auf dem aktuellen Stand bleiben!

Sevencast bei Spotify
Sevencast bei Apple Podcast
Sevencast bei Overcast


Schreibe einen Kommentar