In einer Welt, in der künstliche Intelligenz (AI) immer mehr an Bedeutung gewinnt, ist es entscheidend, die Sicherheit und Zuverlässigkeit von AI-Anwendungen zu gewährleisten. Die OWASP Top Ten für maschinelles Lernen sind eine wichtige Ressource für die Sicherheit in der AI-Entwicklung. Sie zeigen die wichtigsten Bedrohungen und Gegenmaßnahmen für AI-Systeme auf. Um diese Gefahren zu veranschaulichen, tauchen wir in die Bedeutung von Sicherheitsaspekten in automobilen Systemen ein, inspiriert durch die Arbeit des Deutschen Museums Bonn.
AI-Sicherheit: Warum sie jetzt wichtig ist
Die rasante Entwicklung von AI in Bereichen wie dem Gesundheitswesen, dem Finanzwesen und der Automobilindustrie macht Sicherheitsfragen immer wichtiger. AI-Systeme beeinflussen Entscheidungen, die sich direkt auf unser Leben auswirken. Dabei geht es nicht nur um den Schutz interner und personenbezogener Daten, sondern auch um die Gewährleistung der Fairness und Vorurteilsfreiheit dieser Systeme. Mit zunehmender Autonomie der AI steigt das Risiko von Fehlern, die schwerwiegende Folgen haben können. Daher ist es wichtig, dass Unternehmen aktiv für die Sicherheit ihrer AI-Systeme sorgen.
Moderne AI-Modelle sind oft komplex und schwer verständlich, was zu unerwarteten Fehlern führen kann. Gesetze wie die DSGVO oder der geplante AI-Act verlangen, dass AI-Systeme sicher und regelkonform sind. Die Sicherheit von AI ist daher nicht nur eine technische, sondern auch eine ethische und rechtliche Frage. Unternehmen müssen ihre AI-Systeme sorgfältig planen und kontinuierlich überwachen, um diesen Anforderungen gerecht zu werden.
Fallstricke vermeiden: Die Top-Ten-Sicherheitsrisiken
Die Vermeidung von Sicherheitsrisiken in AI-Systemen erfordert eine konsequente Identifizierung und Handhabung potenzieller Bedrohungen. Die OWASP Top Ten [1] für maschinelles Lernen können dabei helfen, häufige Fallstricke zu erkennen und gezielt anzugehen. Die OWASP eine gemeinnützige Organisation, die sich der Verbesserung der Software-Sicherheit widmet. Die OWASP Top Ten ist eine regelmäßig aktualisierte Liste der zehn häufigsten Sicherheitsrisiken. Sie dient als Leitfaden für die Priorisierung der Absicherung von Anwendungen gegen die verbreitetsten Bedrohungen. Es werden folgende Sicherheitsrisiken aufgezählt:
- Input Manipulation Attack: Bei diesem Angriff ist es möglich durch die gezielte Manipulation der Informationen, die ein AI-System verarbeitet, ein unerwünschtes Verhalten des Systems hervorzurufen.
- Data Poisoning Attack: Hierbei werden die Trainingsdaten eines AI-Modells absichtlich mit fehlerhaften Informationen versehen, was zu ungenauen oder verzerrten Ausgaben des Systems führt.
- Model Inversion Attack: Bei diesem Angriff wird versucht, aus den Ausgaben eines AI-Modells sensible Informationen über die ursprünglichen Trainingsdaten zu gewinnen.
- Membership Inference Attack: Dieser Angriff zielt darauf ab herauszufinden, ob bestimmte Daten im Training eines AI-Modells verwendet wurden, was Datenschutzprobleme aufwerfen kann.
- Model Theft: Hierbei wird versucht das AI-Modell selbst zu stehlen, oft um die Technologie ohne Erlaubnis oder Lizenz zu nutzen.
- AI-Supply Chain Attacks: Angriffe auf die Lieferkette der AI umfassen das Manipulieren von verschiedenen Komponenten der AI-Entwicklung, wie Algorithmen oder Programmbibliotheken, um Schaden anzurichten.
- Transfer Learning Attack: Dieser Angriff nutzt die häufig verwendete Technik des sogenannten Transferlernens. Dabei werden Basis-Modelle für einen konkreten Anwendungsfall nur noch fine-getuned. Sicherheitslücken in den Basis-Modellen sind dann auch in den fine-getuneten Modellen vorhanden und können ausgenutzt werden.
- Model Skewing: Hierbei werden die Häufigkeit von gewissen Trainingsbeispielen der Trainingsdaten manipuliert, beispielsweise viele positive und wenig negative Beispiele, so dass das Modell unrealistische Aussagen trifft.
- Output Integrity Attack: Hier wird versucht die Ausgabe der AI-Systeme zu manipulieren.
- Model Poisoning: Durch die gezielte Manipulation der Parameter eines Modells, kann das Verhalten des Systems verändert werden.
Das breite Spektrum an Angriffsmöglichkeiten, die in der OWASP Top Ten beschrieben werden, macht die Bewertung von AI-Systemen in der Realität vergleichsweise komplex. Eine Möglichkeit, die Komplexität beherrschbar zu machen, bieten frühzeitige Bedrohungsanalysen oder umfangreiche Pentests von AI-Anwendungen. Dabei sollte ein breit aufgestelltes Team aus Security-, AI- und Software-Engineering-Expert:innen das Thema gemeinsam angehen.
Sicherheit in Automotive-Systemen: Lektionen aus dem Deutschen Museum Bonn
Ein anschauliches Beispiel bietet die Abschlussarbeit von Steffen Jendrny, die in Kooperation mit dem Bundesamt für Sicherheit in der Informationstechnik (BSI) erstellt wurde und in deren Rahmen ein Exponat für das Deutsche Museum Bonn entstanden ist. [2]
Untersucht wurde, wie die Sicherheit von Fahrassistenzsystemen durch sogenannte Hardware-In-The-Loop-Systeme evaluiert werden kann. Indem wiederholt manipulierte Verkehrsschilder virtuell einem Fahrassistenzsystem gezeigt wurden, konnte iterativ ein möglichst erfolgreicher Angriff berechnet werden.
Das Exponat im Deutschen Museum Bonn zeigt nun auf leicht verständliche Weise, wie Angreifer:innen durch die gezielte Veränderung der Eingabe AI-Systeme manipulieren können (vgl. OWASP Top Ten – Sicherheitsrisiko „Input Manipulation Attack“ [3]). Im konkreten Fall können die Besucher:innen des Museums in die Rolle des:der Angreifer:in schlüpfen, Verkehrsschilder manipulieren und damit versuchen, das System auszutricksen. Mithilfe eines Stickers kann unter anderem ein Stop-Schild so verändert werden, dass das System ein Vorfahrtsstraßen-Schild erkennt. Würden widrige Wetterbedingungen oder Angreifer:innen es in der Realität schaffen, die Klassifizierung der Systeme auf solche Art zu verändern, drohen schwere Unfälle.
Man erkennt leicht, warum es in der Praxis wichtig ist, dass Systeme auf technischer Seite sicher und robust gebaut werden müssen und warum wir auch als Nutzer:innen die Entscheidungsprozesse von AI-Systemen verstehen müssen.
Praktische Schritte zur Sicherung Ihrer AI-Systeme
Bereits bei der Ideenfindung sollten die OWASP Top Ten für maschinelles Lernen berücksichtigt werden. Es ist wichtig, den Schutz der Anwendung in die Entwicklungs- und Betriebsprozesse zu integrieren und die Sicherheit kontinuierlich zu verbessern.
Software Entwickler:innen sollten durch AI- und Security-Expert:innen im gesamten Prozess vom Start der Entwicklung, bis zum Betrieb begleitet werden. Durch OWASP Top Ten können die häufigsten Sicherheitslücken identifiziert und Gegenmaßnahmen getroffen werden. Bedrohungsanalysen und Pentests können zusätzlich helfen Gefahren und Sicherheitslücken zu identifizieren.
Die Integration von AI in Geschäftsprozesse eröffnet unglaubliche Möglichkeiten, birgt aber auch neue Risiken. Durch ein besseres Verständnis der OWASP Top Ten für maschinelles Lernen und der Bedeutung von Sicherheit in systemkritischen Bereichen wie der Automobilindustrie können Unternehmen diese Technologien sicher und verantwortungsvoll einsetzen.
Quellen:
[1] https://owasp.org/www-project-machine-learning-security-top-10/
Haben Sie Fragen oder benötigen Sie Unterstützung?
Mehr zu den Möglichkeiten von Künstlicher Intelligenz und IT-Sicherheit für Ihr Unternehmen finden Sie auf unserer Webseite.
Sprechen Sie uns auch gerne an.