In einer Welt, in der künstliche Intelligenz (AI) immer mehr an Bedeutung gewinnt, ist es entscheidend, die Sicherheit und Zuverlässigkeit von AI-Anwendungen zu gewährleisten. Die OWASP Top Ten für maschinelles Lernen sind eine wichtige Ressource für die Sicherheit in der AI-Entwicklung. Sie zeigen die wichtigsten Bedrohungen und Gegenmaßnahmen für AI-Systeme auf. Um diese Gefahren zu veranschaulichen, tauchen wir in die Bedeutung von Sicherheitsaspekten in automobilen Systemen ein, inspiriert durch die Arbeit des Deutschen Museums Bonn.
Die rasante Entwicklung von AI in Bereichen wie dem Gesundheitswesen, dem Finanzwesen und der Automobilindustrie macht Sicherheitsfragen immer wichtiger. AI-Systeme beeinflussen Entscheidungen, die sich direkt auf unser Leben auswirken. Dabei geht es nicht nur um den Schutz interner und personenbezogener Daten, sondern auch um die Gewährleistung der Fairness und Vorurteilsfreiheit dieser Systeme. Mit zunehmender Autonomie der AI steigt das Risiko von Fehlern, die schwerwiegende Folgen haben können. Daher ist es wichtig, dass Unternehmen aktiv für die Sicherheit ihrer AI-Systeme sorgen.
Moderne AI-Modelle sind oft komplex und schwer verständlich, was zu unerwarteten Fehlern führen kann. Gesetze wie die DSGVO oder der geplante AI-Act verlangen, dass AI-Systeme sicher und regelkonform sind. Die Sicherheit von AI ist daher nicht nur eine technische, sondern auch eine ethische und rechtliche Frage. Unternehmen müssen ihre AI-Systeme sorgfältig planen und kontinuierlich überwachen, um diesen Anforderungen gerecht zu werden.
Die Vermeidung von Sicherheitsrisiken in AI-Systemen erfordert eine konsequente Identifizierung und Handhabung potenzieller Bedrohungen. Die OWASP Top Ten [1] für maschinelles Lernen können dabei helfen, häufige Fallstricke zu erkennen und gezielt anzugehen. Die OWASP eine gemeinnützige Organisation, die sich der Verbesserung der Software-Sicherheit widmet. Die OWASP Top Ten ist eine regelmäßig aktualisierte Liste der zehn häufigsten Sicherheitsrisiken. Sie dient als Leitfaden für die Priorisierung der Absicherung von Anwendungen gegen die verbreitetsten Bedrohungen. Es werden folgende Sicherheitsrisiken aufgezählt:
Das breite Spektrum an Angriffsmöglichkeiten, die in der OWASP Top Ten beschrieben werden, macht die Bewertung von AI-Systemen in der Realität vergleichsweise komplex. Eine Möglichkeit, die Komplexität beherrschbar zu machen, bieten frühzeitige Bedrohungsanalysen oder umfangreiche Pentests von AI-Anwendungen. Dabei sollte ein breit aufgestelltes Team aus Security-, AI- und Software-Engineering-Expert:innen das Thema gemeinsam angehen.
Ein anschauliches Beispiel bietet die Abschlussarbeit von Steffen Jendrny, die in Kooperation mit dem Bundesamt für Sicherheit in der Informationstechnik (BSI) erstellt wurde und in deren Rahmen ein Exponat für das Deutsche Museum Bonn entstanden ist. [2]
Untersucht wurde, wie die Sicherheit von Fahrassistenzsystemen durch sogenannte Hardware-In-The-Loop-Systeme evaluiert werden kann. Indem wiederholt manipulierte Verkehrsschilder virtuell einem Fahrassistenzsystem gezeigt wurden, konnte iterativ ein möglichst erfolgreicher Angriff berechnet werden.
Das Exponat im Deutschen Museum Bonn zeigt nun auf leicht verständliche Weise, wie Angreifer:innen durch die gezielte Veränderung der Eingabe AI-Systeme manipulieren können (vgl. OWASP Top Ten – Sicherheitsrisiko „Input Manipulation Attack“ [3]). Im konkreten Fall können die Besucher:innen des Museums in die Rolle des:der Angreifer:in schlüpfen, Verkehrsschilder manipulieren und damit versuchen, das System auszutricksen. Mithilfe eines Stickers kann unter anderem ein Stop-Schild so verändert werden, dass das System ein Vorfahrtsstraßen-Schild erkennt. Würden widrige Wetterbedingungen oder Angreifer:innen es in der Realität schaffen, die Klassifizierung der Systeme auf solche Art zu verändern, drohen schwere Unfälle.
Man erkennt leicht, warum es in der Praxis wichtig ist, dass Systeme auf technischer Seite sicher und robust gebaut werden müssen und warum wir auch als Nutzer:innen die Entscheidungsprozesse von AI-Systemen verstehen müssen.
Bereits bei der Ideenfindung sollten die OWASP Top Ten für maschinelles Lernen berücksichtigt werden. Es ist wichtig, den Schutz der Anwendung in die Entwicklungs- und Betriebsprozesse zu integrieren und die Sicherheit kontinuierlich zu verbessern.
Software Entwickler:innen sollten durch AI- und Security-Expert:innen im gesamten Prozess vom Start der Entwicklung, bis zum Betrieb begleitet werden. Durch OWASP Top Ten können die häufigsten Sicherheitslücken identifiziert und Gegenmaßnahmen getroffen werden. Bedrohungsanalysen und Pentests können zusätzlich helfen Gefahren und Sicherheitslücken zu identifizieren.
Die Integration von AI in Geschäftsprozesse eröffnet unglaubliche Möglichkeiten, birgt aber auch neue Risiken. Durch ein besseres Verständnis der OWASP Top Ten für maschinelles Lernen und der Bedeutung von Sicherheit in systemkritischen Bereichen wie der Automobilindustrie können Unternehmen diese Technologien sicher und verantwortungsvoll einsetzen.
Quellen:
[1] https://owasp.org/www-project-machine-learning-security-top-10/
Mehr zu den Möglichkeiten von Künstlicher Intelligenz und IT-Sicherheit für Ihr Unternehmen finden Sie auf unserer Webseite.
Sprechen Sie uns auch gerne an.