Gemeinsames Whitepaper zum Stand der Prüfbarkeit von KI-Systemen von BSI, TÜV-Verband und Fraunhofer HHI

In einem gemeinsamen Whitepaper setzen sich BSI, Fraunhofer HHI und TÜV-Verband mit der Frage nach der Prüfbarkeit von KI-Algorithmen und deren praktischen Umsetzbarkeit auseinander.

In immer mehr Lebensbereichen spielen Systeme mit Künstlicher Intelligenz (KI) eine wichtige Rolle: Sie übersetzen Texte, navigieren Orientierungslose nach Hause oder personalisieren Anzeigen. Zunehmend übernehmen KI-Anwendungen jedoch auch Aufgaben in sicherheitskritischen Bereichen. Hierzu gehören unter anderem autonome Fahrfunktionen und biometrische Zugangskontrollsysteme. Neben den immensen Chancen ergeben sich zahlreiche Probleme, die unter anderem die Sicherheit, die Robustheit oder Vertrauenswürdigkeit der Technologie betreffen. Um diesen Problemen angemessen zu begegnen, wird eine Rahmenstruktur für die Prüfung von KI-Systemen benötigt, die neben Prüfstrategien und -werkzeugen auch entsprechende Standards umfasst. Diese Strategien, Werkzeuge und Standards sind aktuell noch nicht hinreichend für den praktischen Einsatz verfügbar.

BSI, Fraunhofer HHI und TÜV-Verband haben sich diesen Fragestellungen daher im Oktober 2020 zusammen mit zahlreichen nationalen und internationalen Expert:innen in einem Workshop gewidmet. Nun wurden die Ergebnisse in einem Whitepaper veröffentlicht. Es befasst sich mit dem aktuellen Stand, offenen Fragen und zukünftig wichtigen Aktivitäten bezüglich der Prüfbarkeit von KI Systemen. Verschiedene Aspekte der Sicherheit von KI Systemen, unter anderem deren Lebenszyklus, Online-Lernverfahren, qualitativ neue Angriffe, mögliche Verteidigungsmaßnahmen, Verifikation, Prüfung, Interpretation und Standardisierung werden in dem Whitepaper beschrieben.

Zwischen den gewünschten Eigenschaften eines operativen KI-Systems einerseits und den Eigenschaften des KI-Modells, der Machine-Learning-Algorithmen, der Daten und weiteren Randbedingungen bestehen allerdings zahlreiche Zielkonflikte. Diese beschränken letztlich die Skalierbarkeit und Generalisierbarkeit von sicher prüfbaren KI-Systemen. Basierend auf zwei grundlegenden Strategien zur Verbesserung der Prüfbarkeit, Sicherheit und Robustheit von KI-Systemen, einerseits der Schaffung verbesserter Rahmenbedingungen und andererseits der erhöhten Investition in Forschung und Entwicklung, werden Lösungsvorschläge und -ideen zur Mitigation der bekannten Probleme benannt, bewertet und Folgeschritte vorgeschlagen.