Finale Verhandlungen zum AI Act: Entwurf muss mit Blick auf die Klassifizierung von Hochrisiko-KI-Systemen nachgebessert werden.

„Der AI Act ist eine große Chance für Europa, zum weltweiten Vorreiter bei der vertrauenswürdigen und sicheren Nutzung künstlicher Intelligenz zu werden. Ziel muss es sein, die Chancen von KI-Systemen zu nutzen und gleichzeitig die damit verbundenen Risiken zu begrenzen.“

„Der von den EU-Institutionen vorgesehene risikobasierte Ansatz ist richtig, allerdings greifen die darauf basierenden Klassifizierungsvorschriften zu kurz. Denn als hochriskant („high-risk“) sollen nur solche KI-Systeme eingestuft werden, bei denen die physischen Produkte, in die sie integriert werden, bereits einer verpflichtenden Prüfung durch unabhängige Stellen unterliegen. Das betrifft vor allem Industrieprodukte wie zum Beispiel Aufzüge oder Druckbehälter.  Der Großteil der Verbraucherprodukte, darunter Spielzeug oder Smart-Home-Geräte, fällt jedoch nicht unter diese Prüfpflicht. Das bedeutet, dass die meisten KI-basierten Verbraucherprodukte gemäß des AI Acts nicht als Hochrisikoprodukte klassifiziert werden und damit auch nicht die strengen Sicherheitsanforderungen erfüllen müssten. Hier sehen wir eine große Regelungslücke, die der EU-Gesetzgeber in den Verhandlungen noch schließen muss.“

„Ebenso kritisch sehen wir die Klassifizierung von KI-Systemen, die nicht in bestehende Produkte integriert werden, sondern als reine Software für bestimmte Anwendungsbereiche auf den Markt gebracht werden (Stand-Alone-KI). Dazu zählen zum Beispiel KI-Systeme für Einstellungsverfahren oder Kreditwürdigkeitsprüfungen. Nach dem Vorschlag des Europäischen Parlaments sollen die Anbieter die Risikobewertung selbst durchführen und am Ende auch selbst entscheiden, ob ihr Produkt als Hochrisikoprodukt einzustufen ist oder nicht. Dadurch besteht die Gefahr, dass es zu Fehleinschätzungen kommt. Der EU-Gesetzgeber sollte deshalb klare und eindeutige Klassifizierungskriterien aufstellen, um die Wirksamkeit der verpflichtenden Anforderungen sicherzustellen.“ 

„Auch bei der Überprüfung von KI-Systemen besteht Nachbesserungsbedarf. Hier setzt der EU-Gesetzgeber sehr stark auf das Instrument der Eigenerklärung der Anbieter. Gerade von Hochrisikosystemen können jedoch große Gefahren ausgehen, sowohl für Leib und Leben als auch für die Grundrechte der Nutzer:innen (Sicherheit, Privatsphäre) oder die Umwelt.  Anstelle einer Selbsterklärung braucht es eine umfassende Nachweispflicht einschließlich einer Überprüfung von unabhängigen Stellen. Hochriskante KI-Systeme sollten grundsätzlich einer verpflichtenden Zertifizierung durch Benannte Stellen unterliegen. Nur durch unabhängige Prüfungen werden mögliche Interessenskonflikte der Anbieter ausgeschlossen. Zugleich wird das Vertrauen der Menschen in die Technologie gestärkt. Gemäß einer aktuellen repräsentativen Umfrage des TÜV-Verbands befürworten 86 Prozent der Deutschen eine verpflichtende Prüfung der Qualität und Sicherheit von KI-Systemen. ‚AI Made in Europe‘ kann so zu einem echten Qualitätsstandard und globalen Wettbewerbsvorteil werden.“

„Die Einrichtung von KI-Reallaboren („regulatory sandboxes“) ist eine gute Möglichkeit, um die Entwicklung und Erprobung von KI-Systemen insbesondere für KMUs zu erleichtern. Auch die Forderung des EU-Parlaments nach der verpflichtenden Einrichtung eines Reallabors in einem oder in Kooperation mit anderen EU-Mitgliedstaaten ist zu unterstützen. Allerdings muss klar sein, dass die Nutzung eines Reallabors durch ein KI-System allein keine Konformitätsvermutung auslösen kann. Der Anbieter muss weiterhin ein vollständiges Konformitätsbewertungsverfahren durchlaufen, bevor er sein KI-System auf den Markt bringen kann. Das gilt insbesondere, wenn eine unabhängige Stelle verpflichtend mit einzubinden ist. Hier sollte der EU-Gesetzgeber im AI Act Klarheit schaffen.“

„Bei der Entwicklung und Nutzung von Reallaboren sollten unabhängige Prüforganisationen als Partner mit einbezogen werden. Mit dem ‚TÜV AI Lab‘ hat es sich der TÜV-Verband zur Aufgabe gemacht, die technischen und regulatorischen Anforderungen an Künstliche Intelligenz zu identifizieren und die Entwicklung zukünftiger Standards für die Prüfung sicherheitskritischer KI-Anwendungen zu begleiten. Zudem engagieren wir uns seit längerem aktiv für die Einrichtung von interdisziplinären ‚AI Quality & Testing Hubs‘ auf Landes- und Bundesebene.“

„Die letzten Monate haben deutlich gezeigt, welches Entwicklungspotenzial in Basismodellen und generativen KI-Systemen steckt, und welche Risiken von ihnen ausgehen kann. Es ist daher zu begrüßen, dass das EU-Parlament diese Technologie direkt im AI Act mitregulieren will. Auch generative KI-Systeme müssen grundlegende Sicherheitsanforderungen erfüllen. In einem zweiten Schritt sollte dann aber auch geprüft werden, welche Basismodelle als hochkritisch einzustufen sind. Diese sollten dann allen Anforderungen des AI Acts unterliegen, inklusive einer unabhängigen Drittprüfung durch Benannte Stellen. Europäische Normungsorganisationen und Prüfstellen arbeiten derzeit daran, entsprechende Normen und Prüfstandards zu entwickeln.“