KI-Verordnung: Sanktionsrisiken und Massenüberwachung?

Das Ringen um die KI-Verordnung der EU geht weiter. Nach EU-Kommission und EU-Rat hat nun auch das EU-Parlament in der ersten Lesung seine Position zur europäischen KI-Verordnung beschlossen. Rat, Kommission und Parlament treten jetzt in Verhandlung. Es wird spekuliert, ob die KI-Verordnung der Sargnagel für ein europäisches ChatGPT ist, oder die EU mit dem weltweit ersten KI-Gesetz globale Standards setzen wird. Sicher ist, dass die KI-Verordnung Sanktionsrisiken für Unternehmen bergen und die Arbeit von Strafverfolgungs- und Sicherheitsbehörden beeinflussen wird. Was mit den Entwürfen zur KI-Verordnung dazu auf dem Verhandlungstisch liegt, beleuchtet der folgende Beitrag.

Aufschlag der EU-Kommission für eine KI-Verordnung

Die Kommission will mit ihrem Vorschlag einer KI-Verordnung für vertrauenswürdige KI in Europa sorgen und Innovation fördern. Pflichten sieht die Verordnung für Nutzer – aber vor allem für Anbieter – sog. Hochrisiko-KI-Systeme vor. Die EU-Kommission hat das Gefahrenpotential erkannt, das mit KI-Anwendungen zur Gefahrenabwehr und Strafverfolgung einhergehen kann. Sie hat einige Anwendungen als Hochrisiko-KI eingestuft. Darunter sind

• KI-Lügendetektoren,
• KI zur Emotionserkennung,
• KI zur Aufdeckung von Deepfakes,
• KI zur Bewertung der Zuverlässigkeit von Beweismitteln in Strafverfahren,
• KI-Anwendungen, die die Straffälligkeit von Personen und Straftaten vorhersagen sollen,
• Profiling zu Strafverfolgungszwecken sowie
• KI für personenbezogene Kriminalanalysen, die große komplexe Datensätze aus verschiedenen Datenquellen oder in verschiedenen Datenformaten durchsuchen kann, um unbekannte Muster zu erkennen oder verdeckte Beziehungen in Daten aufzudecken.

Insbesondere sog. Data Mining inklusive Anwendungen des sog. Predictive Policing müssten also Anforderungen der Verordnung erfüllen, blieben aber zulässig.

Die meisten Pflichten betreffen die Entwicklung von KI-Systemen und stellen Anforderungen, um KI überhaupt auf den europäischen Markt bringen und dort einsetzen zu dürfen. Enthalten sind zahlreiche Vorgaben, darunter etwa

• für die Qualität von Trainingsdaten,
• zu Dokumentation und Rückverfolgbarkeit,
• für die Bereitstellung von Informationen und Transparenz,
• zur menschlichen Aufsicht sowie
• über bestimmte Gütekriterien für KI-Systeme.

KI-Systeme der Strafverfolgung und Gefahrenabwehr sind jedoch von Pflichten ausgenommen, die vorsehen, Betroffene über den KI-Einsatz zu informieren.

Bestimmte KI-Systeme sollen ganz verboten sein. Eigentlich verboten ist nach dem Willen der Kommission auch die biometrische Echtzeit-Fernidentifizierungssystemen in öffentlich zugänglichen Räumen zur Strafverfolgung. Weitreichende Ausnahmen sieht sie aber vor, indem sie erlaubt, damit nach Opfern von Straftaten oder vermissten Kindern zu suchen, Gefahren für Leben oder körperliche Unversehrtheit oder Terroranschläge abzuwenden. Auch nach Tätern oder Verdächtigen bestimmter Straftaten zu fahnden, soll erlaubt sein.

Kritik – Innovationsbremse und Massenüberwachung?

Statt Rechtssicherheit biete die Verordnung zu viele unklare und unerfüllbare Vorgaben, so Kritiker. Schon die KI-Definition des Entwurfs sei nicht verständlich. Werden die Vorgaben nicht eingehalten, drohen je nach Verstoß Bußgelder in Höhe von 10 bis 30 Mio. Euro bzw. 2 bis 6 Prozent des weltweiten Vorjahresumsatzes. Schon Missverständnisse angesichts unklarer Vorgaben können für Unternehmen teuer werden. So würden Investitionen und Innovationsmöglichkeiten gehemmt statt gefördert, formulieren Kritiker. Mit Aufkommen von ChatGPT & Co. fiel zudem auf, dass der Entwurf den Herausforderungen sog. generativer KI nicht gewachsen ist. Andere monierten, dass Behörden mit der KI-Verordnung weitreichende Massenüberwachungsmöglichkeiten blieben.

Abweichende Position des EU-Parlaments: Eine Verbesserung?

Der Rat ist dem Vorschlag der Kommission im Wesentlichen treu geblieben. Das Parlament reagiert dagegen mit zahlreichen Änderungsvorschlägen auf die Kritik. Die Definition des KI-Systems soll der OECD-Definition entsprechen. Das hätte den Vorteil, dass diese international anerkannt ist und Unternehmen sie besser einordnen können. Der KI-Begriff soll auch nicht mehr auf bestimmte Techniken und Anwendungszwecke begrenzt werden. Das Ziel: Klarheit und eine technikoffene Definition, die künftig auch solche Systeme erfassen kann, die noch nicht bekannt sind. Neu sind zudem ein Recht auf Beschwerde Betroffener sowie Regelungen und Pflichten im Falle sog. Basismodelle und insbesondere generativer KI vorgesehen. Das Parlament geht damit weiter als der Rat, der lediglich eigene Regelungen für general purpose-AI vorsieht.

Die Anforderungen an Hochrisiko-KI mildert der Parlamentsentwurf teilweise ab bzw. konkretisiert sie. Beispielsweise müssen zwar Trainingsdaten auf Verzerrungen untersucht werden – aber nur noch, soweit sie negative Auswirkungen auf Grundrechte haben oder zu Diskriminierung führen könnten. Die Vorgaben zur Datenqualität berücksichtigen nun, dass nicht alle Lernverfahren Trainingsdaten nutzen. Anforderungen an Risikomanagementsysteme etwa sollen auf das technisch Machbare begrenzt sein. Der Kommissionsvorschlag forderte noch ohne Kriterien, dass KI „hinreichend transparent“ sein müsse. Das Parlament stellt klar, dass ausreichend ist, dass Systeme Transparenzstandards nach dem allgemein anerkannten Stand der Technik erfüllen. Eine Hilfestellung sollen die Leitlinien für die praktische Umsetzung der KI-Verordnung bieten, die das Parlament neu vorsieht.

Den Sanktionsrahmen hat das Parlament für die meisten Verstöße verringert – und anders als der Rat für alle, nicht nur für bestimmte Unternehmen. Werden verbotene KI eingesetzt, sieht das Parlament jedoch höhere Sanktionen vor: Bis zu 40 Mio. Euro bzw. 7 Prozent des weltweiten Vorjahresumsatzes soll der Verstoß kosten. Es soll auch eine Verwarnung statt einer Geldbuße möglich sein. Ebenfalls neu sieht das Parlament vor, für die Bußgeldhöhe beispielsweise zu berücksichtigen, ob das betroffene Unternehmen den Verstoß selbst gemeldet hat, der Verstoß vorsätzlich oder fahrlässig war und ob das Unternehmen mit den Aufsichtsbehörden kooperiert. Dies eröffnet auch Möglichkeiten zur Verteidigung, um eine Geldbuße zu mindern. Die Position deckt sich hier mit der des Rates.

Anwendungen für Gefahrenabwehr und Strafverfolgung will das Parlament stärker als Kommission und Rat begrenzen. Das Hauptanliegen: Biometrische Echtzeit-Fernidentifizierung soll ausnahmslos verboten sein. Erlaubt soll nur die nachträgliche biometrische Fernidentifizierung sein – und das nur in Ausnahmefällen. Einen Änderungsantrag der konservativen EVP in letzter Minute, die biometrische Echtzeit-Fernidentifizierung doch ermöglichen wollte, hat das Parlament abgelehnt. Einige Anwendungen, die nach dem Kommissionsentwurf Hochrisiko-KI sein sollten, hat das Parlament zur verbotenen KI hochgestuft. Verboten sind danach KI-Systeme zur Emotionserkennung, sowie KI á la COMPAS, die beurteilt, ob eine Person, (erneut) straffällig wird, ebenso wie Systeme, die Straftaten vorhersagen, soweit dies auf Grundlage von Profilen geschieht. Verbieten will das Parlament auch KI-Systeme zur Bewertung von Persönlichkeitsmerkmalen und Eigenschaften oder früheren kriminellen Verhaltens. Unzulässig wären in Europa damit Teile von Predictive Policing und Anwendungen wie das hochumstrittene COMPAS, das in den USA genutzt wird. COMPAS berechnet Rückfallrisiken und ist für seine diskriminierenden Ergebnisse bekannt. Für die verbliebenen Hochrisiko-KI, beispielsweise die Kriminalanalyse, stellt das Parlament klar, dass dazu auch KI-Systeme zählen, die im Auftrag von Strafverfolgungsbehörden zum Einsatz kommen. Das kann relevant sein, wenn private IT-Forensik-Unternehmen als Sachverständige Beweismittel auswerten. Auch an dieser Stelle zeigen sich Unterschiede zum Rat: Er will die Kriminalanalysen weder verbieten, noch als Hochrisiko-KI einordnen.

Ausblick und Bewertung: Parlament und Rat drücken aufs Gas   

Die Pressekonferenz nach der Abstimmung des Parlaments ließ erahnen, wie es weitergeht. Deutlich wurde, dass das Parlament anstrebt, das Gesetz möglichst schnell zu verabschieden. Trotz unterschiedlicher Positionen soll auch der Rat zugesagt haben, dass die Verhandlungen noch dieses Jahr abgeschlossen werden sollen. Abzuwarten bleibt, ob das Parlament das Verbot biometrischer Echtzeitfernidentifizierung in den Verhandlungen gegenüber dem Rat wird durchsetzen können. Auch wenn die Verordnung möglicherweise zügiger als gedacht in Kraft tritt, bleibt Zeit für die Umsetzung. Der Großteil der Verordnung – die Pflichten für Anbieter und Nutzer – soll erst zwei Jahre später gelten. Auf der Pressekonferenz ließen Parlamentsberichterstatter aber durchblicken, dass das Parlament Teile der Verordnung früher zur Geltung bringen will. Galt die KI-Verordnung vor zwei Jahren noch als verfrüht, sei das Thema nun dringlich geworden.

Ob der EU der Spagat zwischen Grundrechtsschutz und Innovationsförderung gelingen wird und die EU-Verordnung zum globalen Erfolgsrezept für sichere KI wird, wird sich zeigen. Die Sanktionsrisiken der Verordnung sind jedenfalls nicht zu unterschätzen. Einen ausgewogeneren Eindruck macht der Parlamentsentwurf, indem er nicht nur die Möglichkeiten zur Milderung und damit Verteidigungsansätze zulässt, sondern auch Höhe der Sanktionen reduziert hat. Vertreter des Parlaments glauben zudem, Unternehmen mit ihrem Entwurf mehr Hilfe zur Seite zu stellen. So sollen sie weniger mit rechtlichen Definitionen allein gelassen werden, als das bei der DSGVO der Fall war und ist. Allen Entwürfen ist zugute zu halten, dass sie den Einsatz von KI zu Strafverfolgungszwecken und Überwachung bedenken. Zu begrüßen ist, dass das Parlament hier weiter geht als Kommission und Rat. In Deutschland wird dieser KI-Aspekt als vermeintliche Zukunftsmusik bislang kaum diskutiert. Der Einsatz von Palantir-Datenanalysesoftware bei der Polizei in Hessen und NRW und intelligente Videoüberwachung in Hamburg und Mannheim zeigen, dass die KI-Verordnung auch für deutsche Behörden gerade zur rechten Zeit kommt.