Unternehmen wie Amazon oder McDonalds sollen eine umstrittene Emotionserkennung in ihren Bewerbungsverfahren genutzt haben. Bei solchen Programmen analysiert eine KI Videoaufzeichnungen aus Bewerbungsgesprächen: Schnelles Blinzeln oder Husten bedeutet Nervosität, Stirnrunzeln bedeutet Ablehnung. Das Verfahren ist unter Expert*innen umstritten, da ein Zusammenhang zwischen Regungen und Emotionen nicht abschließend belegt ist.

In Europa soll damit nun Schluss sein. Im März hat die EU den Artificial Intelligence Act, kurz AI-Act, verabschiedet. Die Verordnung soll den Einsatz von Künstlicher Intelligenz begrenzen. Die Emotionserkennung am Arbeitsplatz ist eine Technologie, die damit verboten wird.

Warum braucht es überhaupt Regeln für KI?

Schon seit Frühjahr 2021 beraten Kommission und Parlament über die Regulierung von KI. Größere Aufmerksamkeit bekamen die Verhandlungen aber erst, als Ende 2022 mit Sprachmodellen wie ChatGPT von OpenAI der große Hype ausbrach. Seitdem nehmen auch Fälle von unmoralischer Nutzung von KI zu: Programme, die fälschlicherweise Sozialleistungen streichen oder Studienplätze nach undurchsichtigen und diskriminierenden Faktoren vergeben. Solche Beispiele gibt es zur Genüge.

„Also brauchen wir Regeln mit Zähnen, die für alle gelten und die man auch umsetzen und durchsetzen kann“, sagt Nikolett Aszodi von der NGO AlgorithmWatch. Manche feiern das Gesetzespaket als wegweisenden Durchbruch, andere kritisieren es für große Lücken, insbesondere beim Menschen- und Persönlichkeitsrechtsschutz. 

Wo wird mir die KI-Verordnung begegnen?

Der AI-Act betrifft nicht nur sämtliche Firmen und öffentliche Einrichtungen in der EU, er bezieht auch alle KI-Anwendungen und Produkte mit ein, mit denen Menschen oder Unternehmen in der EU in Berührung kommen. Die Regeln sollen nicht für Systeme gelten, die ausschließlich militärischen Zwecken dienen, und auch nicht für internationale Organisationen, die KI-Systeme im Bereich der Strafverfolgung in Zusammenarbeit mit der EU oder mindestens einem Mitgliedstaat nutzen. 

In ihrer finalen Version ist die Verordnung nach vier sogenannten Risiko-Stufen aufgebaut. Ein innovativer Ansatz, „denn die EU reguliert damit nicht die Technologien an sich, sondern ihre Anwendbarkeit“, erklärt die Rechtsanwältin und KI-Expertin Alexandra Ciarnau. Die Idee ist: Je mehr Risiko eine KI-Anwendung für Menschen- und Persönlichkeitsrechte oder für die Demokratie birgt, desto stärker wird sie eingeschränkt. Die vier Stufen sind: Inakzeptables-Risiko, hohes Risiko, begrenztes Risiko und niedriges Risiko.

1. Besonders gefährliche Anwendungen sind künftig tabu – zumindest fast

Die EU betrachtet Anwendungen als besonders gefährlich, wenn sie nicht mit ihren Werten vereinbar sind und wenn sie fundamentale Rechte verletzen. Solche KIs sind grundsätzlich verboten. Neben dem Auswerten von Emotionen am Arbeitsplatz betrifft das auch Social-Scoring-Systeme, die Menschen Punkte für ihr Verhalten geben und Sozialleistungen daran knüpfen. Das klingt nach düsterer Science-Fiction, doch Ähnliches hörte man schon aus China: Es gibt zum Beispiel Berichte, nach denen Menschen mit hohem Score in Krankenhäusern nicht so lange warten müssen, wie Patient*innen mit niedrigem Score. 

Der Act verbietet auch flächendeckende Gesichtserkennung im öffentlichen Raum, biometrische Echtzeitidentifizierung genannt. Regierungen dürfen also nicht dauerhaft Plätze oder Straßen filmen und die Menschen mithilfe von KI identifizieren. Sie dürfen auch keine Datenbanken darüber führen, wie wir uns bewegen oder wo und mit wem wir sonntags einen Kaffee trinken. 

Gerade hier gibt es aber Ausnahmen, die den AI-Act ziemlich löchrig machen. So dürfen Sicherheitsbehörden Gesichter in Echtzeit auswerten, wenn sie einen Terrorismusverdacht anführen oder Straftäter*innen suchen. Falls man also künftig an einer Veranstaltung teilnimmt, von der die Polizei annimmt, dass sich dort eine gesuchte Person aufhält, könnte eine KI sämtliche Gesichter in Echtzeit biometrisch erkennen.

2. Künftig haben Menschen das Recht zu erfahren, worauf KI-Entscheidungen basieren

Wenn eine KI über die Vergabe von Studienplätzen entscheidet oder die Kreditwürdigkeit überprüft, dann ist das künftig nicht verboten. Doch die Regeln dafür werden verschärft. „Eine der für Privatpersonen größten Veränderungen liegt darin, dass sie nach dem AI-Act das Recht auf Auskünfte hinter den Entscheidungen der KI haben“, sagt Ciarnau, die KI-Expertin.  Es kann also weiterhin sein, dass eine Bank künftig einen Kredit ablehnt, weil eine KI ihr dazu rät. Neu ist aber: Der oder die Betroffene hat dann zumindest das Recht zu erfahren, welche Daten zu dieser Entscheidung geführt haben. Bislang bleiben die Informationen oft verborgen. 

Sabrina Palme befürwortet die Regeln. Sie ist Expertin für KI-Vertrauenswürdigkeit und Datenschutz und Mitbegründerin des Software-Start-up Palqee. „Um KI zu nutzen, muss man ihr vertrauen, über den Einsatz aufgeklärt werden, ihren Einsatz infrage stellen und die von ihr getroffenen Entscheidungen bekämpfen dürfen“, sagt sie.

3. Was ist hier eigentlich echt? - Ein Wasserzeichen für KI

Chatbots wie ChatGPT oder Bildgenerierungsprogramme wie Remini oder Lensa stehen immer wieder in der Kritik. Sie sollen rassistische und sexistische Vorurteile reproduzieren. Zum Beispiel hatte die Künstlerin und Influencerin Lana Denina ein Foto von sich generieren lassen, als Anhaltspunkt hatte die KI lediglich ein Foto ihres Gesichts. Das Programm generierte dann ein Bild von ihr, gekleidet mit einer weißen Bluse mit tiefem Ausschnitt. Die KI habe sie übersexualisiert, kritisierte Denina.

Solche KIs werden mit dem AI-Act nicht verboten. Neu ist aber eine Transparenzpflicht für Deepfakes. Inhalte, die bestehenden Personen, Orten oder Ereignissen deutlich ähneln und fälschlicherweise als authentisch erscheinen, sollen eine Art Wasserzeichen bekommen. Wie sinnvoll diese Regelung ist, hängt noch von der konkreten Umsetzung ab. Sollte ein irgendwo im Quelltext versteckter Hinweis reichen, würden Nutzende diesen wohl selten finden. Noch ist deshalb fraglich, ob die Regeln die Verbreitung von Fake-News eindämmen können.

4. Anwendungen ohne besonderes Risiko bleiben unreguliert

Risikoarme KIs wie Spamfilter, Videospiele oder Systeme für die vorausschauende Wartung von Maschinen bleiben unreguliert. Solche KIs sind zum Beispiel für Servicekräfte in Unternehmen interessant. Wenn eine KI Schäden an einer Maschine früh erkennt, können sie die Reparatur rechtzeitig einplanen, bevor die ganze Produktion stehen bleibt. 

Ist der AI-Act ein wegweisender Durchbruch?

Viele Beobachter waren sich schon während der Verhandlungen einig: besser eine lückenhafte Regulierung als keine Regulierung. So sieht es auch KI-Expertin Palme. „Der springende Punkt ist, dass die Technologie enorme Chancen für benachteiligte und diskriminierte Gruppen bietet, aber auch die größten Gefahren für sie birgt: Wenn die KI – wenn auch unbeabsichtigt – mit diskriminierenden Daten trainiert wurde oder Unternehmen und Staaten sie zur Einschränkung der bürgerlichen Freiheiten nutzen“, sagt sie. „Ich bin daher froh, dass die EU sich entschieden hat, dieses Mal mit der Welle und nicht hinter ihr zu schwimmen“, sagt sie. 

Aszodi und AlgorithmWatch sind anderer Meinung. Der Organisation zufolge wurde zu viel verwässert. „Wir bedauern, dass die EU es nicht geschafft hat zu zeigen, wie Menschenrechte vor Schäden durch KI geschützt werden können“, sagt Aszodi. Eines der größten Probleme sind ihr zufolge die Schlupflöcher im Kontext von Strafverfolgung und Migration. „In diesen beiden Bereichen sieht der AI-Act zahlreiche Ausnahmen von den Vorschriften vor, die für andere Hochrisikobereiche gelten“, sagt sie. 

Solche Systeme werden nur in einem nicht-öffentlichen Teil der EU-Datenbank veröffentlicht, Organisationen wie AlgorithmWatch können sie so nicht überprüfen. „Wir wollten, dass Sicherheitsbehörden den Regeln zur Wahrung der Menschenrechte unterworfen werden, wofür Transparenz unerlässlich ist. Aber jetzt wissen wir nicht einmal, welche Systeme es gibt und welche verwendet werden“, fügt sie hinzu. 

Die Verordnung muss noch in nationales Recht umgesetzt werden. Dabei haben die Nationalstaaten Spielraum. Sie könnten strengere Regeln erlassen. Aszodi hofft, dass die biometrische Erkennung stärker beschränkt wird. Die Ampelkoalition habe sie schließlich in ihrem Koalitionsvertrag ausgeschlossen, sagt Aszodi. 

Selbst wenn die Bundesregierung noch einmal nachbessert: KI wird nie ein sicheres Instrument werden. Ein Teil der Verantwortung bleibt bei den Nutzenden. Sie müssen Skepsis bewahren und die Kompetenz entwickeln, Bilder und Informationen auf ihren Wahrheitsgehalt zu prüfen.

Über die Autorin

Mia Pankoke ist Redakteurin bei der Wirtschaftsredaktion wortwert in Köln. Sie Europäische Studien mit Nebenfach Rechtswissenschaften studiert und schreibt nun unter anderem über wirtschaftspolitische und rechtswissenschaftliche Themen. Nebenbei hat sie Arbeitserfahrung in den Bereichen Podcast und Hörfunk gesammelt und für das RBB-Inforadio gearbeitet.