Ein "Lügendetektor" an der EU-Außengrenze
09:27 Minuten
Von Anna Loll · 26.04.2021
Stellen Sie sich vor, Sie beantworten wahrheitsgemäß Fragen, ein Computerprogramm der Grenzkontrolle filmt Sie dabei und behauptet, Sie lügen. Diese künstliche Intelligenz wurde zu Testzwecken bereits eingesetzt und ruft immer größere Kritik hervor.
2019 strahlt das italienische Fernsehen RAI einen Bericht der investigativen Journalistin Ludovica Jona aus. Die Italienerin recherchierte zum Einsatz von Biometrie. Das sind neuartige Technologien wie Gesichtserkennung, Fingerabdruckvermessung oder Augen-Retina-Scanning.
"Auf einer Konferenz in Darmstadt hört Ludovica Jona 2018 das erste Mal von ´iBorderCtrl`. Es ist ein Forschungsprojekt, gefördert von der EU. Es soll Kontrollen an den Außengrenzen der EU leichter und sicherer machen. Eines seiner technologischen Kernstücke ist eine Art Lügendetektor. Er arbeitet unter anderem mit künstlicher Intelligenz."
"Auf einer Konferenz in Darmstadt hört Ludovica Jona 2018 das erste Mal von ´iBorderCtrl`. Es ist ein Forschungsprojekt, gefördert von der EU. Es soll Kontrollen an den Außengrenzen der EU leichter und sicherer machen. Eines seiner technologischen Kernstücke ist eine Art Lügendetektor. Er arbeitet unter anderem mit künstlicher Intelligenz."
Test mit der "Wahrheitsmaschine"
Ludovica Jona versucht mehr heraus zu bekommen.
"Bei dieser Gelegenheit fragte ich den Mann, der dieses Programm präsentierte: Das ist eine Art... ich meine... Lügenerkennung, es ist wie eine Wahrheitsmaschine? Und er sagte: Ja, so ungefähr."
Die Journalistin fragte sich: Wie sollte diese "Wahrheitsmaschine" funktionieren? Sie fuhr nach Serbien, zur Stadt Subotica, an die ungarische Grenze. Dort testete die EU iBorderCtrl. Ludovica Jona registrierte sich am Abend vor ihrer Reise zurück nach Ungarn online über ihren Laptop im System.
"Nach der Registrierung müssen Sie der Kamera Ihres Computers erlauben, Ihr Gesicht zu filmen – dabei wird jede kleinste Regung erfasst. Während die Kamera Sie filmt, sehen Sie den Avatar, das digitale Abbild eines Polizisten, der Ihnen Fragen stellt: Woher kommen Sie, in welches Land gehen Sie, wo ist das Land, das Ihre Dokumente freigegeben hat. Es sind also sehr einfache Fragen. Natürlich habe ich ehrlich geantwortet."
Das sah die KI von iBorderCtrl allerdings anders: Laut der Testversion hatte Ludovica Jona von 16 Fragen nur drei wahrheitsgemäß beantwortet. Bei neun war das System unsicher. Und bei vier habe sie gelogen. Die Journalistin wurde damit als potenziell gefährliche Person eingestuft und im Testverfahren an der Grenze extra überprüft.
Die falsche Einschätzung von Ludovica Jona durch iBorderCtrl ist kein Einzelfall – das glauben zumindest Kritiker. Sie bezweifeln die Genauigkeit des KI-Video-Lügendetektors.
"Es gibt keinerlei Beleg dafür, dass solch eine Technologie mehr Sicherheit bringen würde, irgendwelche Terroristen damit gefunden werden könnten."
Patrick Breyer ist im Europäischen Parlament Abgeordneter für die Piratenpartei. Er steht dem Projekt iBorderCtrl sehr kritisch gegenüber.
"Umgekehrt ist dieser vermeintliche Videolügendetektor so fehleranfällig, dass wenn Sie den an einer Grenze einsetzen, führt das zu einer Wartezeitlotterie, wo es wirklich vom Zufall abhängt, ob Sie intensiv befragt oder einfach durchgewunken werden."
Doch das ist nicht die einzige Kritik, die der Abgeordnete an dem Projekt hat. Patrick Breyer moniert: Die EU-Kommission halte zu viel von iBorderCtrl geheim. Vor dem Europäischen Gerichtshof hat er dagegen geklagt. Das Parlamentsmitglied will die Details, die Gutachten zu iBorderCtrl sehen.
"Bei dieser Gelegenheit fragte ich den Mann, der dieses Programm präsentierte: Das ist eine Art... ich meine... Lügenerkennung, es ist wie eine Wahrheitsmaschine? Und er sagte: Ja, so ungefähr."
Die Journalistin fragte sich: Wie sollte diese "Wahrheitsmaschine" funktionieren? Sie fuhr nach Serbien, zur Stadt Subotica, an die ungarische Grenze. Dort testete die EU iBorderCtrl. Ludovica Jona registrierte sich am Abend vor ihrer Reise zurück nach Ungarn online über ihren Laptop im System.
"Nach der Registrierung müssen Sie der Kamera Ihres Computers erlauben, Ihr Gesicht zu filmen – dabei wird jede kleinste Regung erfasst. Während die Kamera Sie filmt, sehen Sie den Avatar, das digitale Abbild eines Polizisten, der Ihnen Fragen stellt: Woher kommen Sie, in welches Land gehen Sie, wo ist das Land, das Ihre Dokumente freigegeben hat. Es sind also sehr einfache Fragen. Natürlich habe ich ehrlich geantwortet."
Das sah die KI von iBorderCtrl allerdings anders: Laut der Testversion hatte Ludovica Jona von 16 Fragen nur drei wahrheitsgemäß beantwortet. Bei neun war das System unsicher. Und bei vier habe sie gelogen. Die Journalistin wurde damit als potenziell gefährliche Person eingestuft und im Testverfahren an der Grenze extra überprüft.
Die falsche Einschätzung von Ludovica Jona durch iBorderCtrl ist kein Einzelfall – das glauben zumindest Kritiker. Sie bezweifeln die Genauigkeit des KI-Video-Lügendetektors.
"Es gibt keinerlei Beleg dafür, dass solch eine Technologie mehr Sicherheit bringen würde, irgendwelche Terroristen damit gefunden werden könnten."
Patrick Breyer ist im Europäischen Parlament Abgeordneter für die Piratenpartei. Er steht dem Projekt iBorderCtrl sehr kritisch gegenüber.
"Umgekehrt ist dieser vermeintliche Videolügendetektor so fehleranfällig, dass wenn Sie den an einer Grenze einsetzen, führt das zu einer Wartezeitlotterie, wo es wirklich vom Zufall abhängt, ob Sie intensiv befragt oder einfach durchgewunken werden."
Doch das ist nicht die einzige Kritik, die der Abgeordnete an dem Projekt hat. Patrick Breyer moniert: Die EU-Kommission halte zu viel von iBorderCtrl geheim. Vor dem Europäischen Gerichtshof hat er dagegen geklagt. Das Parlamentsmitglied will die Details, die Gutachten zu iBorderCtrl sehen.
Wie Firmen Gesetze ändern wollen
Das Urteil aus Luxemburg steht noch aus. Doch inzwischen hat der Jurist ein ihm vorliegendes, vormals geschwärztes Dokument mit technischen Mitteln wiederherstellen können.
"Als ich gesehen habe, was da drinsteht, habe ich gedacht: Mich trifft der Schlag. Das ist ja nicht zu glauben."
Es ist der "Verbreitungs- und Kommunikationsplan" von iBorderCtrl, ein Dokument aus dem Jahr 2017: Hinter den Schwärzungen beschreiben die 13 Projektpartner – es sind Unternehmen, Polizeibehörden und Forscherteams von der Manchester Metropolitan University und der Leibniz Universität Hannover – wie sie mit umfassenden Lobbyismusmaßnahmen Gesetze ändern wollen, um iBorderCtrl zum Erfolg zu führen. Darin heißt es:
"In der Tat wird eine gesetzliche Grundlage erforderlich sein. Um solche gesetzlichen Reformen zu fördern, müssen die wichtigsten Stakeholder richtig angesprochen werden."
Das Dokument liegt Deutschlandfunk Kultur exklusiv vor.
Dass die EU-Bevölkerung sich leicht für das neue System begeistern ließe, bezweifelt das iBorder-Konsortium darin selbst. Der Unmut gegenüber Überwachung und Diskriminierung durch künstliche Intelligenz ist groß.
Daher heißt es in dem Dokument weiter:
"Es könnte jedoch schwierig sein, die breitere Öffentlichkeit zu nutzen, um die Umsetzung von iBorderCtrl-Lösungen zu fördern. Entsprechende Schritte müssen sorgfältig vorbereitet werden."
"Als ich gesehen habe, was da drinsteht, habe ich gedacht: Mich trifft der Schlag. Das ist ja nicht zu glauben."
Es ist der "Verbreitungs- und Kommunikationsplan" von iBorderCtrl, ein Dokument aus dem Jahr 2017: Hinter den Schwärzungen beschreiben die 13 Projektpartner – es sind Unternehmen, Polizeibehörden und Forscherteams von der Manchester Metropolitan University und der Leibniz Universität Hannover – wie sie mit umfassenden Lobbyismusmaßnahmen Gesetze ändern wollen, um iBorderCtrl zum Erfolg zu führen. Darin heißt es:
"In der Tat wird eine gesetzliche Grundlage erforderlich sein. Um solche gesetzlichen Reformen zu fördern, müssen die wichtigsten Stakeholder richtig angesprochen werden."
Das Dokument liegt Deutschlandfunk Kultur exklusiv vor.
Dass die EU-Bevölkerung sich leicht für das neue System begeistern ließe, bezweifelt das iBorder-Konsortium darin selbst. Der Unmut gegenüber Überwachung und Diskriminierung durch künstliche Intelligenz ist groß.
Daher heißt es in dem Dokument weiter:
"Es könnte jedoch schwierig sein, die breitere Öffentlichkeit zu nutzen, um die Umsetzung von iBorderCtrl-Lösungen zu fördern. Entsprechende Schritte müssen sorgfältig vorbereitet werden."
"Ist nichts anders als mit Steuern finanziertes Lobbying"
Mit Forschung habe so etwas nichts mehr zu tun, meint der EU-Abgeordnete Patrick Breyer. Vielmehr werde deutlich: Den iBorderCtrl-Industriepartnern sei es vor allem um den Vertrieb ihres Produktes gegangen – und darum, wenn notwendig, dafür Gesetze zu ändern.
"Das ist nichts anders als mit Steuern finanziertes Lobbying für Gesetzesänderungen. Aus meiner Sicht ein schwerer Verstoß gegen die Rahmenbedingungen für solche Forschungsaktivitäten. Es hat nämlich mit Forschung gar nichts mehr zu tun. Das ist Lobbyismus."
Das sieht die EU-Kommission anders. Auf Anfrage betont ein Kommissionssprecher in einer schriftlichen Stellungnahme, dass alle Forschungsanträge einer spezifischen Ethikbewertung unterzogen würden. Die Übereinstimmung mit ethischen Regeln und Standards werde überprüft und vertraglich festgeschrieben.
Die Leitung des iBorderCtrl-Projekts, das Unternehmen European Dynamics aus Luxemburg, antwortete nicht auf unsere Fragen, danach ob die Projektpartner Gesetzesänderungen anstrebten und einen Vertrieb von iBorderCtrl planten – und was das mit Forschung zu tun habe.
"Das ist nichts anders als mit Steuern finanziertes Lobbying für Gesetzesänderungen. Aus meiner Sicht ein schwerer Verstoß gegen die Rahmenbedingungen für solche Forschungsaktivitäten. Es hat nämlich mit Forschung gar nichts mehr zu tun. Das ist Lobbyismus."
Das sieht die EU-Kommission anders. Auf Anfrage betont ein Kommissionssprecher in einer schriftlichen Stellungnahme, dass alle Forschungsanträge einer spezifischen Ethikbewertung unterzogen würden. Die Übereinstimmung mit ethischen Regeln und Standards werde überprüft und vertraglich festgeschrieben.
Die Leitung des iBorderCtrl-Projekts, das Unternehmen European Dynamics aus Luxemburg, antwortete nicht auf unsere Fragen, danach ob die Projektpartner Gesetzesänderungen anstrebten und einen Vertrieb von iBorderCtrl planten – und was das mit Forschung zu tun habe.
Chancen der künstlichen Intelligenz
Offen für eine Debatte ist Jonathan Stoklas, Diplomjurist am Institut für Rechtsinformatik an der Leibniz Universität Hannover. Er hat bei iBorderCtrl mitgearbeitet, bei der ethisch-rechtlichen Begutachtung des Projekts.
"Es sind ja nicht nur Universitäten, die forschen, sondern es sind ja auch letzten Endes Unternehmen, die irgendwie innovativ sein wollen, die sich neue Dinge überlegen, die sie dann vermarkten können. Insofern kann ich die Kritik schon ein stückweit verstehen. Ich glaube aber, dass man auch nicht einfach pauschal sagen kann, ja, Wirtschaftsunternehmen dürfen da nicht mehr mit rein."
Jonathan Stoklas sieht grundsätzlich eine große Chance in künstlicher Intelligenz für die Gesellschaft.
"In welchen Bereichen kann denn eine KI die Situation, wie sie jetzt ist, verbessern? Und da wäre eben die erste Überlegung: Wie akkurat arbeitet ein Mensch? Und ist ein Mensch wirklich immer unbefangen?"
Der EU-Abgeordnete Patrick Breyer fordert endlich eine offene Debatte. Grundlage dafür sei ein Ende der Geheimhaltung bei der EU-Forschungsförderung.
"Ich fordere, von der Kommission offenzulegen, ob das auch in anderen Fällen vorgekommen ist, und sie muss natürlich sofort einen Schlussstrich ziehen darunter, dass Forschungsmittel zweckentfremdet werden für Lobbyismus."
"Es sind ja nicht nur Universitäten, die forschen, sondern es sind ja auch letzten Endes Unternehmen, die irgendwie innovativ sein wollen, die sich neue Dinge überlegen, die sie dann vermarkten können. Insofern kann ich die Kritik schon ein stückweit verstehen. Ich glaube aber, dass man auch nicht einfach pauschal sagen kann, ja, Wirtschaftsunternehmen dürfen da nicht mehr mit rein."
Jonathan Stoklas sieht grundsätzlich eine große Chance in künstlicher Intelligenz für die Gesellschaft.
"In welchen Bereichen kann denn eine KI die Situation, wie sie jetzt ist, verbessern? Und da wäre eben die erste Überlegung: Wie akkurat arbeitet ein Mensch? Und ist ein Mensch wirklich immer unbefangen?"
Der EU-Abgeordnete Patrick Breyer fordert endlich eine offene Debatte. Grundlage dafür sei ein Ende der Geheimhaltung bei der EU-Forschungsförderung.
"Ich fordere, von der Kommission offenzulegen, ob das auch in anderen Fällen vorgekommen ist, und sie muss natürlich sofort einen Schlussstrich ziehen darunter, dass Forschungsmittel zweckentfremdet werden für Lobbyismus."
