Seit 17:05 Uhr Studio 9
Freitag, 30.07.2021
 
Seit 17:05 Uhr Studio 9

Breitband | Beitrag vom 26.06.2021

"Design Justice" Der Kampf für diskriminierungsfreie Technologien

Moderation: Jenny Genzmer und Dennis Kogel

Illustration von zwei Menschen, die mithilfe von Virtual Reality etwas gestalten (imago images / fStop Images / Malte Müller)
Wenn Diskriminierungsfreiheit nicht schon im Gestaltungsprozess berücksichtigt wird, ist es schwer diese Fehler hinterher auszubügeln. (imago images / fStop Images / Malte Müller)

Immer wieder hört man von vermeintlich objektiven Computersystemen, die am Ende doch nicht so neutral entscheiden, wie angenommen. Deshalb fordern viele: Diskrimierungsfreiheit muss schon im Designprozess mitgedacht werden.

Anfang Juni fand die RightsCon statt, eine internationale Konferenz, bei der es um Menschenrechte und das digitale Zeitalter geht. Eines der dort diskutierten Themen scheint auf den ersten Blick aus der Reihe zu fallen: Design.

Doch es gibt gute Gründe, weshalb auch Design wichtig für Menschenrechte ist. Der Zusammenschluss "Design Justice Network" setzt sich dafür ein, ein größeres Bewusstsein für die Relevanz des Themas zu schaffen.

Sasha Costanza-Chock, Kommunikationswissenschaftler:in und Designer:in von der Technik-Universität MIT erklärt:

"Den Begriff Designer:in nutzen wir immer mehr für Menschen, die Prototypen für die unterschiedlichen Systeme in unserer Gesellschaft planen, erdenken und erschaffen – auch Technologien fallen darunter. Denk zum Beispiel an UX-Designer:innen, die haben nicht zwangsläufig etwas mit Grafikdesign zutun. Ihr Job besteht darin, über die Erfahrung nachzudenken, die eine Person machen wird, wenn sie entweder mit einem Unternehmen oder Regierungsbehörden interagiert."

An der Realität vorbei gestaltet

Costanza-Chock plädiert dafür, genauer zu fragen, für wen ein bestimmtes System eigentlich einfach bedienbar und intuitiv ist – und ob es nicht sogar jemandem schaden würde, weil es zum Beispiel seine oder ihre Persönlichkeitsrechte verletzt. Wie das vonstatten geht, veranschaulicht ein Video, das im März auf Tiktok viral ging:

Das Video stammt von Rosalynne Montoya, einer trans Frau, Aktivistin und Model. Sie beschreibt, wie es ist, als trans Person durch den Ganzkörperscanner der Flugsicherheitsbehörde TSA zu gehen: Der Scanner für Frauen schlägt Alarm, weil er eine "Anomalie" zwischen ihren Beinen feststellt. Sie wird dann durch den Scanner für Männer geschickt – dort wiederum lösen ihre Brüste Alarm aus.

Kodifizierte Diskriminierung

Diese Erfahrung hat auch Sasha Costanza-Chock machen müssen. Sie schreibt darüber in ihrem Buch "Design Justice", also "Design-Gerechtigkeit". Sie sagt, dass viele Technologien vor allem Menschen schaden, die wegen ihrer Hautfarbe, ihres Geschlechts, einer Behinderung oder wegen ihres Einkommens sowieso schon Diskriminierung erfahren.

Abonnieren Sie unseren Kulturnewsletter Weekender. Die wichtigsten Kulturdebatten und Empfehlungen der Woche. Ab jetzt immer freitags per Mail. (@ Deutschlandradio)

Dieses Problem wächst sich aus, wenn es zum Beispiel um Technologien wie Künstliche Intelligenz oder automatisierte Entscheidungssysteme geht und vor allem dann, wenn Regierungsbehörden sie einsetzen – wie zum Beispiel die Rückfall-Risiko-Scores in den USA:

"Die Strafjustiz nutzt Rückfall-Risiko-Bewertungen, wenn sie darüber entscheidet, ob jemand länger im Gefängnis bleiben muss oder früher nach Hause geschickt werden kann – und zwar noch vor dem Prozess. ProPublica hat herausgefunden, dass diese Programme schwarze Menschen benachteiligen.", so Costanza-Chock.

Diese US-Beispiele zeigen, dass ein diskriminierendes Design oft weit über Alltagsrassismus oder Sexismus hinaus geht.

Menschen sind Schuld, nicht der Algorithmus

Caroline Sinders ist Künstlerin und Designwissenschaftlerin. Ihrer Ansicht nach bringt es nichts, Technologien isoliert zu betrachten. Man müsse das gesamte Ökosystem betrachten, in dem eine Software entsteht. Sie begründet das mit der Erfahrung, die die schwarze Harvard Professorin Latanya Sweeney gemacht hat, als sie ihren Namen gegoogelt hat und die Suchmaschine ihr Seiten vorschlug, auf denen es um "Vorstrafenregister" und "Kautionen" ging:

"Sie sah diese Art von Suchvorschläge hauptsächlich dann, wenn sie nach schwarzen, afro-amerikanisch klingenden Namen gesucht hat. Wenn Google oder andere Unternehmen so etwas zulassen – und das sollten wir nicht vergessen –, dann schauen da Juristen, Chef-Entwickler und Design-Manager drauf."

Denn: So ein Produkt geht durch viele Hände, bevor es veröffentlicht wird. Sinders erklärt weiter:

"Das alles ist Teil eines Design-Prozesses. Wir können nicht nur draufschauen und sagen: Nur der Algorithmus ist problematisch. Nein, nein, nein – an dem Ergebnis sind wir alle mitschuldig. Ich versuche Designer und Design-Studierende dazu zu bringen, das zu verstehen und darüber nachdenken."

Regulierung und Verbote

Darüber hinaus fordern Caroline Sinders und Sasha Costanza-Chock weitere Regulierungen und international verbindliche Abkommen, die den Schutz der Menschenrechte bei der Technologieentwicklung sicherstellen sollen – vor allem mit Blick auf automatisierte Entscheidungssysteme:

"Wir brauchen starke Rechenschaftspflichten für die automatisierten Entscheidungssysteme, die gerade in jedem Lebensbereich eingesetzt werden. Bei Bewerbungs-Screenings, bei Klausur-Überwachungssoftware in der Bildung, bis hin zu Algorithmen im Gesundheitssystem, die entscheiden, wer welche Leistungen erhält. Um zukünftig Technologien zu haben, die wir wirklich brauchen, werden wir viel mehr öffentliche Gelder investieren müssen."

Costanza-Chock macht hier aber noch einen wichtigen Unterschied: Sie sagt, mathematisch könne man Technologien durch Regulierung verbessern und kontrollieren – indem man Algorithmen prüft. Nutzer müssen jedoch immer eine Möglichkeit haben, automatisierte Entscheidungen anzufechten.

Dies mindereeine diskriminierende Entscheidungsfindung jedoch nur, ohne sie zu verhindern. Deshalb sollten selbstlernende Systeme wie Künstliche Intelligenz von Regierungen überhaupt nicht verwendet werden:

"Technologien sind konkret gewordene Gesellschaftsstrukturen in unserem Leben. Deshalb haben wir es mit einem Henne-und-Ei-Problem zutun. Wenn wir gerechtere und inklusivere Technologien entwickeln wollen, dann brauchen wir erstmal grundlegende Veränderungen in unseren gesellschaftlichen Prioritäten."

(hte)

Mehr zum Thema

Feministisches Design - Bewusste Unordnung und ein großer Genderstern
(Deutschlandfunk Kultur, Kompressor, 18.05.2021)

Künstliche Intelligenz - Google beschleunigt Computerchip-Design mit KI-Algorithmus
(Deutschlandfunk, Forschung aktuell, 11.06.2021)

Diskriminierung durch Design - Das Werkzeug des Mannes
(Deutschlandfunk Kultur, Kompressor, 12.04.2021)

App: Dlf Audiothek

Die neue Dlf Audiothek App ist ab sofort in den Appstores von Apple und Google zum kostenlosen Download erhältlich (Deutschlandradio)

Entdecken Sie mit der Dlf Audiothek die Vielfalt unserer drei Programme, abonnieren Sie Ihre Lieblingssendungen, wählen Sie aus Themenkanälen und machen daraus Ihr eigenes Radioprogramm.


Jetzt kostenlos herunterladen

Breitband

Bildsprache in der PolitikVon Manipulation bis Aktivismus
Auf dem Bild sind Bundeskanzlerin Angela Merkel und Malu Dreyer, Ministerpräsidentin von Rheinland-Pfalz, gehen durch das vom Hochwasser verwüstete Dorf Schuld in der Nähe von bad Neuenahr-Ahrweiler (dpa / POOL AFP / Christof Stache)

Angela Merkel stützt Malu Dreyer. Philipp Amthor lässt sich mit Neonazis ablichten. Armin Laschet lacht bei einer Steinmeier-Rede über Flutopfer. Solche Bilder hinterlassen starke Eindrücke. Warum, erklärt Kommunikationswissenschaftlerin Stephanie Geise.Mehr

Breitband SendungsüberblickPegasus liest mit!
Auf dem Bild ist ein blau eingefärbtes Auge zu sehen, dass aus ganzen viele Pixel besteht.  (imago /  Ikon Images / Saul Gravy)

Mit der Software “Pegasus” wurden viele Menschen ausspioniert, darunter auch Politiker und Menschenrechtlerinnen. Das deckte diese Woche eine groß angelegte Recherche auf. Außerdem: Bildsprache in der Politik und das Comeback eines Musikspiel-Genres.Mehr

weitere Beiträge

Das könnte sie auch interessieren

Entdecken Sie Deutschlandfunk Kultur