Einsatz Künstlicher Intelligenz bedarf intensiver gesellschaftlicher Debatte

Tagungsbericht von Dr. Christian Geminn

Analysemodelle von KI erlauben Rückschlüsse auf Dritte und führen zu deren Diskriminierung

Rainer Mühlhoff (Universität Osnabrück) widmete sich in der ersten von drei Keynotes dem Thema prädiktive Privatheit. Im Mittelpunkt standen dabei die Risiken der Erhebung und Nutzung von anonymisierten Daten. Analysemodelle, die diese Daten zur Grundlage nehmen, könnten leicht skaliert werden und sogar neue Methoden der Regierung ermöglichen. In der Folge bestehe die Befürchtung einer technologisch katalysierten Spaltung der Gesellschaft. Dies beginne bereits dort, wo bei Online-Bezahlvorgängen bestimmten Nutzenden bestimmte Zahlungsmethoden nicht angeboten werden. In der Rhetorik der an Auswertung großer Datenmengen durch interessierte Unternehmen dominierten indes die Chancen gegenüber den Risiken automatisierter Analysemethoden.

Problematisiert wurde auch die datenschutzrechtliche Einwilligung. Dieses Instrument produziere ein gesellschaftliches Bewusstsein, es gehe bei Datenschutz stets nur um die eigenen personenbezogenen Daten und nicht um einen gesamtgesellschaftlichen Kontext. Mühlhoff stellte schließlich zwei zentrale rechtspolitische Forderungen auf: Zunächst müssten prädiktive Informationen rechtlich wie personenbezogene Daten gestellt werden. In definierten Anwendungsbereichen müsse die Herstellung prädiktiver Risikomodelle sogar kategorisch verboten werden.

Wissenschaftler wehrt sich gegen unzulässige Datenverarbeitung von Clearview AI

Matthias Marx (Universität Hamburg) berichtete von seinen Versuchen, Datenverarbeitungsvorgänge des Anbieters Clearview AI transparent zu machen und schließlich als unzulässig eingeschätzte Verarbeitungsvorgänge unterbinden zu lassen. Damit war das Thema Gesichtserkennung des vorausgegangenen Themenblocks auch im ersten Teil des „Wissensduschens“ präsent, bei dem Wissen komprimiert in Kurzvorträgen vermittelt werden sollte. Der von Clearview AI angebotene Dienst stellt sich als Suchmaschine zur Auswertung eines Suchindexes aus öffentlich im Internet zugänglichen Bildern dar, die Gesichter enthalten. Herr Marx machte gegenüber dem Unternehmen zunächst das Recht auf Auskunft aus Art. 15 DSGVO geltend. Die Anfrage ergab, dass drei Fotos in der Datenbank enthalten waren. Es folgte eine Beschwerde bei der zuständigen Datenschutzaufsichtsbehörde (Hamburg), da bei der Verarbeitung der Bilder von Herrn Marx eine unzulässige Datenverarbeitung vorliege.

Im zweiten „Duschgang“ gab Marianne von Blomberg (Universität Köln/CityU Hongkong) einen Einblick in das chinesische Sozialkreditsystem. Nach offizieller Lesart stelle sich das Sozialkreditsystem als Lösung zahlloser sozialer Probleme dar. Vor allem verstecke sich hinter dem System eine Zusammenführung von Informationen an zentraler Stelle, die bei verschiedenen staatlichen Stellen ohnehin vorlägen. Die Erstellung von Scorewerten spiele in der Praxis noch kaum eine Rolle. Vielmehr würden (ganz „low-tech“) von staatlichen Stellen schwarze Listen erstellt (z.B. von Steuerschuldnern), die verwendet werden könnten, z.B. um Personen von bestimmten Leistungen ausschließen. Bei der Durchsetzung von Ausschlüssen werde zunehmend auf Gesichtserkennung gesetzt. Insgesamt sei das Sozialkreditsystem Ausdruck einer großen Experimentierfreudigkeit im politischen System der Volksrepublik China. In der Berichterstattung spiele Datenmissbrauch durch private Unternehmen aktuell immer wieder eine Rolle, während staatliche Datenverarbeitung erwartungsgemäß wenig thematisiert werde. Kritik an staatlichem Verhalten setze eher an kleineren Versuchsprojekten an, die als Testballons dienen. Als ein Beispiel für solche Pilotprojekte wurde ein Projekt aus der Stadt Hangzhou angeführt, wo Nachbarn positives und negatives Verhalten untereinander analog erfassten.

Aleksandra Sowa befasste sich mit Scoring und Auskunfteien. Big Data ermögliche eine qualitative und quantitative Steigerung solcher Tätigkeiten. Die Grenzen zwischen dem chinesischen Sozialkreditsystem und „westlichem“ Kreditscoring seien fließend; Scoringunternehmen hätten sich zu den mächtigsten Überwachungsinstitutionen in den westlichen Demokratien entwickelt. Ein zentrales Problem sei dabei Intransparenz.

Forschung für bessere Schutzmechanismen gegenüber “Plattformisierung”

Der erste Konferenztag schloss mit der ersten Paper Session der Veranstaltung. Hannah Ruschemeier (Center for Advanced Internet Studies) widmete sich dem sog. Privacy-Paradoxon. Der Begriff bezeichnet das Auseinanderfallen von Einstellung und tatsächlichem Verhalten bezogen auf informationelle Privatheit. Die Idee eines Privacy Calculus sei dabei ein nur vermeintliches Gegenmodell zum Privacy-Paradoxon. Das Privacy-Paradoxon spreche dafür, dass bestehende Schutzmechanismen unzureichend seien. Es müssten deshalb bestehende Durchsetzungsdefizite behoben und Monopolstellungen aufgebrochen werden.

Rita Jordan (TU Dresden) beschäftigte sich mit dem datenschutzrechtlichen Kriterium des Personenbezugs. Den Einstieg in das Thema bildeten dabei Smart Cities und hier insbesondere das Beispiel einer intelligenten Brücke. Privatheitsrisiken intelligenter Infrastruktur im öffentlichen Raum seien insbesondere „Plattformisierung“ und staatliche Überwachung. Als Schutzmöglichkeiten böten sich vor allem Privacy Enhancing Technologies, eine gemeinwohlverträgliche Datenschutzgovernance und Privacy by Design an. Insbesondere stellte Frau Jordan aber die Möglichkeiten von demokratischem Design heraus und warb für ein demokratisiertes Technikrecht.

Wenn der Mensch zur Feedbackschleife der Maschine wird

Der zweite Konferenztag startete mit der von Jörn Lamla (Universität Kassel) gehaltenen zweiten Keynote. Er wies dabei zunächst auf den Konflikt zwischen einer kybernetischen/funktionalen Sichtweise und einer anthropozentrischen/humanistischen Sichtweise hin. Privatheit könne sowohl als Bedingung als auch als Hebel der Selbstbestimmung gesehen werden (humanistische Sichtweise). Privatheit könne aber auch als funktionaler Teil eines kybernetischen „Subjekts“ gesehen werden. Es werde die Frage aufgeworfen, was aus der Selbstbestimmung wird, wenn Privatheit Teil des kybernetischen Subjekts geworden ist. Zentrale These des Vortrags war in der Folge, dass kybernetische Deutungsmuster eine analogistische Weltsicht etablieren.

Der Analogismus nach Descola begreife die Welt als komplex und heterogen (inkommensurable Elemente). Status des Subjekts habe das ordnende, Verbindung stiftende (kontingente) Analogie-Prinzip. Den Primat habe das funktionale Ganze und normative Kraft habe das faktisch Emergierende. Die Gefahr des Analogismus läge deshalb in einer Tendenz zum Totalitarismus, der andere Sichtweisen auf die Digitalisierung ausschließt. Um dieser Gefahr zu begegnen, müsse die Pluralität gesellschaftlicher Existenzweisen anerkannt und gestärkt werden – dies als Alternative zum Analogismus.

Künstliche Intelligenz solle dabei nicht nur in einem funktionalen Kontext gesehen werden, sondern es sollten Effekte ihrer Nutzung auf den Menschen und auf die Gesellschaft in den Blick genommen werden. Indes habe das Aufkommen Künstlicher Intelligenz die Position der kybernetischen Sozial- und Gesellschaftstheorie gestärkt. Diese verklammere Mensch und Maschine zu Feedbackschleifen. Selbstbestimmung treffe auf die bloße Stabilisierung von Routinen durch maschinelles Feedback.

Wenn Entscheidungen an “Smart Wearables” übertragen werden

Den Hauptteil des zweiten Konferenztages bildeten drei Paper Sessions. Der erste Beitrag von Niel Conradie (RWTH Aachen) stellte das Forschungsprojekt InvIDas vor (Interaktive, visuelle Datenräume zur souveränen, datenschutzrechtlichen Entscheidungsfindung), das sich mit dezisionaler Autonomie befasst. Moralisch problematisch sei vor allem die Delegation von Entscheidungen auf Smart Wearables. Gleichzeitig könnten Smart Wearables die Handlungsoptionen gerade vulnerabler Personen erweitern, sofern diese durch innere oder äußere Faktoren in ihrer Handlungsfreiheit eingeschränkt sind. Dies soll gelten für Kinder, Senioren und altersunspezifisch eingeschränkte Personen. Besondere Probleme bereiteten die Phänomene „overchoice“, „de-skilling“ sowie „sludging“ und „overnudging“.

Roger von Laufenberg (Wiener Zentrum für sozialwissenschaftliche Sicherheitsforschung) thematisierte KI-Systeme in der Pflege – spezifisch die Sturzerkennung und -prävention durch Künstliche Intelligenz. Hier werde das Vermeiden des Anfallens personenbezogener Daten häufig als ein Verkaufsargument eingesetzt (z.B. durch den Einsatz von Tiefensensoren anstelle von Kameras). Erwartungen an die Technik seien dabei Sicherheitsgewinne, Erleichterungen der Pflege sowie Effizienzsteigerungen. Notwendig sei dazu eine Datafizierung der analogen Welt, die durch den Einsatz von Sensoren maschinenlesbar gemacht werden muss (bei gleichzeitig bestehenden technischen Beschränkungen bei der Klassifizierung). Ein besonderes Problem stelle die Synthetisierung von Daten dar, z.B. im Falle des Anlernens des Systems durch einen jungen Entwickler mit eigenen Bewegungen, die Bewegungsabläufe älterer Menschen simulieren sollen. Aktuell sei ferner zu konstatieren, dass in Entwicklungsprozessen relevanter Technik Transparenz und Privatsphäre allenfalls auf ökonomischer Ebene eine Rolle spielten. Hinzu trete die mangelnde Ausgereiftheit der Technik – ausgedrückt u.a. durch eine hohe Quote von Fehlalarmen.

Einsatz von KI bei Bewerbungen und Fahrradkurierdiensten

Sabrina Schomberg (Universität Kassel) stellte Ergebnisse des Projekts Nudger vor. Das Projekt widmete sich Privacy-Nudging-Konzepten, die sich in digitale Arbeitssysteme integrieren lassen. Schomberg wies zunächst darauf hin, dass Künstliche Intelligenz zur Bewerberauswahl im Anhang des geplanten Gesetzes über Künstliche Intelligenz als Hochrisikosystem gelistet sei. Einem „algorythmic bias“ wolle die Europäische Kommission in ihrem Entwurf dadurch vorbeugen, dass nur „gute“ Trainingsdaten beim Anlernen des Systems zum Einsatz kommen sollen. Nudging komme im Entwurf bisher nicht vor. KI-gestützte Bewerbergespräche könnten indes aussagekräftiger sein als „reguläre“ Bewerbergespräche. Deshalb müssten sowohl Arbeitgeber als auch Bewerbende für die daraus resultierenden Risiken sensibilisiert werden. Hier könne Privacy Nudging zum Einsatz kommen, sofern dieses so ausgerichtet sei, dass es Transparenz und Autonomie fördere.

Jasmin Schreyer (FAU Erlangen-Nürnberg) widmete sich dem sog. „Überwachungskapitalismus“ aus einer soziologischen Perspektive am Beispiel des Fahrradkurierwesens. Gamification und Nudging kämen hier zur individuellen und kollektiven Motivationssteigerung Einsatz. Zugleich würden z.B. Einschränkungen durch Verkehrsbehinderungen nicht berücksichtigt. Durch eine vollautomatisierte Arbeitskoordination werde die Autonomie von Arbeitnehmenden stark eingeschränkt.

Das Thema des anschließenden „Thesenbattle“ nahm schließlich der Beitrag von Martin Steinebach (Fraunhofer SIT) voraus. Es stelle zunächst Untersuchungen zur Abwanderung von Plattformen wie Facebook hin zu Messengern vor. So spielten insbesondere WhatsApp und Telegram heute eine bedeutende Rolle bei der Verbreitung von Desinformation. Die Nutzende begriffen sich dabei häufig als Insider. Die Verbreitungswege von Desinformation ließen sich über Crawler nachverfolgen. Dabei könne wegen häufiger Umwandlung der Inhalte (z.B. neu komprimierte Bilder) nur inhaltsbezogen vorgegangen werden. Deepfakes spielten heute noch keine Rolle. In der Praxis würden vielmehr Bilder aus dem Kontext gerissen. Gerade in Verbreitungskanälen, in denen nur eine Person sendet oder wenige Personen senden, während die restlichen Nutzenden in einer empfangenden Rolle stehen, sei es kaum möglich, Desinformation mit dem klassischen Mittel der Gegendarstellung oder mit Warnhinweisen zu begegnen.

Leen Al Kallaa (Ruhr-Universität Bochum) schloss die Paper Sessions mit Ergebnissen einer Untersuchung der Rolle von Privatheit und Sicherheit bei der Messenger-Nutzung arabischsprachiger Nutzender. Der Schwerpunkt der Untersuchung lag dabei auf Nutzenden syrischer Herkunft. Dort liege der Nutzungsschwerpunkt bei der Kommunikation mit Verwandten. In der Folge sei die Dominanz von Messengern im Herkunftsland von zentraler Bedeutung. Problematisch sei unter anderem, dass Nutzende Hinweise zur Änderung von Nutzungsbedingungen häufig gar nicht wahrnähmen, wobei möglicherweise auch Sprachbarrieren eine Rolle spielten. Zudem bestehe in der untersuchten Gruppe vielfach Unkenntnis über die technische Funktionsweise sowie über die Umstände der Datennutzung. Notwendig sei in der Folge eine Aufklärung auch in anderen Sprachen als Deutsch.

Wie Künstliche Intelligenz Whistleblowing und den Kampf gegen Desinformationen verändert

Im Format eines „Thesenbattle“ stellten Stefan Schiffner (Universität Münster), Lena Löber (Universität Kassel) und Hartmut Aden (HWR Berlin) aktuelle Forschungsvorhaben vor. Die zentralen Thesen lauteten – in der Reihenfolge der Vortragenden – wie folgt: 1. Für Whistleblowing brauche es Anonymität. Es sei aber auch ein Missbrauch anonymer Meldewege möglich (z.B. durch Überlastung der Strafverfolgungsbehörden oder durch die Verbreitung von Falschinformationen). Missbrauchspotenziale von anonymem Whistleblowing könnten indes durch technische Maßnahmen reduziert werden (z.B. durch Rückgriff auf TOR). Solche Maßnahmen würden aber bislang noch zu wenig eingesetzt; z.B. anonyme Rückkanäle für Rückfragen. Als wesentlicher Unterschied zwischen Whistleblowing in der analogen und in der digitalen Welt sei zu beachten, dass in der digitalen Welt Anonymität deutlich schwieriger zu gewährleisten sei. 2. KI-Systeme seien unverzichtbare Instrumente im Kampf gegen Desinformation. Um den Risiken von KI-Filtersystemen zu begegnen, brauche es aber Transparenz, manuelle Nachkontrollen und verfahrensbasierten Grundrechtsschutz (vor allem in Form von niedrigschwelligen Beschwerdeverfahren) sowie funktionierende Aufsichtsstrukturen. 3. Mit Täuschungsabsicht erstellte Deepfake-Videos stellten eine besondere Herausforderung dar. Hier könne Künstliche Intelligenz als Schutzmechanismus wirken und Manipulationen oder künstlich erstelle Videos aufdecken. Erschwert werde die Entwicklung von wirksamen Detektionsstrategien durch ein technisches Wettrennen zwischen Erstellung und Aufdeckung – ähnlich wie im Bereich der Verschlüsselung. Deepfakes können auf drei Stufen angesiedelt sein: mit hohem Aufwand professionell erstellt („Hollywood“), von informatikaffinen Menschen am heimischen Rechner erstellt, per Smartphone-App erstellt. Deepfakes der ersten Kategorie seien einer automatisierten Entlarvung aktuell entzogen.

Diskutiert wurde in der Folge insbesondere über die Missbrauchspotenziale manueller Nachkontrollen. Diese müssten zur Vermeidung von Fehlentscheidungen vor der Filterung von Inhalten erfolgen. Aber auch psychische Folgen der händischen Nachkontrolle (z.B. bei gewalttätigen Inhalten) müssten ebenso berücksichtigt werden wie auch die Arbeitsbedingen in diesem Bereich insgesamt. Als weiteres Problem der händischen Kontrolle wurde menschlicher Bias identifiziert, der indes dem Problem eines maschinellen Bias gegenüberstehe.

Gegenentwurf zur KI-Ethik als reine Marketingstrategie

In der finalen Keynote stellte Thilo Hagendorff (Universität Tübingen) seine Idee von KI-Tugenden vor. Motiviert sei die Idee zunächst von der aktuellen Kritik, KI-Ethik verkomme in der Praxis oftmals zur bloßen Marketingstrategie. Die Folge war ein „practical turn“, der jedoch ebenfalls Unzulänglichkeiten zeige, indem weiterhin an einem prinzipienorientierten Zugang festgehalten werde, der psychologische Überlegungen zu „bounded ethicality“ (die Erkenntnis, dass die Fähigkeit zu ethischem Handeln von internen und externen Einflüssen begrenzt sei) nicht beachte. Herr Hagendorff schlägt deshalb eine Abwendung von externen Prinzipien und eine Hinwendung zu internen Tugenden vor. Hagendorff leitet aus einer Analyse bestehender ethischer Leitlinien für Künstliche Intelligenz vier basale KI-Tugenden ab: Gerechtigkeit, Ehrlichkeit, Verantwortlichkeit, Sorge. Dieser reduktionistische Ansatz solle Umsetzbarkeit erleichtern. Um dem Problem der „bounded ethicality“ zu begegnen, werden zudem noch zwei sekundäre KI-Tugenden vorgeschlagen: Besonnenheit und innere Stärke. Aus den formulierten Tugenden werden wiederum Maßnahmen abgeleitet, die sowohl die individuelle als auch die systemische Ebene betreffen. Ein Beispiel ist die Erhöhung der Frauenquote in der KI-Forschung. Letztlich sei anzuerkennen, dass Ethik zwar nicht die leitende Kraft der Gesellschaft sein, die Ethik jedoch – beispielsweise durch die vorgestellten KI-Tugenden – gewinnbringend mobilisiert werden könne.