«Als ob wir alle nichts anderes zu tun hätten, als 600 Seiten Daten­schutz­erklärung durchzulesen!»

Stellen Sie sich vor: Sie bewerben sich auf Ihre Traum­stelle. Nach langem Warten erhalten Sie ein Absage­schreiben. «Leider haben wir uns anders entschieden … trotzdem wünschen wir Ihnen viel Erfolg …», die Standard­floskeln. Sie rufen die Firma an, verlangen nach der HR-Verantwortlichen und fragen nach dem genauen Absagegrund.

Diese sagt, sie habe Ihre Bewerbung gar nie zu Gesicht bekommen.

Ein Algorithmus hat Ihre Bewerbung schon vorher aussortiert. Wahrscheinlich aufgrund Ihres Erwerbs­unterbruchs während der Mutterschaft, vermutet die HR-Verantwortliche. Aber so genau wisse sie es leider auch nicht.

Die Szene ist erfunden. Dass aber Software auf Basis von Algorithmen immer einschneidendere Entscheidungen über Ihr Leben trifft, über Job, Miete, Kredit­würdigkeit oder gar Ihre ärztliche Behandlung – das ist Realität.

Wie gehen wir als Gesellschaft damit um? Braucht es neue Gesetze? Neue technologische Ansätze?

Besuch bei Associate Professor Sandra Wachter.

Der Eingang ist schlicht und unauffällig: eine schmale, königsblaue Holztür mitten in der steinernen Innenstadt von Oxford. Doch hinter dieser Tür wird so viel und so scharf über die Digitalisierung nachgedacht wie fast nirgends sonst auf der Welt. Beinahe wöchentlich publizieren die Wissenschaftlerinnen des Oxford Internet Institute ihre Analysen zu den kniffligsten Fragen der Digitalisierung: zu Propaganda im Netz, künstlicher Intelligenz, der zunehmenden Macht der Datenwirtschaft.

Oft löst das, was sie schreiben, heftige Debatten aus. Wie etwa die Forderung von Sandra Wachter, risikoreiche Algorithmen müssten stets «erklärbar» sein, die sie einsetzenden Firmen und Behörden also offenlegen, was die Software tut. Oder anders gesagt: Wenn ein Programm über mein Leben entscheidet, dann habe ich ein Recht zu wissen, wie das Programm zu seiner Entscheidung gekommen ist. Dabei geht es nach Ansicht von Sandra Wachter um viel mehr als um Datenschutz: um das Recht an der eigenen Person, einen Grundwert des modernen Rechts­staates. Ein Gespräch mit einer der wichtigsten Forscherinnen in den Sozial­wissenschaften des Internets.

Frau Wachter, in den Niederlanden ist eine Software namens SyRI im Einsatz, die Sozialhilfe­betrüger ermittelt. Die Organisation Algorithm Watch wollte wissen, wie der Algorithmus dieser Software funktioniert. Oder anders: mit welchem Verhalten man sich bei SyRI verdächtig mache. Die Sozialhilfe­behörde stemmte sich gegen die Veröffentlichung: So wüssten alle Antrag­steller, wie sie den Algorithmus austricksen können.
Das ist eines der üblichen Argumente gegen meine Forderung nach Erklärbarkeit. Es gibt drei Gruppen von Gegnern. Die erste Gruppe sträubt sich dagegen mit Verweis auf das Geschäfts­geheimnis. Die zweite Gruppe sagt, Algorithmen seien ganz einfach nicht erklärbar. Und dann gibt es eben eine dritte Gruppe, die fürchtet, dass bei zu viel Transparenz diese Systeme ausgetrickst werden können – und damit sinnlos werden. Diese Bedenken sind berechtigt. Sie reichen mir aber nicht aus, um die heutige Intransparenz zu rechtfertigen. Ich plädiere für einen Mittelweg.

Der da wäre?
Ein einfaches Konzept sind sogenannte counterfactual explanations, also «Was wäre gewesen, wenn»-Erklärungen. Das würde alle Beteiligten – Konsumenten, Unternehmen und Politik – glücklich machen. Ich gebe Ihnen ein Beispiel. Nehmen wir eine Konsumentin, die ein Darlehen nicht bekommen hat. Vielleicht will sie nun wissen, warum. Oder sie findet, sie sei unfair behandelt worden. Oder sie will wissen, was sie in Zukunft ändern muss, damit sie den Kredit das nächste Mal bekommt. Letzteres sollte man ihr gewähren. Also verpflichtet man den Software-Anbieter, der Konsumentin folgende Erklärung zu geben: Hätte sie ein Jahres­einkommen von 50’000 Euro gehabt, dann hätte sie eine Zusage gekriegt. Sie verdient aber nur 40’000 Euro.

Aber warum den Kredit-Algorithmus nicht einfach offenlegen? Am besten gleich den Quellcode.
Na ja, die Konsumentin muss ja nicht gleich den ganzen Code in die Hand gedrückt bekommen. Im Gegenteil, sie wird wohl eher verärgert sein, wenn sie nur den Code als Antwort bekommt. Sie muss nicht die komplexe Logik eines Algorithmus verstehen. Aber sie soll nach einer Enttäuschung wissen, warum dieser Entscheid so ausgefallen ist.

Okay, aber was ist, wenn die Begründung nicht überzeugt? Wenn der Algorithmus den Kredit zum Beispiel nicht wegen des Jahres­gehalts abgelehnt hat, sondern wegen der Hautfarbe?
Das wäre Diskriminierung, dann müssen sich Betroffene wehren können. Die counterfactual explanations sind der eine Ansatz. Aber er reicht natürlich nicht aus. Nehmen wir ein etwas weniger eindeutiges Beispiel als die Hautfarbe. Wenn der Konsument die Erklärung bekommt: «Sie erhalten kein Darlehen, weil Sie braune Schuhe tragen», dann ist das zwar transparent, aber ist das fair?

Natürlich nicht.
Und jetzt sind wir beim Kern: wie eine Software zu ihren Entscheiden kommt. Auf dem Weg dahin passieren viele Vernetzungen und Auswertungen. Wir sind uns oft nicht bewusst, wie heikel das ist: Vieles, was wir tun, ermöglicht Rückschlüsse auf sensible Themen wie Gesundheit oder sexuelle Orientierung. Algorithmus­basierte Programme können aus den Gruppen, denen ich auf Facebook beitrete, oder den Videos, die ich mir anschaue, erstaunlich vieles ableiten.

Ist das überhaupt legal, wenn ein Algorithmus solche Rückschlüsse über mich zieht? Aufgrund von Verhalten, von dem ich wohl oft nicht einmal wusste, dass es irgendwo für irgendeine Software von Bedeutung ist?
Das ist die entscheidende Frage. Und daran sehen Sie, dass es um viel mehr geht als um Daten­schutz. Es geht um das Recht auf Privat­sphäre in einer algorithmischen Welt. Genauer um das Recht auf Identität. Ich bin in zehn Jahren ein anderer Mensch. Wenn nun aber ein Algorithmus den aktuellen Moment festhält, einfriert und mit Firmen, Arbeit­gebern und Versicherungen teilt, dann wird diese eingefrorene Persönlichkeit zur «Wahrheit» über mich.

Sie haben auch hier versucht, einen Mittelweg zwischen Geschäfts­interessen und Persönlichkeits­rechten zu finden: right of reasonable inferences, wie Sie es nennen. Also das Recht, dass über mich vernünftige Schlüsse gezogen werden.
Genau. Das bedeutet, dass wir uns die Daten­quellen in Bezug auf ihren jeweiligen Zweck anschauen: Ist es sinnvoll, also reasonable, das Browsing­verhalten zu überwachen, um daraus abzuleiten, ob jemand Alzheimer hat? Sind die angewandten Methoden wissenschaftlich getestet und für den jeweiligen Zweck geeignet? Falls beide Fragen mit Ja beantwortet werden können, dann soll der Algorithmus anwendbar sein dürfen.

Damit sprechen Sie aber erst das Sammeln und Kategorisieren an – noch nicht das, was danach auf Basis der Daten geschieht. Also nochmals zurück zur konkreten Frage: Ist es nun legal, wenn ich einen Kredit nicht bekomme, weil ich braune Schuhe trage?
Die aktuelle europäische Rechtslage ist bezüglich Diskriminierung noch nicht sehr ausgefeilt. Das gefällt mir nicht. Es gibt eine Hierarchie: Am meisten geschützt sind Ethnien, dann etwas weniger das Geschlecht und noch etwas weniger die sexuelle Orientierung oder Behinderungen. Und im Netz wird das alles noch viel granularer. Algorithmen teilen uns die ganze Zeit in Gruppen ein und behandeln uns unterschiedlich. In China erhalten Video­gamer weniger Social-Scoring-Punkte, werden also staatlich als schlechtere Bürger eingestuft. Nun ist das vielleicht keine historisch stigmatisierte Gruppe. Ist es notwendig, sie zu schützen? Wir müssen umdenken und uns überlegen, wie wir damit umgehen.

Die Tech-Industrie hat sich beim Thema Diskriminierung geschickt herausgeredet: Sie diskriminiere nicht aufgrund von Merkmalen, sondern aufgrund von Interessen. Das bedeutet dann beispiels­weise: Man ist zwar vielleicht nicht homosexuell. Aber man hat aufgrund der Daten­spuren ein «Interesse an LGBT-Themen» und bekommt entsprechend vielleicht doch ein Problem.
Genau hier setzt das Konzept von «Diskriminierung durch Assoziierung» an, das ich zurzeit weiterentwickle. Eingeführt hat es der Europäische Gerichtshof mit einem Urteil. Es gab den Fall einer Mutter, die wegen ihres behinderten Kindes flexible Arbeits­zeiten beantragt hatte. Der Arbeit­geber lehnte das ab, später wurde sie auch entlassen. Ihre Kollegen mit nicht behinderten Kindern hatten nach Darstellung der Frau diese Flexibilität jedoch erhalten. Sie ging dann vor Gericht mit der Klage: Ich werde wegen der Behinderung meines Kindes diskriminiert. Das Gericht hielt fest, das sei «Diskriminierung durch Assoziierung», weil der Arbeit­geber die Behinderung des Kindes auf die Mutter übertragen hat. Das heisst mit anderen Worten: Es spielt keine Rolle, ob eine Zuordnung stimmt oder nicht. Sie kann dennoch diskriminierend wirken. Ich bekomme allenfalls Schutz, wenn ich negativ behandelt werde, weil man mich mit einer bestimmten Gruppe oder Affinität assoziiert hat. Mit dieser Idee im technologischen Kontext setze ich mich auseinander.

Damit werden Sie sich aber viele Feinde machen. Die Internet­wirtschaft beruht ja auf Personalisierung. Werbung für Baby­windeln wird an Frauen ausgespielt, welche die Ursachen für morgendliche Übelkeit googeln. Ein ganzer Industrie­zweig lebt genau von solchen Zuteilungen und Ungleich­behandlungen von Gruppen.
Ich habe die Erfahrung gemacht, dass Wirtschaft und Politik froh sind um neue Ideen und konkrete Vorschläge. Das Recht zu erneuern, ist ein Schritt, aber das reicht nicht, weil Recht immer abstrakt ist. Das Recht gibt keine Anleitungen, wie man es denn nun genau machen soll. Klar können wir sagen: «Algorithmen müssen fair und rechenschafts­pflichtig sein.» Doch dann fragen die Unternehmen: «Okay, aber was muss nun der Techniker am kommenden Montag genau ändern? An welchen Parametern müssen wir schrauben?» Hier können wir eine Brücke bauen.

Üblicherweise wird mit dem Einsatz von algorithmischen Systemen die Beweislast ja zunehmend auf den Internet­konsumenten verlagert. Er muss ständig beweisen, dass er diskriminiert worden ist. Ist das nicht zu viel Last auf unseren Schultern?
Ich stimme vollkommen überein: Diese Entwicklung ist überhaupt nicht in Ordnung. Das ist viel zu viel Verantwortung. Als ob Konsumentinnen nichts anderes zu tun hätten, als 600 Seiten Datenschutz­erklärung durchzulesen! Dies will ich mit dem erwähnten Konzept der reasonable inferences umkehren: Derjenige, der die Daten sammelt, muss in der Bring­schuld sein. Nicht andersrum. Er muss belegen können, dass das, was er tut, richtig, ethisch und vertretbar ist. Es klingt vielleicht kitschig, aber: Mit Big Data kommt big responsibility. Ich muss meine Vertrauens­würdigkeit unter Beweis stellen, wenn ich alle diese Daten sammle und bei mir horte. Ich muss zeigen, dass ich verantwortungs­bewusst bin. Und die Verantwortung nicht nur auf den Endkonsumenten abwälze.

Die Europäische Union hat in den vergangenen Jahren einiges getan, damit die Konsumentin nicht ganz allein dasteht. Seit Mai 2018 ist die Datenschutz-Grundverordnung in Kraft, die DSGVO. Sie soll die Software-Anbieter strenger regulieren und den Endverbraucher besser schützen.
Die DSGVO hat viel geregelt, aber es reicht in einigen Punkten noch nicht. Ich habe mir die Geschichte des Regelwerks und das Gesetz genau angeschaut. Ich bin zu der juristischen Sicht gekommen, dass sich aus der DSGVO kein bindendes Recht ableiten lässt, dass Algorithmen erklärbar sein müssen. Das kann man anders sehen. Selbst dann jedoch ist der Anwendungs­bereich der DSGVO in Bezug auf Algorithmen eng gefasst. Er gilt nur für vollautomatisierte und rechtliche Entscheidungs­systeme. Und das ist ein grosses Problem. (Anmerkung der Redaktion: In der Schweiz gilt voraussichtlich dieselbe Einschränkung, geregelt in Artikel 19 in der Datenschutzrevision, die in der nächsten Legislatur verabschiedet wird.)

Weil die Menschen ohnehin in Zukunft die Empfehlungen von Maschinen übernehmen werden?
Genau. Artikel 22 schreibt vor, dass ein Algorithmus nur unter strengen Voraussetzungen einen automatisierten Entscheid treffen darf, der rechtliche Auswirkungen auf Bürger hat – beispielsweise den eingangs erwähnten verweigerten Kredit. Doch sobald bei der Entscheidung ein Mensch involviert ist, greift das nicht mehr.

Wenn also zum Beispiel eine HR-Verantwortliche einer Bewerberin eine Absage erteilt, die aber ein Algorithmus mindestens stark beeinflusst hat.
Zum Beispiel, ja. Ein Recht auf Erklärung wird bei der DSGVO zwar in der Präambel postuliert, anschliessend aber nicht im rechtlich bindenden Text festgehalten. Mir ist wichtig, dass die Bürger über diese Lücke Bescheid wissen. Die DSGVO ist ein tolles Regelwerk, das viele Fragen beantwortet hat – aber eben nicht alle.

Ihre Kritik an der DSGVO hat in wissenschaftlichen Kreisen eine Kontroverse ausgelöst. Scharf kritisiert haben sie etwa die Rechtsforscher Andrew D. Selbst und Julia Powles. Die beiden stellen sich auf den Standpunkt, dass das Regelwerk ausreiche – jetzt komme es auf die Recht­sprechung an.
Ich bin froh, dass unsere Arbeit einen Dialog eröffnet hat. Das soll die Wissenschaft leisten. Ich verstehe auch, woher die Kritik kommt. Kritikerinnen verweisen meist auf Artikel 15 der DSGVO, der betroffenen Personen ein Auskunfts­recht über die Verarbeitung ihrer Daten einräumt. Ich vertrete die Ansicht, dass das Gesetz nicht griffig genug ist, besonders wenn – wie historisch oft der Fall – Unternehmen auf ihr Geschäfts­geheimnis pochen. Aber natürlich: Ich hoffe, dass die Gerichte den bestehenden Artikel grosszügig interpretieren.

Sie haben eine juristische Ausbildung. Sie forschen aber mit Ethikern und Computer­wissenschaftlerinnen zusammen. Wie muss ich mir diese Zusammenarbeit vorstellen?
Am Anfang steht immer mein Bauch­gefühl. Ich schaue mir ein algorithmisches System an und denke: Irgendwas stimmt hier nicht. Das Programm diskriminiert jemanden, oder es tut nicht, was es eigentlich sollte. Dann schauen wir uns das Problem aus drei verschiedenen Perspektiven an. Ich schaue auf die juristischen Grundlagen. Gibt es Gesetzes­bestimmungen dazu – zum Beispiel das Diskriminierungs­verbot? Oder hat das Gesetz Lücken, die man schliessen müsste? Der Ethiker bringt die philosophische Perspektive ein. Dann gehen wir zur Computer­wissenschaftlerin und sagen: «Hier ist die Theorie, wie könnte man das jetzt technisch umsetzen?»

Bei uns auf der Redaktion redeten besonders in den Anfangs­tagen Programmiererinnen und Journalisten gerne einmal aneinander vorbei. Gibt es das bei Ihnen auch?
Klar. Ein Beispiel: Für ein Paper, das wir 2018 publiziert haben, sassen wir zu dritt am Tisch. Wir sprachen darüber, dass Algorithmen erklärbar und accountable, also rechenschafts­pflichtig, sein sollten. Ich weiss nicht mehr, wie viele Stunden wir da gesessen haben und uns irgendwann nur noch angeschrien haben. Bis wir gemerkt haben, dass wir zwar dasselbe Wort benutzen, aber andere Dinge meinen: Ich will, dass ein Computer «erklärbar» ist. Und der Techniker sagt mir, das gehe nicht, das wäre nur ein Haufen Codezeilen. Also haben wir es explizit gemacht: Okay, was ist, wenn ein Konsument keinen Kredit bekommt? Was sind die Dinge, die diese Person ganz konkret wissen möchte? Dieser Prozess war eine riesige Lern­erfahrung für alle.

Den Streit mit den Computer­wissenschaftlern kann ich mir lebhaft vorstellen. Gibt es auch Spannungs­felder zwischen Recht und Ethik?
Ich sehe die beiden als Schwester­disziplinen, lange Zeit waren sie das auch. Wenn das Recht Lücken hat, muss man sich überlegen, wie es denn idealerweise sein sollte. Und hier ist Ethik sehr wichtig. Nur Ethik ohne Recht hat keine Zähne, Recht ohne Ethik hat keine Seele.

Apropos Ethik: Es wird immer wieder von Forscherinnen kritisiert, dass das Oxford Internet Institute Gelder von Big Tech annimmt. Unter anderem auch von Google. Was sagen Sie zu dieser Kritik?
Ich sehe mich als Hybrid­wissenschaftlerin. Ich habe einen Fuss stark in der Wissenschaft und einen Fuss in der Politik­beratung. Ich verstehe zwar die Argumente der Kritiker, dass man damit das wissenschaftliche Handwerk gefährden könnte. Aber ich sehe das etwas anders. Im Oxford Internet Institute machen wir sehr vertiefte Forschung mit viel Theorie und Diskurs, wir nähern uns der Wahrheit sehr kritisch und detailgetreu. An dieser Stelle könnten wir nun aufhören als Wissenschaftler. Wir haben unsere Arbeit erledigt. Wir wissen dann: Das Recht ist gebrochen worden, oder es enthält Lücken. Statt hier aufzuhören, überlegen wir uns: Wie sollte es denn im Idealfall sein? Und was liesse sich tatsächlich umsetzen? Meine Papers enden immer alle mit konkreten Empfehlungen. Ich finde, dass uns Technologie zusammen­bringen und nicht noch mehr auseinander­driften lassen sollte. Deswegen bringt der Dialog mit politischen Entscheidungs­trägern auch so viel.

Dennoch: Google ist ja eigentlich Ihr wissenschaftlicher Untersuchungs­gegenstand. Finden Sie diese finanzielle Unterstützung durch den Suchmaschinenkonzern nicht problematisch?
Wir sind mit unserem Finanzierungs­modell sehr darum bemüht, dass wir divers aufgestellt sind. Mein jetziges Forschungs­projekt über die reasonable inferences wird von der British Academy finanziert. Wir bekommen vor allem öffentliche Gelder wie vom europäischen Fonds und der britischen Regierung. Und wenn wir mit der Industrie zusammen­arbeiten, dann nicht wegen des Geldes, sondern weil die Zusammen­arbeit Sinn macht. Was kann es beiden Partnern bringen? Eine wichtige Bedingung ist dabei immer, dass Wissenschaftlerinnen unabhängig arbeiten dürfen. Das sieht man auch ganz deutlich an unserer kritischen Forschung im Kampf für verantwortliche künstliche Intelligenz.

Zum Abschluss noch etwas zu Ihrem Heimat­land. Sie stammen aus Österreich, das in jüngster Zeit in netzpolitischen Kreisen von sich reden gemacht hat: mit der Verschiebung der E-Privacy-Richtlinie, die die DSGVO konkretisieren soll, mit der Einführung einer Klarnamenpflicht für das Internet und mit einer Software, die Arbeitslose einstuft und dabei vor allem Frauen benachteiligt.
Ja, zurzeit läuft vielleicht einiges nicht so gut. Aber ich muss dem entgegensetzen, dass Österreich und Deutschland auch Länder sind, die sich europaweit immer sehr stark für den Datenschutz eingesetzt haben. In Österreich gab es die ersten kritischen Stimmen gegen die Vorrats­daten­speicherung, und das Verfassungs­gericht hat sie 2014 auch gekippt. Dieses Daten­schutz­bewusstsein hat mich sehr geprägt. Das Österreichische ist mit mir nach Oxford gereist.