Algorithmen sind Meinungen, in Codes eingebettet. Sie sind nicht objektiv.

Michel Rebosura, Sie schreiben ja schon länger und denken sehr aktiv mit. Ihre Beiträge fand ich immer wieder echt gut (d.h. mit Mehrwert) - es freut mich deshalb nun zu lesen, dass Sie Ratsmitglied geworden sind!

Terms of Service; Didn’t Read is an addon that aims to fix how “I have read and agree to the Terms” is the biggest lie on the web by grading websites based on their terms of service agreements and privacy policies. It also gives short summaries of those agreements. The analysis and ratings are done transparently by a community of reviewers.

Vielen Dank, hab ich gleich installiert. Schade wurde die republik.ch nicht evaluiert, wir würden hoffentlich in der "grünen" Klasse landen. :)

Ein paar hab ich noch :-)

• Das Prinzip der "was wäre gewesen wenn"-Erklärungen ist ja relativ einleuchtend, aber was hat das mit dem Einsatz von Algorithmen zu tun? Ich würde ja heute schon die Erwartung haben, dass ich bei einem negativen Kreditentscheid von meiner Bank erklärt bekomme, warum er negativ ausgefallen ist (und eine Antwort wie "die Bonitätsprüfung ist negativ ausgefallen" nicht ausreicht). Dass sich hier private wie auch öffentliche Stellen in Zukunft nicht hinter "der Computer hat gesagt" verstecken dürften, ist dann nur die logische Folgerung.

• Was meines Erachtens bei den "braunen Schuhen" dazugehört ist, dass diese ja unter Umständen ein Proxy-Wert für etwas anderes sein können (also wenn zum Beispiel im ursprünglichen Datenset mit welchem der Algorithmus trainiert wurde alle säumigen Schuldner braune Schuhe hatten wird der trainierte Algorithmus von braunen Schuhe auf schlechte Schuldner schliessen). Wie man solche Erkenntnisse im Nachhinein erheben (und kommunizieren) will, ist mir auf den ersten Blick etwas schleierhaft (defacto invalidiert es ja den eingesetzten Algorithmus)

• Was im Interview etwas zu kurz kommt, ist die Big Data-Problematik. Solange nur eine Handvoll Parameter relevant sind, lässt sich die Entscheidung eines Algorithmus relativ gut erklären. Wenn es "dank" Big Data aber deutlich mehr sind, wird das irgendwann mal ziemlich unübersichtlich und intransparent. Sofern man dies nicht als Grund gegen den Einsatz solcher Methoden sehen will: welche konkreten Möglichkeiten gibt es hier, solche auf vielen Parametern beruhenden Entscheide zu begründen?

• Diskriminierung ist ein breites Feld, die Antwort greift hier etwas zu kurz, gibt aber wohl die aktuelle Rechtslage wieder. Meines Erachtens geht ja primär darum, dass Menschen keine Nachteile für etwas erleiden was mit der Sache an sich nichts zu tun (kein Kredit wegen brauner Schuhe, schlechtes Social Scoring weil Videogamer, kein Zugang zu Bildung weil nicht-weisse Hautfarbe etc.). Womit wir wieder bei explizit oder implizit ausgewählten Proxies wären (das wäre glaubs mal nen eigenen Artikel wert)

• «Okay, aber was muss nun der Techniker am kommenden Montag genau ändern? An welchen Parametern müssen wir schrauben?» -> darüber hätte ich im Interview auch gerne mehr gelesen :-)

Guten Abend Herr W.

Danke für Ihr Feedback! Was die begrifflichen Unschärfen angeht, da gebe ich Ihnen recht. Wir hätten da noch mehr zwischen deterministischen Auswertungen, Machine Learning, supervised, unsupervised Learning unterscheiden sollen. Dies haben wir auch in den Folgefragen gemacht, ich habe diese aber der Verständlichkeit halber weggekürzt, um breiter zu diskutieren (sonst wäre das Interview noch viel länger geworden).

(Ich bin nicht sicher, wo genau Ihrer Meinung der Begriff Algorithmen falsch eingesetzt wurde, aber mein Kollege Thomas Preusse hat zusammen mit der Wissenschaftsjournalistin Hanna Wick einen sehr aufschlussreichen Dreiteiler publiziert zu diesem Thema: https://www.republik.ch/2018/06/26/…e-blackbox)

Ich finde jedoch Sie tun Frau Wachter unrecht was das technische Verständnis angeht. Momentan wird ja auch in der EU die Frage heftig diskutiert, wie erklärbar Software sein muss. Dabei werden oft unrealistische Maximalanforderungen an Nachvollziehbarkeit proklamiert, was vor allem Programmierer und Public Interest Technologen sehr nervt. Denn es zeugt von mangelnedem Verständnis seitens der Politik und Ethik. Und vieles, was Software tut, ist zu einem bestimmten Zeitpunkt nicht mehr erklärbar. Das hat Frau Wachter ziemlich klargemacht.

Bei den genannten Beispielen ging es keineswegs nur um automatisierte Auswertungen, wie Sie behaupten. Nehmen wir das HR-Beispiel und erweitern das ein wenig: die Software hat das Ziel, "selbständig" BewerberInnen auszuwählen, die erfolreich aufgestiegen sind in ihrer jetzigen beruflichen Station. Die Software definiert Erfolg über lückenlose Beschäftigungsdauer und Promotion. Wie die Software zu diesem Zielwert kommt, wissen wir nicht. Sie wertet aus, erkennt Muster und sortiert dann irgendwann junge Mütter aus und wählt in jedem Fall Männer aus, die einen hohen Militärgrad haben auch wenn diese nicht befördert worden sind. Dass jetzt Mütter auch ohne Anspruchnahme von Mutterschaftsurlaub quasi von Anfang aussortiert werden werden, ist die Problematik, die Wachter mit den "reasonable inferences" diskutiert. Welche Datenmengen, mit welchen Lernmechanismen und mit welchen Proxies-Kollaterialschäden müssen erklärbar sein? Wie ethisch vertretbar muss eine solche HR-Software ausgestaltet sein, dass sie auf den Markt kommen darf?

100% erklärbare Algorithmen wird es aufgrund dieser inhärenten Logiken und verschiedenen Arten von Software-Entwicklung nicht geben. Insofern müssen wir - das postuliert Wachter als pragmatischen Mittelweg- einen anderen Weg geben, indem Variablen dem Konsumenten bekanntgegeben werden, wie bei deterministischen Auswertungen, etwa das Kreditvergabe-Beispiel (counterfactual explanations). Oder aber gewisse Systeme sollten gar nicht erst zum Einsatz kommen in gewissen Bereichen, wenn sie diskrimninierende Schlussfolgerungen anstellt, wie etwa das HR-Beispiel, das Mütter von Vorneherein aussortiert.
Ich denke Wachter deckt mit den Konzepten einige Beispiele ab, natürlich werden diese nicht für jede Form von Digitalilsierung geeignet sein (Automatisierung, Big Data, Machine Learning etc.), weil die Entscheidungsgrundlagen nicht klar benennbar sind und nicht alles wird legiferierbar sein.

Und klar was Sie angesprochen haben wird auch in der Algorithmenethik-Debatte diskutiert, etwa dass Trainingsdaten keinen Bias haben sollten. Doch das gehört nicht in die Erweiterung eines Personenrechtswerks (DSGVO Artikel 13-15 bezieht sich auf die betroffene Person selbst in Sachen Datentransparenz), hier wären in selbstregulierender Industriekodex oder Regulierung über Unternehmengesetzgebung zielführender.

Oder glauben Sie es hilft der Bürgerin, wenn sie ein Recht auf Herausgabe der Trainingsdaten hat?:) Genau diese Überfrachtung/Überforderung gilt es ja auch nach Meinung von Wachter zu verhindern.