Ich habe berufliche Erfahrung mit der Erstellung von maschinelles Lernen Systemen. Es gibt verschiedene Typen, aber hier sprechen wir von prädiktiven Systemen, also diejenigen die versuchen vorauszusagen, z.B. ob eine Banktransaktion legitim oder missbräuchlich ist.

Um ein erfolgreiches prädiktives ML-System zu bauen braucht man (kurz gesagt):

1. Eine klar definierte und messbare Erfolgsfunktion: Wir sollten prüfen können ob das vom System gelieferten Ergebnis korrekt ist oder nicht.

2. Daten die (a) das gesamte Anwendungsbereich des Systems abdecken und eine repräsentative Distribution darstellen und (b) relevante Faktoren beinhalten die einen Zusammenhang haben mit dem vorherauszusagenden Ergebnis. Die auswahl der Faktoren ist häufig eher eine Kunst die je nach Problemgebiet verschieden ist. Um erfolgreich zu Lernen braucht es nicht/wenig miteinander korrelierte Faktoren (sonst bringen sie keine zusätzliche Information).

3. Ein mathematisches Modell mit unbekannten Gewichten für die Faktoren welche durch "trainieren" "gelernt" (approximiert) werden können.

4. Validation die misst die Leistung des Modells auf Daten, die nicht für das Training angewendet wurden. Hier muss man besonders darauf achten dass die Leistung auch in speziellen Bereichen stimmt.

Bezogen auf Predictive Policing:

1. Die messbare Erfolgsfunktion fehlt, weil verhindern dass die Taten stattfinden der Punkt ist, und dadurch kann man nicht lernen ob die Prädiktion richtig war oder nicht.

2. Die Daten zu sammeln ist sehr schwierig weil man praktisch nicht alle Bürgern ausspähen kann (nicht jetzt zumindest...) und die Faktoren sind sehr schwierig auszuwählen. Der Besitz einer Waffe ist gerade ein treffendes Beispiel. Es ist relevant für Deutschland aber nicht für die Schweiz weil die gesellschaftliche Normen anders sind ((a) die Distribution ist nicht die Gleiche). Was soll man sonst verwenden? Herkunftsland - ist ein Ausländer straffälliger als ein Schweizer? Bildungsgrad - ist ein Azubi straffälliger als ein Dozent? Bei Menschen sind all diese Faktoren eng miteinander verflochten und in ständiger Wandlung (der Ausländer kann sich einbürgern lassen, der Azubi kann später einen Doktor machen)... Also im Fall von (b), sind sie nicht "sauber" und ihre Anzahl ist riesig.

3. Wenn man so viele Faktoren hat, braucht man dementsprechend viele Daten um erfolgreich lernen zu können. Das würde bedeuten dass wir ein ständig-lernendes System brauchen, die je nach Region (was genau?) anders ist, der Zugang zu "allen" daten hat. Das ist nicht weniger als das Leben eines Menschen vorhersagen zu können.

4. Auch mit den simpleren Models die wir bereits haben, wenn wir sie nicht mit einer repräsentativen Distribution validieren, werden sie einfach lernen was wir eingeben. Und wenn wir ihre Ergebnisse brauchen um Menschen zu verhaften, schaffen wir ein Zyklus weil die Verhaftungen später als neue Trainingsdaten dienen werden. Dadurch riskieren wir die Biases noch zu verstärken und sogar eine selbsterfüllende Prophezeiung.

Ich fürchte dass wir dadurch, diejenigen die am Rande sind noch stärker beobachten und unterdrücken und kriminalisieren. Entscheidend ist aber die Art der Intervention - werden wir diese Menschen streng beobachten, kontrollieren und diskriminieren oder für sie Perspektiven schaffen, Hilfe bieten?

Und wenn wir einen Schritt zurück machen, können wir uns fragen - was ist Kriminalität überhaupt? Zählen wir nur Raub und Mord dazu? Ist Geldwäscherei zu berücksichtigen? Umweltverschmutzung? Korruption? Ist es in Ordnung dieser Entscheid privaten Firmen zu überlassen? Und was wenn sie keine Daten zu einer Kategorie sammeln können/wollen?

Ich finde dass es Transparenz absolut notwendig ist und denke dass wenn wir solche Systeme einführen, dann sollten wir auch genau verstehen können wie sie funktionieren und sie ständig beobachten.

Beim Lesen des Artikels fühlte ich mich stark an die vielen Beispiele erinnert die Cathy O'Neil im Buch Weapons of Math Destruction aufgeführt hat.

Sie beschreibt diverse Situationen in denen Entscheidungen von proprietären Algorithmen gefällt werden. Zum Beispiel den Fall einer Lehrerin aus New York der gekündigt wurde, weil die Lehrpersonenbewertungssoftware ihre Leistung (fälschlich) als ungenügend einstufte, und dass weder Einsprachen, noch Unterstützung durch andere LP etwas daran ändern konnten. Nicht einmal der genaue Grund der Kündigung konnte sie erfahren, da der Algorithmus in der Software welche die negative Bewertung ausspuckte ein Geschäftsgeheimnis des Softwareherstellers ist.

Ich denke, es wäre auch in der Schweiz sinnvoll über eine generelle Regulierung in Bezug auf den Einsatz von Algorithmen im Bereich Entscheidungsfindung nachzudenken. Wie O'Neil in ihrem Buch darstellt, kommen solche Systeme in ganz vielen Situationen schon heute zum Einsatz und führen dazu, dass jegliche Transparenz und Nachvollziehbarkeit in Bezug auf die Entscheidungsfindung verunmöglicht wird, weil die eingesetzten Algorithmen weder bekannt noch validiert sind.

Warum war die Fichenaffäre Ende 80-er noch ein waschechter Skandal, während heute die Gesellschaft die absolute Sicherheit derart priorisiert, dass sie sich eine totale Überwachung geradezu wünscht oder diese zumindest akzeptieren wird?

Da stehen mir die Haare zu Berge. Solche Angaben sind absolut essentiel. Wobei der "Algorithmus" ja wahrscheinlich ein machine learning Model ist. Und da ist der ganze Prozess wichtig: Wie und wo wurden die Daten gesammelt? Wie wurde sie bereinigt? Wie wurde das Modell trainiert? Da baut man ganz schnell unbewusst einen bias ein. Ein kleines Beispiel wie das bei der häuslichen Gewalt passieren könnte: Wegen kulturellem Stigma (andere Religionen) oder wegen Angst vor der Polizei (Asylsuchende bspw.) wird häusliche Gewalt nicht gleich häufig bei der Polizei gemeldet, dadurch tauchen diese Fälle auch nicht in der Statistik auf. Wenn man dann darauf ein Modell trainiert kommt das ganz schnell zu einem selbstverstärkendem Effekt: Angesetzt wird wo es die Statistik verbessert, nicht wo wirklich Fälle auftreten. Vernachlässigte Gruppen werden noch mehr vernachlässigt.

PS: Ich habe ja hier schon mal Werbung gemacht für das Buch "Data Feminism", aber in diesem Kontext muss ich einfach nochmals darauf hinweisen. Da geht's drum wie Data Science verschieden Gruppen nützt oder eben schadet, und wie man diese Techniken einsetzt um unterrepräsentierte Gruppen zu helfen. Gratis online: https://data-feminism.mitpress.mit.edu/

Vielen Dank für diesen wichtigen Beitrag.
Nur der "rechtsfreie Raum" scheint mir euphemistisch, illegal wäre treffender. Schliesslich behautet die Schweiz, ein Rechtsstaat zu sein: Grund und Grenze des staatlichen Handelns ist das Recht.

Ist das Referendum gegen das Antiterrorgesetz schon durch? Oder noch gar nicht ergriffen?

Grad die Einstufung oder die Fichierung ohne, dass Betroffene darüber informiert werden finde ich sehr störend.
Und dass man indirekt über solche Systeme gelenkt wird, kann ich nachvollziehen. ZB Risikobewertungen in der Entwicklung sind auch so: Die sind auch nicht absolut, aber weil eine Zahl da ist, muss man sich dann auch rechtfertigen, wenn man davon abweicht. Und das ist unbequem, also wird es vermieden.

Ich will nicht zu picky sein, finde es schon interessant, dass Minority Report nicht eine 20-jährige Filmidee ist... Sondern eine Geschichte von 1956 von Philip K. Dick, der z.B. auch die Vorlage für Blade Runner geschrieben hat.

Menschen sind ne komische Erfindung. Einerseits wollen sie Kontrolle über möglichst alles, andererseits demokratische Grundrechte. De Föifer und 's Weggli. Drum hab ich auch schon oft über die SVP lachen müssen, sooft sie nämlich uns Freiheit und Sicherheit zugleich versprach. Alles ist eigentlich verständlich, wenn man sich selbst ein wenig kennt. It's the system, stupid. Beim Überbau anfangen stellt uns jedesmal vor ein Dilemma.

Verbrecher und verbrecherische Organisationen nutzen die Möglichkeiten der Digitalisierung intensiv für ihre Untaten (z.B. Darknet, Verschlüsselungstechniken, weltweite Vernetzung u.ä.m.). Da ist es nur folgerichtig, wenn sich auch jene, die das Verbrechen bekämpfen (müssen), die Mittel der modernen Technologie nutzen. Es ist ein gegenseitiges Sich-Hochschaukeln, und dieser Prozess wird unaufhaltsam weitergetrieben. Wir werden uns wohl oder übel daran gewöhnen müssen, dass die Polizei KI-basierte Software zur Verbrechenbekämpfung einsetzt.
Umso wichtiger ist es, dass geordnete Verhältnisse geschaffen werden, sprich, ein gesetzlicher Rahmen, verbindliche Regeln und kantonsübergreifende Zusammenarbeit etabliert weden. Föderalismus ist hier so fehl am Platz, wie bei der Coronabekämfung (Tschuldigung für den Abstecher!). Fazit: die Aufarbeitung dieses wichtigen Themas muss Sache des Bundes werden, und zwar rasch. Der Auftrag an unsere hervorragenden technischen Hochschulen, eine schweizweit gültige Software zu entwickeln, sollte (muss) sofort erfolgen.

Sehr guter Artikel zu einem wichtigen Thema, danke!
Welche Grenzen müssen wir bei der künstlichen Intelligenz ziehen? Das ist eine politische und philosophische Frage, welche dringend und breit diskutiert werden muss. KI hat nämlich kaum etwas mit Verstand und Vernunft zu tun.
Dazu lesenswert: „Künstliche Intelligenz und der Sinn des Lebens“ von R.D. Precht.

Und dazu jetzt (nochmal) den Artikel Cop Culture von Brigitte Hürlimann lesen. Achtung, kann zu gröberem Unwohlsein führen, und zum Nachdenken über Begriffe wie Rechtsstaat und Schweiz in dieser Kombination.

Heikel in diesem Zusammenhang ist auch, dass wir dazu tendieren, Computern blind zu vertrauen. Gerade heute sah ich wieder eine entsprechende Studie in meinem Twitter-Feed. [1] Das ist nicht nur bei der Polizei heikel, sondern auch, wenn Banken mittels Algorithmen über eine Kreditvergabe entscheiden oder wenn Plattformen wie Google automatisierte Uploadfilter anwenden. Es gibt hier mehr "false positives", also zu unrecht gesperrte Inhalte, als man denkt. Wir dürfen ruhig etwas skeptischer sein, wenn uns "der Computer" etwas sagt.

[1] https://twitter.com/DegenRolf/statu…4660587522

Danke @Adrienne Fichter für den Artikel. Von ihnen kommt in der Regel immer etwas, was ich sehr spannend finde.
Dank auch an die Autoren der Studie, sehr wichtige Arbeit.

Besten Dank für den Artikel. Ein wirklich sensibles Feld. Das gibt uns schon einen Vorgeschmack darauf, wie künftig "terroristische Gefährder" ermittelt werden könnten.

Vielleicht ist das ein bisschen quer, aber ich bin davon überzeugt, dass es vor allem einen gesunden Menschenverstand von Polizeibeamten braucht. Wenn dieser vorhanden ist, kann eine solche Software eine wertvolle, ergänzende Hilfe sein. Transparenz ist wichtig und richtig, aber sie kann sehr schnell einen neuen bürokratischen Wasserkopf generieren. Es geht schlicht um Vertrauen. Und die Polizei ist als Institution dafür verantwortlich, das sie durch ihre täglichen Handlungen unser Vertrauen erhält bzw. wieder gwinnt. Dass die Schweiz ein bisschen (zu?) viel über Legitimationen spricht, sehen wir an der jetzigen Corona-Situation.