«Drohnen verringern die politischen Kosten eines Krieges»

Waffen, die selbst­ständig denken und ihre Angriffs­ziele finden: Das gibt es nicht erst seit der US-Intervention in Afghanistan, wo zahl­reiche Zivilistinnen durch Drohnen­angriffe ums Leben kamen, sondern seit vielen Jahrzehnten.

Militär­roboter, Unterwasser­drohnen, Kampf­flugzeuge, Flug­abwehr­systeme, automatisierte Panzer: Wie weit dürfen diese Maschinen von sich aus gehen? Braucht es Schranken für die künstliche Intelligenz? Und welche Rolle kommt dem Menschen beim Einsatz solcher Waffensysteme zu?

Darüber verhandeln seit dem 2. Dezember die Mitglieder einer Gruppe von Regierungs­expertinnen (Governmental Group of Experts GGE) des Uno-Waffen­übereinkommens. Sie treffen sich regelmässig in Genf, um die Regulierung dieser sogenannten autonomen Waffen­systeme – kurz: AWS – zu diskutieren. Dabei geht es unter anderem um eine Grundsatz­frage: Braucht es internationale Abkommen für die Regulierung von Killer­drohnen und ähnlichen Waffen?

Ingvild Bode, Professorin für Internationale Beziehungen an der Universität von Süd­dänemark, sagt: Ja, unbedingt. Auch weil diese autonomen Waffen­systeme fehler­anfällig seien. Und nicht so intelligent, wie deren Hersteller behaupten.

Frau Bode, Sie behaupten, der Afghanistan-Krieg habe nur deshalb so lange gedauert, weil Drohnen zum Einsatz kamen. Warum?
Drohnen sind eine asymmetrische, aus Sicht der Anwender blutlose Form der Kriegs­führung. Ein Teil des Militärs kann aus der Ferne agieren. Weniger Soldatinnen sind in Gefahr, weniger Soldaten sterben. Das verringert die politischen Kosten eines Krieges. Die US-Regierung konnte es sich deshalb leisten, militärisch über eine sehr lange Zeit in Afghanistan aktiv zu sein.

Organisationen wie das Internationale Rote Kreuz kritisieren, dass Drohnen die Kriegs­führung «entmenschlichen»: Opfer werden zu Daten­punkten, Soldaten zu passiven Super­visoren einer Maschine.
Genau deshalb ist die Debatte über autonome Waffen­systeme so wichtig. Denn völker­rechtlich gesehen gibt es erschreckend wenig Vorgaben dazu. Es gelten zwar verschiedene Prinzipien, an die sich Staaten halten müssen – etwa dass Waffen verhältnis­mässig eingesetzt werden müssen und Zivilistinnen in einem Konflikt nicht getötet werden dürfen. Was fehlt, ist eine Regel über den Einsatz von künstlicher Intelligenz: Gewalt­anwendung darf nicht alleine von Robotern ausgehen.

Zur Person

Ingvild Bode ist Professorin für internationale Beziehungen an der Universität von Süddänemark. Sie leitet auch ein Forschungs­projekt über autonome Waffen­systeme und internationale Normen. Ihr Haupt­interesse gilt der Analyse von Prozessen des politischen und normativen Wandels, insbesondere in den Bereichen künstliche Intelligenz, Waffen, Anwendung von Gewalt, der Friedens­sicherung durch die Vereinten Nationen und der allgemeinen Dynamik des Uno-Sicherheitsrats.

Bei Militär­robotern denken viele an «Terminator». Laut dem Robotik-Professor Noel Sharkey sind heutige autonome Waffen­systeme aber näher bei einer Wasch­maschine.
Es ist ein Irrtum, dass künstliche Intelligenz der menschlichen Intelligenz überlegen ist. Von ihrer Logik her funktionieren gegenwärtige autonome Waffen­systeme ähnlich wie Staubsauger­roboter: Sensoren geben einen Input, das System führt basierend darauf eine vordefinierte Regel aus. Statt von «autonomen Waffen­systemen» sollte man deshalb besser von «Waffen­systemen mit autonomen Eigenschaften» sprechen. Das wäre präziser, denn die meisten dieser Systeme sind nicht wirklich intelligent.

Aber trotzdem töten sie.
Theoretisch können Waffen­systeme bereits heute ohne jegliche menschliche Intervention Operationen ausführen. So setzt Südkorea in der demilitarisierten Zone etwa einen Roboter mit der Bezeichnung SGR A1 ein. Er wäre fähig, menschliche Ziele dank Sensoren eigen­ständig auszuwählen und zu schiessen. Ob ein Mensch dazwischen­geschaltet wird, ist unklar.

Wie intelligent sind die autonomen Waffen­systeme, die in Afghanistan oder im Nahen Osten zur Anwendung kommen?
Aktuell im Einsatz sind nur automatisierte, vorprogrammierte Waffen­systeme. Waffen, die mit Machine-Learning-Algorithmen operieren, und dabei ihre eigenen Ziel­profile definieren, werden erst noch entwickelt.

Wo steht die Forschung?
Die Perdix-Drohnen des US-Herstellers Modern Technology Solutions sollen nach Angaben der Firma als Kollektiv «lernen». Diese Drohnen operieren im Schwarm, analog zu Vogel­schwärmen. Doch das ist die Ausnahme: Die meisten Drohnen spulen zurzeit immer noch vorprogrammierte Abläufe ab.

Wie präzis werden diese Abläufe eingehalten?
Es passieren oft Fehler. Ein Grund ist die Bildqualität: In Hollywood­filmen wird stets suggeriert, dass die Bediener einer Drohne Auflösungen in HD-Qualität erhalten – sie erkennen die Gesichts­züge des Angriffs­ziels. Doch das ist eine Illusion. Die übermittelten Bilder sind verrauscht und pixelig: Es wird knapp erkennbar, ob es sich um eine Person oder um ein Gebäude handelt. Eine weitere Fehler­quelle sind die Metadaten.

Also die Art und Weise, wie eine Terroristin als Angriffs­ziel erkannt wird?
Genau. Man versucht, Ziele anhand von Daten zu eruieren: Wie bewegt sich ein mögliches Angriffs­ziel im Alltag, was sind die Muster, die typisch für Terroristen sind? Solche Messungen und Analysen sind natürlich fehler­anfällig. Es gab einen bekannten Fall, der vom Magazin «Intercept» aufgedeckt worden ist: Ein Al-Jazeera-Journalist, der aufgrund eines Interviews Kontakt zu al-Qaida hatte, wurde als Terrorist klassifiziert. Und zwar einfach aufgrund seines Bewegungs­musters in Afghanistan. Bei einem weiteren Fall – ein US-Drohnen­angriff im Oktober 2020 in Kabul – wurde die Ziel­person verwechselt: Sie arbeitete für die Militär­organisation, die von den USA unterstützt wird.

Warum passieren solche Fehler?
Oft sind die Daten selbst nicht akkurat. Einmal wurde zum Beispiel eine SIM-Karten-Nummer lokalisiert, die früher im Besitz eines Terroristen war. Ist dies zwei Jahre später immer noch der Fall? Das wurde nie überprüft. Einmal im System drin, bleibt die SIM-Karte vorhanden als Ziel­profil, selbst wenn sie inzwischen von jemand völlig anderem benutzt wird.

Und diese Person wird dann zum Abschuss freigegeben?
Bevor der Abschuss erfolgt, überprüfen Menschen die Entscheidung des autonomen Waffen­systems typischer­weise noch einmal. Der Soldat hat also ein Veto­recht. Dieses Prinzip ist zum Glück von den meisten Staaten bisher nicht bestritten worden. Die explizite rechtliche Verankerung des Konzepts vom human in the loop ist jedoch in mehrfacher Hinsicht umstritten. Denn zum einen wollen das Staaten wie die USA so minimal wie möglich halten. Und zum andern zeigt auch die unabhängige Forschung, wie oft dieses Konzept nicht wirklich gut funktioniert.

Warum funktioniert es nicht gut?
Ein Faktor ist der Zeitdruck. Stellen Sie sich vor, ein Flugzeug taucht unerwartet auf dem Radar auf. Vielleicht handelt es sich um einen Kampfjet, der gerade in den Luftraum eindringt. Vielleicht aber auch um ein ziviles Flugzeug, das seinen Kurs korrigieren musste oder bei dem es eine Änderung im Flugplan gab. Ein autonomes Waffen­system identifiziert dieses Flugzeug nun als potenzielles Ziel. Und nun muss ein menschlicher Überwacher innerhalb von sehr kurzer Zeit entscheiden, was zu tun ist.

Mit teils fatalen Folgen, wie etwa im Januar 2020 im Iran.
Das russische Flugabwehr­system Tor M1, das in Iran eingesetzt wird, hat damals ein Flugzeug der Ukraine Airlines mit einem Militär­objekt verwechselt und zwei Raketen abgefeuert. Die Bediener hatten 10 Sekunden Zeit, um die Daten zu interpretieren – sie entschieden sich für den Abschuss. Alle 176 Passagiere an Bord starben. Hier handelte es sich um ein normales Flugzeug, die Reich­weite des Flugabwehr­systems war sehr gering, deshalb war das Veto-Zeitfenster sehr kurz. Der Vorfall wurde im Nachhinein als «menschlicher Fehler» dargestellt: Die Bediener seien nicht angemessen ausgebildet gewesen. Doch diese Interpretation ist fragwürdig.

Warum?
Wo menschliche auf künstliche Intelligenz trifft, tauchen zwangs­läufig Probleme auf. Idealerweise sollen Maschinen die Arbeit von Menschen einfacher machen: Arbeits­kräfte sollen weniger kognitive Last tragen. Doch dann kommt der Moment, in dem sie plötzlich von passiven Super­visoren zu aktiven Handelnden werden müssen. Dieser Wechsel ist kaum zu bewältigen. Es kommt zum so genannten «Automation bias»: Menschen trauen sich nicht, in solchen Situationen der Maschine zu widersprechen. Dieser Bias ist auch aus der Forschung mit Auto­piloten in der zivilen Luftfahrt bekannt.

John Hawley, ein Forscher aus den USA, hat es so formuliert: «23 Stunden und 59 Minuten Langeweile, gefolgt von einer Minute Panik.»
Wir alle kennen das: Es gibt repetitive Tätigkeiten in unseren Berufen, wir scrollen passiv durch den Informations­strom und plötzlich passiert etwas, was unsere höchste Aufmerksamkeit erfordert und wo wir uns aktiv einbringen müssen. Das ist nichts Unübliches, doch im Krieg steht dabei viel auf dem Spiel – ein Fehler ist gleich­bedeutend mit einem Todes­urteil. Die Bedienerinnen haben eine kognitive Distanz zum Geschehen vor Ort.

Wie lassen sich solche Fehler vermeiden?
Als das Flugabwehr­system US-Patriot irrtümlicher­weise einen britischen und einen amerikanischen Kampfjet abschoss (beim Einmarsch in den Irak 2003, Red.), schlug der von Ihnen erwähnte John Hawley Reformen vor: Das Trainings­system müsste verbessert und die Abläufe zwischen Maschine und Mensch optimiert werden. Man könnte die Bediener zum Beispiel darauf vorbereiten, an den Entscheidungen des Systems genügend zu zweifeln. Doch die Vorschläge wurden nicht umgesetzt.

Eine Umfrage bei 8000 australischen Militär­kadetten hat gezeigt, dass Soldaten grosses Unbehagen gegenüber autonomen Waffen­systemen empfinden. Warum gibt es nicht mehr solche Studien?
Militärs forschen zu diesen Fragen schon, aber Zivil­forscherinnen wie ich haben keinen Zugang dazu. Bei dem australischen Projekt hat die Armee mit einer Universität zusammen­gearbeitet. Das ist die Ausnahme: Viele Militärs haben kein Interesse daran, dass diese Forschung publik wird. Denn die Ergebnisse sind politisch schwer zu ignorieren. Auch diese australische Forschungs­partnerschaft gibt es mittlerweile nicht mehr.

Forschungsarbeiten von NGOs zeigen aber auch, dass man gewisse Dinge technisch justieren kann. Etwa die Benutzer­oberfläche oder die Vorkonfiguration: Über einer stark bevölkerten Umgebung ist kein Abschuss möglich.
Richtig. Man kann auch Parameter einschränken, etwa dass Angriffs­ziele immer nur Objekte sein dürfen, aber keine Menschen. Oder man kann die Umgebung beeinflussen und etwa Warnschilder anbringen so wie bei Landminen, einem der ältesten autonomen Waffen­systeme überhaupt. Man kann autonome Waffen auch so einstellen, dass sie zum Beispiel nur eine Stunde am Tag aktiv sein sollen. Solche Vorkehrungen sind zu begrüssen, weil sie zur Sicherheit beitragen. Doch man darf nicht dem Glauben verfallen, dass sich alle Probleme durch Technik lösen lassen. Dieser technische Solutionismus ist eine sehr spekulative Aussicht auf die Zukunft. Und sie widerspiegelt oft die Position der USA: Kollateral­schäden oder Probleme mit autonomen Waffen gebe es nur wegen des «heutigen Stands der Technik».

Wie stichhaltig ist dieses Narrativ der unaufhaltsamen technischen Entwicklung: Killer­drohnen sind die Zukunft – take it or leave it?
Es gibt keinen «natürlichen Lauf» der Dinge bei solchen Killer­technologien: Alles ist politisch verhandelbar. Unterlässt man dies, so führt das zu einer Aufrüstungs­spirale. Der Westen behauptet: Russland und China machen dies und darum müssen wir das auch tun. Quasi als ob es sich hier um eine Entwicklung handelt, der man nicht widerstehen kann. Das ist fatal.

Was erwarten Sie von den Gesprächen in Genf?
Die Staaten diskutieren seit dem 2. Dezember darüber, ob sie weiter über autonome Waffen­systeme diskutieren sollen. Das ist löblich, aber nicht genug. Die nächste Aufgabe wäre, eine Art von Regulierung zu schaffen.

Wie stehen die Chancen der Gespräche?
Hier wird es schwierig. Kein Staat sagt, menschliche Kontrolle brauche es nicht. Aber alle Staaten haben unterschiedliche Vorstellungen davon, wie die Qualität dieser menschlichen Kontrolle aussehen soll.

Befürworter von autonomen Waffen­systemen sind etwa die USA und Australien. Sie sagen, autonome Waffen­systeme würden die Intention eines Kommandanten mit «chirurgischer Präzision» ausführen und seien deshalb effizient.
Autonome Waffen­systeme als «Verlängerung des menschlichen Gehirns» zu sehen – als Instrument, das man als Mensch einfach nutzen kann, um Ziele präziser zu erfassen – greift zu kurz. Denn die Interaktion von Mensch und Maschine ist von vielen Fehlern begleitet, wie wir bereits besprochen haben. Es braucht neben den völker­rechtlichen Regeln – der Mensch muss stets die Kontrolle über die Gewalt­anwendung bewahren – deshalb auch technische und prozedurale Normen dazu, wie solche Waffen angewendet werden.

Genügt es nicht, rechtlich festzulegen, dass der Mensch auf jeden Fall verantwortlich ist für die Folgen des von ihm eingesetzten Kriegsgeräts?
Sicher: Im Völker­recht muss schwarz auf weiss stehen, dass menschliche Kontrolle und menschliche Beteiligung beim Einsatz von autonomen Waffen­systemen zwingend sind. Doch darüber hinaus braucht es auch Bestimmungen darüber, wie diese Kontrolle genau aussehen und mit ethischen Bedingungen umgeben werden soll. Man könnte etwa definieren: Menschen dürfen nicht als Angriffs­ziel programmiert werden, nur Objekte.

Werden sich die Staaten jemals auf so etwas einigen?
Kaum. Bei dieser Konferenz wird im Konsens entschieden. Doch Länder wie die USA, Grossbritannien, Australien, Japan und Russland sagen alle: Wir brauchen kein neues Völkerrecht.

Sie wollen einfach nur weiter­debattieren?
Ja, das ist nämlich das Bequemste. Allerdings muss man auch sagen: In den vergangenen vier bis fünf Jahren gab es durchaus Fortschritte. Viele Staaten machen sich produktive Gedanken über autonome Waffensysteme.

Welche Staaten sind das?
In der Europäischen Union vor allem Belgien und Österreich. Aber viel relevanter ist der globale Süden: Chile, Brasilien, Mexiko, Peru und die Philippinen setzen sich seit Jahren für ein neues Völker­recht ein. Es kommt hier zu einer Partnerschaft mit der Zivil­gesellschaft, was bemerkens­wert ist. Normaler­weise ist es umgekehrt, die Zivil­gesellschaft hat engere Partnerschaften mit dem Westen.

Wie erklärt sich das?
Viele Industrie­länder sind stark an der Entwicklung von autonomen Waffen­systemen interessiert. Deshalb sind sie nicht bereit, sich kritisch zu äussern. Viele Staaten des globalen Südens haben dagegen eine Historie der Intervention. Es war auffällig, wie sich etwa Pakistan in der Frühphase der Gespräche gegen den Einsatz von Drohnen ausgesprochen hat.

Auch Europa ist als Zulieferer an autonomen Waffen­systemen beteiligt. Etwa der US-Stützpunkt Ramstein in Deutschland, der mit Glasfaser­kabeln das Netzwerk für den Einsatz dieser Waffen ermöglicht.
In Genf ist das kein Thema. Die dortige Debatte ist zwar sehr wichtig, doch sie hat teilweise bizarren Zukunfts­charakter. Es wird stark vom heutigen Geschehen abgegrenzt – man tut so, als ob autonome Waffen­systeme ein Problem der Zukunft seien. Dabei sind sie schon längst im Einsatz. Es wäre wünschens­wert, dass dies auch im politischen Diskurs ankommen würde.