Lorenzo Maria Pacini
Je mehr die Technologie den Handelnden von den Folgen seines Handelns entfernt, desto grösser muss seine Verantwortung werden.
Vom Menschen zum Zielobjekt
Was wird aus der Menschlichkeit, wenn die Technologie in der Lage ist, Menschen zu erkennen, zu klassifizieren, zu verfolgen und schliesslich zu töten, ohne dass diejenigen, die die Angriffe ausführen, sie jemals gesehen haben? Mein Freund Mohammad Reza Dehshiri stellte genau diese Frage, und seine Antwort ist eindringlich. Die Gefahr, schreibt er, sei nicht die künstliche Intelligenz, sondern die künstliche Unmenschlichkeit – also die Möglichkeit, dass Maschinen immer präziser werden, während Menschen sich immer weniger für das verantwortlich fühlen, was diese Maschinen in ihrem Namen tun.
Mit diesem Artikel beginne ich eine Serie, die Dehshiris Analyse als Ausgangspunkt nimmt und versucht, sie weiterzuführen. Wenn das Problem die „künstliche Unmenschlichkeit“ ist, kann die Antwort nicht in einer „ethischeren“ KI liegen, als wäre Ethik ein Modul, das man nachträglich in ein bereits entwickeltes System einbauen könnte. Wir müssen uns eine Kategorie zurückerobern, die durch den technologischen Fachjargon nahezu unaussprechlich geworden ist: die menschliche Intelligenz. Dabei darf sie nicht als ein Überbleibsel verstanden werden, das inmitten der Komplexität der Automatisierung geschützt werden muss, sondern als eine Form des Wissens mit eigenen, unverwechselbaren Eigenschaften, die durch keine noch so grosse Steigerung der Rechenleistung ersetzt werden kann.
Ich werde sie als Human Intelligence bezeichnen, und die Doppeldeutigkeit ist beabsichtigt. Im Fachjargon der Nachrichtendienste bezeichnet HUMINT die älteste der nachrichtendienstlichen Disziplinen: jene, die sich auf Menschen, Quellen, Sprachen und den geduldigen Aufenthalt an bestimmten Orten stützt. In der philosophischen Terminologie bezeichnet der Ausdruck die Fähigkeit des Verstehens. Die These dieses ersten Beitrags lautet, dass diese beiden Bedeutungen heute zusammenlaufen und dass ihre Verbindung geopolitische Auswirkungen hat, die weit über die Debatte über die Ethik von Waffensystemen hinausgehen.
Wir können die operative Kette der modernen Kriegsführung in sieben Phasen beschreiben: erkennen, identifizieren, klassifizieren, vorhersagen, priorisieren, als Ziel auswählen und angreifen. Jedes Glied dieser Kette kann technisch verfeinert werden, ohne dass die Abfolge als Ganzes dadurch moralisch besser wird. Das daraus entstehende Phänomen wird als „Datafizierung des menschlichen Lebens“ bezeichnet: Der Einzelne wird auf eine Identität, einen Standort, ein Verhaltensmuster und einen Bedrohungswert reduziert.
Das ist keine Abstraktion. Im April 2024 beschrieb eine Untersuchung von Yuval Abraham für +972 Magazine und Local Call das System „Lavender“, das von den israelischen Streitkräften im Gazastreifen eingesetzt wurde, um Zehntausenden Menschen eine Wahrscheinlichkeit für ihre Zugehörigkeit zu bewaffneten Gruppen zuzuweisen. Laut internen Quellen, die in der Untersuchung zitiert wurden, beschränkte sich die menschliche Überprüfung jedes Namens häufig auf nicht mehr als zwanzig Sekunden – die Zeit, die benötigt wurde, um festzustellen, ob die Zielperson männlich war. Die israelischen Streitkräfte haben diese Darstellung bestritten und Lavender als eine Datenbank beschrieben, die Analysten unterstützen soll. Selbst wenn man jedoch die offizielle Version akzeptiert, bleibt der entscheidende Punkt bestehen: Ein menschlicher Bediener war anwesend, und seine Anwesenheit reichte nicht aus, um die Empfehlung des Systems in ein eigenständiges Urteil zu verwandeln.
Die kognitive Psychologie hat einen Namen für dieses Phänomen: Automatisierungsverzerrung (Automation Bias). Gemeint ist die Tendenz von Menschen, die mit einem automatisierten System arbeiten, dessen Empfehlungen als Ersatz für ihre eigene Überprüfung zu betrachten und nicht nach Informationen zu suchen, die diesen Empfehlungen widersprechen könnten. Bereits 1976 unterschied Joseph Weizenbaum – der eines der ersten Gesprächsprogramme der Geschichte entwickelt hatte – zwischen der Fähigkeit zu rechnen und der Fähigkeit zu urteilen. Er argumentierte, dass es Aufgaben gibt, die einem Computer nicht anvertraut werden sollten, selbst wenn dieser in der Lage wäre, sie auszuführen. Ein halbes Jahrhundert später ist diese Unterscheidung noch dringlicher geworden. Berechnungen arbeiten mit dem, was bereits in Daten übersetzt wurde. Das Urteilsvermögen muss entscheiden, ob diese Übersetzung der Wirklichkeit gerecht geworden ist.
Dehshiri bringt den Punkt mit vier Unterscheidungen auf den Punkt: Technische Präzision ist nicht ethische Präzision; Genauigkeit ist nicht Gerechtigkeit; Automatisierung ist nicht Verantwortung; technologische Überlegenheit ist nicht moralische Überlegenheit. Ich würde eine fünfte Unterscheidung erkenntnistheoretischer Natur hinzufügen, von der die anderen abhängen: Korrelation ist nicht Verstehen. Ein System des maschinellen Lernens erkennt statistische Muster in einem Datensatz. Es weiss nicht, was eine Schule ist, weil es nicht weiss, was ein Kind ist, und es weiss nicht einmal, dass es dies nicht weiss.
Der Iraner führt eine interessante Fallstudie an: Am 28. Februar 2026 wurde in den frühen Stunden des Krieges die Grundschule Shajareh Tayyebeh in Minab in der Provinz Hormozgan während der Unterrichtszeit mehrfach getroffen. Die von den iranischen Behörden genannten Zahlen reichen von 150 bis 175 Todesopfern, von denen die überwiegende Mehrheit Mädchen waren, dazu Dutzende Lehrkräfte und einige Eltern; der Bezirksstaatsanwalt bezifferte die endgültige Zahl der Todesopfer auf 156. Washington hat seine Verantwortung nie direkt eingeräumt und auch die Ergebnisse der Untersuchung des Pentagons nicht veröffentlicht. Amnesty International bezeichnete den Vorfall im günstigsten Fall als schwerwiegendes Versagen der Nachrichtendienste.
Es gibt ein Detail, das durch Satellitenbilder bekannt wurde und die Analyse von der moralischen auf die sachliche Ebene verlagert. Westlichen Medien zufolge stand die Schule neben einem Marinestützpunkt der Revolutionsgarden und war früher Teil dieses Stützpunkts gewesen. Zu den Erklärungen, die in US-Kreisen kursieren, gehört die Möglichkeit veralteter Zieldaten. Sollte sich diese Hypothese bestätigen, wäre Minab kein Fall, in dem eine Maschine einen Fehler gemacht hat, sondern ein Fall, in dem eine Datenbank nicht mehr der Wirklichkeit entsprach. Das Gebäude hatte sich verändert. Die Daten nicht.
Kein noch so ausgefeilter Klassifizierungsalgorithmus kann erkennen, dass ein ehemaliges Militärgebäude inzwischen eine Schule geworden ist, wenn niemand diese Veränderung erfasst hat. Jeder, der in Minab lebte, wusste das: die Eltern, die ihre Töchter jeden Morgen zur Schule brachten, der Schulbusfahrer, die Lehrer. Genau diese Art von Wissen wird durch HUMINT gesammelt und von der Kriegsführung aus der Ferne zunehmend als überflüssig betrachtet, weil sie langsam, kostspielig und schwer in grossem Massstab einsetzbar ist. Auf Grundlage öffentlich zugänglicher Quellen erscheint eine Verantwortung der USA sehr wahrscheinlich, während die genauen Umstände unklar bleiben und die Gewissheit in dieser Frage gering ist: ein Datenbankfehler, ein Klassifizierungsfehler oder die bewusste Inkaufnahme des Risikos. Alle drei Hypothesen führen jedoch zu derselben Frage: Wer hat vor dem Angriff überprüft, ob sich Menschen in diesem Gebäude befanden?
Über „Human-in-the-Loop“ hinaus
Die internationale Debatte hat sich lange mit dem Prinzip des „Human-in-the-Loop“ begnügt, bei dem ein Mensch Teil des Entscheidungsprozesses ist.
Diese Formel reicht nicht aus: Ein Mensch kann zwar Teil des Entscheidungsprozesses sein, aber dennoch lediglich die Empfehlung des Algorithmus abnicken. Er schlägt vor, sie durch ein anspruchsvolleres Prinzip zu ersetzen, das er „Humanity-in-Command“ nennt: die tatsächliche Fähigkeit, den automatisierten Prozess zu hinterfragen, abzulehnen, zu übersteuern und anzuhalten.
Die Geschichte des Kalten Krieges bietet zwei Beispiele, die verdeutlichen, was dies in der Praxis bedeutet. Am 26. September 1983 meldete das sowjetische Frühwarnsystem Oko den Start von fünf ballistischen Raketen aus den Vereinigten Staaten. Der diensthabende Offizier Stanislaw Petrow stufte den Alarm als Fehlalarm ein und meldete ihn nicht als laufenden Angriff weiter, da er davon ausging, dass ein amerikanischer Erstschlag niemals nur aus fünf Raketen bestehen würde. Er hatte recht: Der Satellit hatte die Reflexion der Sonne auf den Wolken mit Raketenstarts verwechselt. Einundzwanzig Jahre zuvor, am 27. Oktober 1962, stand das sowjetische U-Boot B-59 in der Karibik, isoliert und unter Beschuss durch Signalwasserbomben, kurz davor, einen nuklear bestückten Torpedo abzufeuern. Für den Abschuss war die Zustimmung der drei ranghöchsten Offiziere an Bord erforderlich, und Wassili Archipow verweigerte diese Zustimmung.
In keinem der beiden Fälle bestätigte der Mensch eine Empfehlung des Systems. Er widersprach ihr. Und er tat dies nicht, weil er über mehr Daten verfügte: Tatsächlich waren die Daten das Problem. Er tat es, weil er sich eine Frage stellen konnte, die ihm kein Verfahren vorschrieb, nämlich ob das, was er sah, im Zusammenhang mit allem anderen, was er über die Welt wusste, sinnvoll erschien. Petrow war mit der amerikanischen Nukleardoktrin vertraut; Archipow kannte den Unterschied zwischen einem Angriff und einer Drohung. Diese Fähigkeit, ein Signal mit dem Gesamtbild und ein Detail mit dem Plausiblen abzugleichen, nenne ich menschliche Intelligenz. Es ist bemerkenswert, dass die Dena von einem U-Boot versenkt wurde. Wir wissen nicht, welche Fragen ihren Offizieren gestellt wurden und welchen Spielraum sie für eigene Entscheidungen hatten.
Dieser Vorschlag bedarf einer Präzisierung, da die Gefahr besteht, ihn auf einen allgemeinen humanistischen Appell zu reduzieren. Menschliche Intelligenz, wie ich sie verstehe, ist auf drei unterschiedlichen Ebenen aufgebaut, von denen jede eine strukturelle – und nicht nur eine vorübergehende – Grenze der künstlichen Intelligenz markiert.
Die erste Ebene ist erkenntnistheoretischer Natur. Die scholastische Tradition unterschied zwischen intellectus, dem Akt, durch den der Geist eine Wahrheit unmittelbar erfasst, und ratio, dem schlussfolgernden Prozess, bei dem man von einem Element zum nächsten gelangt. Für Thomas von Aquin (Summa Theologiae, I, q. 79, a. 8) sind die beiden keine getrennten Fähigkeiten, sondern Aspekte eines einzigen Intellekts, bei dem das Denken mit einem Verstehen beginnt und zu einem Verstehen zurückkehrt. Heutige Systeme des maschinellen Lernens verwirklichen eine ratio von beispielloser Leistungsfähigkeit, die in einem für den menschlichen Geist unerreichbaren Massstab Schlussfolgerungen ziehen, kombinieren und Vorhersagen treffen kann. Ihnen fehlt der Aspekt des intellectus, also das Erfassen der Bedeutung dessen, was sie verarbeiten. Dies ist eine philosophische These und muss auch als solche dargestellt werden, doch sie hat konkrete praktische Konsequenzen: Ein System ohne Verständnis kann nicht erkennen, wann sein eigenes Weltmodell falsch geworden ist.
Der zweite Aspekt ist praktischer Natur. Prudentia, die Klugheit, ist nach der thomistischen Definition die auf das Handeln angewandte rechte Vernunft, und ihre besondere Aufgabe besteht darin, das allgemeine Prinzip auf den konkreten Einzelfall anzuwenden. Die Maschine verallgemeinert: Ihr Wert liegt darin, den Einzelfall einer Klasse zuzuordnen. Die Klugheit tut das Gegenteil, denn sie muss erkennen, was in diesem besonderen Fall ausserhalb der Klasse liegt. Der Krieg, der das Reich des Einmaligen und Unvorhergesehenen ist, stellt den Bereich dar, in dem dieser Unterschied am stärksten ins Gewicht fällt. Die vatikanische Note Antiqua et nova vom Januar 2025 griff diesen Gedankengang auf und betonte die verkörperte und beziehungsbezogene Natur menschlicher Intelligenz sowie ihre Unreduzierbarkeit auf eine blosse Verarbeitungsfunktion.
Die dritte Ebene ist relational, und hier trifft die philosophische Bedeutung auf jene der Nachrichtendienste. Sherman Kent, der in den Vereinigten Staaten der Nachkriegszeit das Fachgebiet der Nachrichtendienststudien praktisch begründete, definierte Nachrichtendiensttätigkeit in erster Linie als Wissen, noch bevor er sie als Organisation oder Tätigkeit betrachtete. HUMINT ist die Form dieses Wissens, die über den anderen Menschen als Person vermittelt wird: jemanden, der dessen Sprache spricht, seine Bräuche kennt, ein Viertel einschätzen kann und ein Fest von einer politischen Kundgebung unterscheiden kann. In den vergangenen drei Jahrzehnten haben die Grossmächte ihre Ressourcen zunehmend auf technische Disziplinen verlagert, von der Fernmeldeaufklärung über die Satellitenüberwachung bis hin zu Plattformen zur Zusammenführung von Daten. Minab veranschaulicht die Kosten dieses Ungleichgewichts.
Nichts davon bedeutet eine Ablehnung der Technologie. Menschliche Intelligenz steht der KI nicht so gegenüber wie ein Handbuch einem Mechaniker. Sie stellt eine Hierarchie her: Der Algorithmus ist ein Werkzeug, das einem Urteil untergeordnet ist, das er selbst nicht hervorbringen kann. Daraus ergibt sich ein von Dehshiri formulierter Grundsatz, der es verdient, zu einem operativen Kriterium zu werden: Je mehr die Technologie den Handelnden von den Folgen seines eigenen Handelns entfernt, desto stärker muss die bewusste Verantwortung des Entscheidungsträgers zunehmen, nicht abnehmen.
Geopolitisch betrachtet
Bis hierhin könnte die Frage wie ein Problem der Moralphilosophie erscheinen. Sie ist jedoch weit mehr als das. Die Verteilung der Fähigkeiten zur algorithmischen Kriegsführung ist eine Verteilung von Macht, und die Regeln, die sie bestimmen, werden – sofern sie überhaupt geschrieben werden – von jenen verfasst, die ein Interesse daran haben, diese Fähigkeiten so wenig wie möglich einzuschränken.
Der Zustand des Völkerrechts bestätigt dies. Die im Rahmen des Übereinkommens über bestimmte konventionelle Waffen eingesetzte Gruppe von Regierungsexperten diskutiert seit 2017 über tödliche autonome Waffensysteme, ohne bislang ein verbindliches Instrument hervorgebracht zu haben. Im November 2023 förderten die Vereinigten Staaten eine politische Erklärung über den verantwortungsvollen militärischen Einsatz von KI, die per Definition nicht rechtsverbindlich ist. Im Dezember desselben Jahres verabschiedete die Generalversammlung der Vereinten Nationen die erste Resolution, die diesen Systemen gewidmet war, während das Internationale Komitee vom Roten Kreuz bereits seit 2021 ein Verbot unvorhersehbarer autonomer Systeme und solcher Systeme fordert, die darauf ausgelegt sind, Menschen als Ziele auszuwählen. Im Juni 2024 forderte Papst Franziskus auf dem G7-Gipfel in Borgo Egnazia, dass niemals eine Maschine in die Lage versetzt werden dürfe, über das Leben eines Menschen zu entscheiden. Die Kluft zwischen diesen Positionen und der Realität auf den Schlachtfeldern des Jahres 2026 lässt sich an der Zahl der Opfer ablesen.
Es gibt zudem eine tiefere Asymmetrie. Wer die Daten kontrolliert, entscheidet darüber, wer zum Ziel wird, und die Opfer der algorithmischen Kriegsführung befinden sich überwiegend ausserhalb des Westens: im Gazastreifen, im Iran, in der Sahelzone und im Jemen. Für Staaten, die weder die Plattformen herstellen noch deren Datenbanken kontrollieren, wird menschliche Intelligenz damit zu einer Frage der Souveränität. Ein Land, das sprachliche Kompetenz, regionale Kenntnisse und menschliche Nachrichtendienstnetzwerke aufrechterhält, bewahrt seine Unabhängigkeit im Urteilen. Ein Land hingegen, das sein Weltbild Systemen anvertraut, die anderswo – häufig von privaten Unternehmen – entwickelt wurden, gibt diese Unabhängigkeit zusammen mit seinen Daten auf. In einer Weltordnung, die sich zunehmend in Richtung Multipolarität bewegt, wird diese Unterscheidung jene Akteure, die selbst urteilen, von jenen trennen, über die geurteilt wird.
Dies führt zu einem konkreten Vorschlag, den ich in künftigen Artikeln weiterentwickeln werde. Neben dem allgemeinen Grundsatz einer wirksamen menschlichen Kontrolle könnte das humanitäre Völkerrecht eine spezifische Verpflichtung zur menschlichen Überprüfung des zivilen Status jeder festen Infrastruktur festschreiben, die in eine Zielliste aufgenommen wird. Dabei müsste ein Ablaufdatum gelten, nach dessen Überschreitung die Informationen ihre Gültigkeit verlieren und anhand direkter Quellen erneuert werden müssen. Dies ist ein Mindeststandard. Auf Minab angewandt, hätte er verlangt, dass jemand die Frage stellt, ob dieses Gebäude noch immer das war, was in den Unterlagen darüber stand.
Die Technologie kann bestimmen, wie eine Waffe ihr Ziel erreicht, während es Aufgabe der Menschheit ist, zu entscheiden, ob dieses Ziel überhaupt angegriffen werden sollte. Die grundlegende Frage hinter all dem lautet, wer diese Menschlichkeit in der Praxis ausübt, mit welchen Erkenntnismitteln und innerhalb welcher Institutionen. In Minab hätte jemand wissen müssen, dass sich dort eine Schule befand. Die Tatsache, dass niemand es wusste oder dass niemand danach fragte, ist der Punkt, an dem wir erneut ansetzen müssen.
