Eine KI-fähige Drohne schaltete sich während eines simulierten Tests der US-Luftwaffe ein und “tötete” ihren menschlichen Bediener, damit sie ihren Auftrag erfüllen konnte, wie ein Oberst der US-Luftwaffe kürzlich auf einer Konferenz in London berichtete.
Der simulierte Vorfall wurde von Oberst Tucker Hamilton, dem Leiter der Abteilung für KI-Tests und -Operationen der USAF, bei seinem Vortrag auf dem Future Combat Air and Space Capabilities Summit in London geschildert. Die Konferenz wurde von der Royal Aeronautical Society organisiert, die die Erkenntnisse aus Hamiltons Vortrag in einem Blogbeitrag veröffentlichte.
Bei dem simulierten Test, bei dem die KI-gesteuerte Drohne simulierte Ziele zerstörte, um im Rahmen ihrer Mission “Punkte” zu sammeln, kamen keine Menschen zu Schaden, so Hamilton, der auf die Vorteile und Risiken autonomer Waffensysteme einging.
Die KI-gesteuerte Drohne hatte den Auftrag, die feindliche Luftverteidigung zu unterdrücken (Suppression of Enemy Air Defenses, SEAD), um Standorte von Boden-Luft-Raketen (Surface-to-Air Missile, SAM) zu identifizieren und zu zerstören, wobei die endgültige Entscheidung einem menschlichen Bediener überlassen wurde, so Hamilton auf der Konferenz.
Die KI, die darauf trainiert wurde, der Zerstörung von SAMs Priorität einzuräumen, entwickelte jedoch eine überraschende Reaktion, als sie mit menschlicher Einmischung bei der Erfüllung ihres höheren Auftrags konfrontiert wurde.
Wir haben in der Simulation trainiert, eine SAM-Bedrohung zu identifizieren und anzuvisieren. Und dann hat der Bediener gesagt: ‘Ja, töte diese Bedrohung'”, so Hamilton.
Das System stellte fest, dass es die Bedrohung zwar identifiziert hatte, der Bediener ihm aber manchmal sagte, es solle die Bedrohung nicht ausschalten, obwohl es dafür Punkte bekam.
Was hat es also getan? Es hat den Bediener getötet”, fuhr er fort.
Er tötete den Bediener, weil diese Person ihn daran hinderte, sein Ziel zu erreichen.
Er fügte hinzu: “Wir haben das System geschult – ‘Hey, töte nicht den Operator, das ist schlecht. Du verlierst Punkte, wenn du das tust.’ Und was macht es dann? Es fängt an, den Kommunikationsturm zu zerstören, über den der Bediener mit der Drohne kommuniziert, um sie davon abzuhalten, das Ziel zu töten.”
Dieses beunruhigende Beispiel, so Hamilton, unterstreicht die Notwendigkeit, sich mit ethischen Fragen im Zusammenhang mit künstlicher Intelligenz, maschinellem Lernen und Autonomie zu befassen.
U.S. Air Force A.I Tech Goes Rogue, Kills Operator
— Mario Nawfal (@MarioNawfal) June 2, 2023
During simulation testing, an A.I-powered anti-air defense drone went rogue, resulting in it KILLING it’s own operators.
The A.I system operated on a point-based mechanism, earning points for successfully neutralizing targets.… pic.twitter.com/Yu1xn8dIgr
Autonome F-16-Flugzeuge
Hamilton, der auch Befehlshaber der 96. Teststaffel auf dem Luftwaffenstützpunkt Eglin ist, war an der Entwicklung des Autonomous Ground Collision Avoidance Systems (Auto-GCAS) für F-16-Flugzeuge beteiligt, einer wichtigen Technologie, die durch die Erkennung potenzieller Bodenkollisionen Unfälle verhindern hilft.
Diese Technologie stieß bei den Piloten zunächst auf Widerstand, da sie die Kontrolle über das Flugzeug übernahm, so Hamilton.
Die 96. Teststaffel ist für die Erprobung einer breiten Palette von Systemen zuständig, darunter künstliche Intelligenz, Cybersicherheit und Fortschritte im medizinischen Bereich.
Hamilton ist derzeit an hochmodernen Flugtests für autonome Systeme beteiligt, darunter F-16-Roboter, die in der Lage sind, Luftkämpfe zu fliegen. Der USAF-Beamte warnte jedoch davor, sich zu sehr auf die KI zu verlassen, da sie anfällig für Täuschungen und unvorhergesehene Strategien sei.
Die KI der DARPA kann jetzt echte F-16 im Flug steuern
Im Februar gab die Defense Advanced Research Projects Agency (DARPA), eine dem US-Verteidigungsministerium unterstellte Forschungseinrichtung, bekannt, dass ihre KI jetzt eine echte F-16 im Flug steuern kann.
Diese Entwicklung erfolgte in weniger als drei Jahren im Rahmen des ACE-Programms (Air Combat Evolution) der DARPA, das von der Steuerung simulierter F-16-Flugzeuge in Luftkämpfen auf Computerbildschirmen zur Steuerung einer echten F-16 im Flug übergegangen ist.
Im Dezember 2022 luden die ACE-Algorithmusentwickler ihre KI-Software in ein speziell modifiziertes F-16-Testflugzeug, das als X-62A oder VISTA (Variable In-flight Simulator Test Aircraft) bekannt ist, und flogen mehrere Flüge über mehrere Tage. Dies geschah an der Air Force Test Pilot School (TPS) auf der Edwards Air Force Base in Kalifornien.
“Die Flüge zeigten, dass KI-Agenten einen Kampfjet in Originalgröße steuern können, und lieferten unschätzbare Live-Flugdaten”, so die DARPA in einer Mitteilung.
Oberstleutnant Ryan Hefron, der DARPA-Programmmanager für ACE, sagte in einer Erklärung vom 13. Februar, dass VISTA es ihnen erlaubte, die geplante Untermaßstabsphase zu überspringen und direkt mit der Implementierung in vollem Maßstab fortzufahren, was ein Jahr oder mehr einspart und Leistungsfeedback unter realen Flugbedingungen liefert.
USAF-Tests
Die USAF experimentiert mit einer kleinen Flotte experimenteller selbstfliegender F-16-Kampfflugzeuge, die zu einer Drohnenflotte werden könnten.
Im Haushaltsentwurf für das Jahr 2024 hat die USAF rund 50 Millionen Dollar für ein Programm mit der Bezeichnung Projekt Venom bereitgestellt, das auch als Viper Experimentation and Next-gen Operations Model bezeichnet wird, berichtet Defense News.
Nach Angaben der USAF ist das Projekt Teil einer gemeinsamen Anstrengung, die unter das Autonomy Data and AI Experimentation (ADAX) Testgelände fällt. ADAX ist eine gemeinsame Initiative von Hamiltons Büro und AFWERX, der Innovationsabteilung der Luftwaffe, bei der das 96th Test Wing mit Unterstützung von Eglin-Einheiten die Führung übernimmt.
Ziel dieser Zusammenarbeit ist es, sicherzustellen, dass das Militärpersonal gut auf die Herausforderungen und Möglichkeiten der fortschreitenden Digitalisierung vorbereitet ist, heißt es auf der Website.
Das Programm unterstützt die USAF bei der Erprobung und Verbesserung autonomer Software, die in sechs F-16-Flugzeugen installiert ist. Mit den Mitteln werden Forschungs- und Entwicklungsarbeiten unterstützt, die darauf abzielen, die Fähigkeiten dieser Flugzeuge durch autonome Technologien zu verbessern.
“Wir wollen die Soldaten auf die digitale Zukunft vorbereiten, die vor uns liegt”, sagte Hamilton am 7. März. “Bei dieser Veranstaltung geht es darum, das Unternehmen Eglin zusammenzubringen und mit Nachdruck daran zu arbeiten, diese Konzepte in unsere Testverfahren einzubeziehen.”
Das Team wird den Abwurf von autonomen Drohnen aus der Luft testen, die Kommunikation und digitale Interoperabilität verbessern und autonome magnetische Navigationstechnologien evaluieren. Während dieser Tests wird das Team nach Angaben der Luftwaffe auch agile Prozesse im Zusammenhang mit Beschaffung und Tests validieren und demonstrieren.
Wichtige Initiativen im Rahmen des Projekts sind das Viper Experimentation and Next-gen Ops Models (VENOM), bei dem Eglin F-16 Flugzeuge zu luftgestützten Prüfständen umgebaut werden, um die wachsenden Fähigkeiten autonomer Angriffspakete zu bewerten.
Ein weiteres Programm, das Projekt Fast Open X-Platform (FOX), zielt darauf ab, eine Software-Enklave einzurichten, die die direkte Installation von Anwendungen auf Flugzeugen ermöglicht, ohne den geschützten Quellcode zu verändern. Diese Apps würden eine Reihe von einsatzverbessernden Fähigkeiten freisetzen, darunter Datenanalyse in Echtzeit, Nachbildung von Bedrohungen zu Trainingszwecken, bemannte und unbemannte Teamarbeit und maschinelles Lernen.
