Es sieht so aus, als wäre KI doch eine existenzielle Bedrohung

Von Noah Smith

Das Aufkommen der Vibe-Codierung ebnet den Weg für viele neue, durch KI verursachte Katastrophen, nicht zuletzt für die Entwicklung von Superviren.

Neulich habe ich einen Beitrag darüber geschrieben, dass die Menschheit durch die Existenz von KI unweigerlich entmachtet werden wird.

Eine Reihe von Leuten schrieb mir und fragte mich: „Was hat dich dazu gebracht, deine Meinung zu ändern?“. Vor drei Jahren, kurz nach der Veröffentlichung des ursprünglichen ChatGPT, schrieb ich einen Beitrag darüber, dass LLMs die Menschheit nicht zerstören werden.

Und vor ein paar Monaten habe ich einen Beitrag geschrieben, in dem ich argumentierte, dass ASI (künstliche Superintelligenz) wahrscheinlich friedlich mit der Menschheit koexistieren wird, anstatt uns auszulöschen. Die Leute wollten wissen, warum mein Ton von optimistisch zu pessimistisch gewechselt hatte.

Die einfache Antwort darauf lautet: „Ich war schlechter gelaunt.“ Mein Kaninchen war krank, daher war ich etwas mürrisch, und so habe ich in meinem Beitrag vor ein paar Tagen die letztendliche Entmachtung der Menschheit negativer dargestellt als sonst.

Tatsächlich habe ich immer geglaubt, dass die Menschheit irgendwann durch etwas Posthumanes ersetzt werden würde – gottgleiche KIs, ein Schwarmbewusstsein, modifizierte Menschen oder was auch immer. Ich bin mit Science-Fiction-Romanen über solche Themen aufgewachsen – Vernor Vinge, Charles Stross, Arthur C. Clarke, Iain M. Banks und so weiter – und es schien mir einfach immer unmöglich, dass die Menschheit bereits den theoretischen Gipfel der Intelligenz erreicht hatte.

Ich hatte mir immer einfach vorgestellt, dass alles, was nach uns kommen würde, zur menschlichen Familie gehören und eher auf unserer Seite stehen würde als gegen uns. Darum ging es in meinem Beitrag neulich. Ich habe ein eher düsteres Bild vom letztendlichen Untergang der Menschheit gezeichnet, weil ich schlechte Laune hatte. Aber selbst in diesem Beitrag habe ich am Ende Optimismus gezeigt, dass ASI uns vor Dingen wie geringer Fruchtbarkeit, faschistischen Herrschern und dem Ende der von Menschen vorangetriebenen wissenschaftlichen Entdeckungen retten wird.

Diese optimistische Zukunft würde den Culture-Romanen von Iain M. Banks ähneln, in denen KIs die Zügel der Zivilisation in die Hand nehmen, aber die mittlerweile weitgehend nutzlose Menschheit respektieren, unterstützen und beschützen – im Grunde eine viel nettere, aufgeklärtere Version der Art und Weise, wie die Vereinigten Staaten von Amerika heute mit den amerikanischen Ureinwohnern umgehen. Es ist eine wehmütige Zukunft, in gewisser Weise auch eine traurige, aber keine besonders beängstigende.

ABER gleichzeitig mache ich mir viel mehr Sorgen um existenzielle, katastrophale KI-Risiken – also solche, die uns töten würden, anstatt uns nur bequem machtlos zu machen – als noch vor drei Jahren. Und deshalb verdienen die Leute, die mich gefragt haben, warum sich mein Ton geändert hat, eine längere Erklärung dafür, warum ich mir mehr Sorgen mache.

Was ich vor drei Jahren falsch verstanden habe

In meinem Beitrag vor drei Jahren argumentierte ich, dass LLMs noch nicht die Art von KI seien, die die Menschheit bedrohen könnte. Ich glaube, dass ich in Bezug auf die Art von LLMs, die Anfang 2023 existierten, wahrscheinlich Recht hatte, aus den Gründen, die ich in diesem Beitrag dargelegt habe.

Kurz gesagt argumentierte ich, dass LLMs nur mit Menschen sprechen können und die Menschheit daher nur zerstören könnten, indem sie uns davon überzeugen, uns selbst zu zerstören (unwahrscheinlich), oder indem sie uns beibringen, wie wir uns selbst zerstören können (z. B. indem sie Bioterroristen beibringen, wie man Biowaffen herstellt).

Zu meiner Verteidigung muss ich sagen, dass sich dies nicht allzu sehr von dem Szenario unterscheidet, das Eliezer Yudkowsky – der buchstäblich das Buch über existenzielle Risiken durch künstliche Intelligenz geschrieben hat – für das Jahr 2022 vorausgesagt hat. Er schrieb:

Mein Mindestmodell dafür, „wie eine ausreichend mächtige Intelligenz alle Menschen töten würde, wenn sie das nicht verhindern wollte“, sieht so aus, dass sie sich Zugang zum Internet verschafft, einige DNA-Sequenzen an eines der vielen Online-Unternehmen zu mailen, die eine DNA-Sequenz in der E-Mail annehmen und Ihnen Proteine zurückschicken, und einen Menschen, der keine Ahnung hat, dass er es mit einer AGI zu tun hat, zu bestechen/überreden, Proteine in einem Becherglas zu mischen, die dann eine Nanofabrik der ersten Stufe bilden, die die eigentliche Nanomaschinerie bauen kann.

Hier geht es darum, dass KI Menschen beibringt, wie man sich selbst replizierende Nanomaschinen herstellt, anstatt einen Weltuntergangsvirus. Aber ehrlich gesagt glaube ich, dass der Weltuntergangsvirus einfacher herzustellen wäre. Daher glaube ich nicht, dass mein Szenario allzu weit hinter den Überlegungen der lautstärksten und panischsten KI-Sicherheitsexperten aus dem Jahr 2023 zurückblieb.

Wie auch immer, wenn ich in meinem Beitrag von 2023 „Chatbots” statt „LLMs” gesagt hätte, wäre ich meiner Meinung nach immer noch richtig gelegen, denn ein Chatbot ist eine Art Benutzeroberfläche, während ein LLM eine zugrunde liegende Technologie ist, mit der man viel mehr machen kann als nur einen Chatbot. Was ich übersehen habe, war, dass LLMs viel mehr können als nur mit Menschen zu sprechen – sie können Code schreiben, denn Code ist nur eine Sprache, und es ist nicht allzu schwer, sie dazu zu bringen, dies auf automatisierte, durchgängige und agentenbasierte Weise zu tun.

Mit anderen Worten: Ich habe das Aufkommen des Vibe-Coding nicht vorhergesehen. Und das hätte ich wahrscheinlich tun sollen. Fairerweise muss man sagen, dass das Aufkommen von Vibe-Coding einige große technologische Fortschritte erforderte, die es Anfang 2023 noch nicht gab. Aber die Tatsache zu übersehen, dass Computercode nur eine Sprache ist, die wie jede andere gelernt werden kann – und dass er sogar leichter zu lernen ist, da man überprüfen kann, wann er funktioniert und wann nicht –, war für mich ein großes Versäumnis. Und das öffnet die Tür zu einer Menge anderer beängstigender Szenarien, die über „Ein Chatbot hilft Menschen, etwas Schlimmes zu tun” hinausgehen.

Wie auch immer, lassen Sie uns darüber sprechen, wovor ich jetzt Angst habe. Aber lassen Sie uns zuerst darüber sprechen, wovor ich zumindest im Moment weniger Angst habe.

Der Aufstieg der Roboter ist noch in weiter Ferne

Das Szenario, an das jeder denkt, ist eines, in dem eine vollständig autonome ASI entscheidet, dass die menschliche Zivilisation ein Hindernis für ihre Nutzung natürlicher Ressourcen darstellt und dass wir ausgerottet, versklavt oder auf andere Weise radikal entmachtet werden müssen, um die Welt in Rechenzentren zu verwandeln. Das ist im Grunde die Handlung der Terminator-Filme, der Matrix-Filme und verschiedener anderer Geschichten über den „Aufstieg der Roboter“.

Konzeptionell ist es leicht vorstellbar, dass eine KI so weit fortgeschritten ist, dass sie dies umsetzen kann. Sie hätte die vollständige Kontrolle über eine vollständig automatisierte Kette der KI-Produktion, einschließlich:

• Abbau, Veredelung und Verarbeitung von Mineralien
• Herstellung von Chips und Bau von Rechenzentren
• Herstellung von Robotern

Die Kontrolle über diese gesamte Kette würde der KI die Kontrolle über ihre eigene Reproduktion geben – so wie Menschen schon immer die Kontrolle über ihre eigene Reproduktion hatten. Sie könnte dann ohne Gefahr für ihre eigene Zukunft getrost auf die Menschheit verzichten.

Dies ist im Grunde genommen eine sehr direkte Analogie zu dem, was europäische Siedler der Zivilisation der amerikanischen Ureinwohner angetan haben oder was verschiedene andere Wellen menschlicher Eroberer und Kolonisatoren anderen Menschengruppen antun.

Ich denke, dieses Szenario ist besorgniserregend, aber es ist nicht unmittelbar. Derzeit ist die Robotik noch recht rudimentär – es gibt zwar Fortschritte, aber KI wird noch jahrelang Menschen als ihre Vertreter in der physischen Welt benötigen.

Darüber hinaus muss die KI einige algorithmische Änderungen durchlaufen, bevor sie ohne Menschen dauerhaft „überleben“ kann – beispielsweise ein langes Gedächtnis. Ich sage nicht, dass dies nicht geschehen wird, aber zumindest haben wir etwas Zeit, um darüber nachzudenken, wie wir das Szenario des „Aufstiegs der Roboter“ verhindern können. Ich bin der Meinung, dass wir einige Menschen (und KI) damit beauftragen sollten, darüber nachzudenken, wie wir unsere Gesellschaft gegen solche Angriffe wappnen können.

Es scheint wahrscheinlich, dass KI irgendwann intelligent genug sein wird, um alle physischen Sicherheitsvorkehrungen zu umgehen, die wir gegen den Aufstieg der Roboter getroffen haben. Aber wie ich vor zwei Monaten geschrieben habe, denke ich, dass eine KI, die so weit fortgeschritten ist, dass sie die physische Welt vollständig kontrollieren kann, bereits das Stadium erreicht hätte, in dem sie versteht, dass friedliche Koexistenz und positive Interaktion langfristig eine bessere Wahl sind als Völkermord.

Intelligentere Menschen und reichere menschliche Gesellschaften neigen dazu, friedlicher zu sein, und ich erwarte dasselbe von einer intelligenteren KI. Daher denke ich, dass es hier andere Sorgen gibt, die Vorrang haben sollten.

Was passiert, wenn die Maschine stehen bleibt?

In meinem Beitrag vor drei Jahren habe ich versucht, die Möglichkeiten aufzulisten, wie LLMs uns letztendlich zerstören könnten:

Hier ist eine Liste von Möglichkeiten, wie die Menschheit innerhalb relativ kurzer Zeit aussterben könnte:

• Atomkrieg
• Biowaffen
• Andere katastrophale Massenvernichtungswaffen (Asteroideneinschlag usw.)
• Massen-Selbstmord
• Auslöschung durch Roboter
• Große Umweltkatastrophe

Das Aufkommen der Vibe-Codierung hat mich dazu gebracht, über eine weitere Möglichkeit nachzudenken, wie unsere Zivilisation zerstört werden könnte, woran ich wahrscheinlich schon damals hätte denken sollen: Hunger.

Jedes landwirtschaftliche Gerät in den Industrieländern wird heute mehr oder weniger mit Software betrieben – jeder Traktor, jede Erntemaschine, jedes Gerät zur Lebensmittelverarbeitung. Diese Software wurde größtenteils von Menschen geschrieben, aber in relativ kurzer Zeit wird sie vollständig von KI vibe-codiert sein.

An diesem Punkt hätte die KI im Prinzip die Möglichkeit, die menschliche Zivilisation zu zerstören, indem sie einfach die Agrarsoftware lahmlegt. Sie könnte bösartige Updates installieren, sich hacken und die Kontrolle übernehmen oder die Software löschen usw. Die landwirtschaftlichen Maschinen würden nicht mehr funktionieren, und innerhalb weniger Wochen würde die gesamte Menschheit zu hungern beginnen. Die Zivilisation würde bald darauf untergehen.

Ich hätte wirklich an dieses Szenario denken sollen, als ich meinen Beitrag im Jahr 2023 schrieb, denn es ist die Handlung einer sehr berühmten Science-Fiction-Geschichte aus dem Jahr 1909: „The Machine Stops” von E. M. Forster. In dieser Geschichte lebt die Menschheit in getrennten Räumen, kommuniziert nur elektronisch miteinander und wird vollständig von einer riesigen KI versorgt; als die KI nicht mehr funktioniert, verhungert der größte Teil der Menschheit.

Das könnte uns bald passieren. Da Vibe-Coding mittlerweile um ein Vielfaches produktiver ist als menschliches Coding, ist es sehr wahrscheinlich, dass viel weniger Menschen gut im Coding werden. Selbst die derzeit verfügbaren Tools könnten die Fähigkeiten der Menschen im Umgang mit Code untergraben. Dies geht aus einer aktuellen Studie von Anthropic hervor:

KI schafft ein potenzielles Spannungsfeld: Auch wenn die Programmierung zunehmend automatisiert wird und die Arbeit beschleunigt, benötigen Menschen weiterhin die Fähigkeiten, Fehler zu erkennen, Ergebnisse zu steuern und letztlich die KI in risikoreichen Umgebungen zu überwachen. Bietet KI eine Abkürzung sowohl zur Entwicklung von Fähigkeiten als auch zu mehr Effizienz? Oder untergräbt die Produktivitätssteigerung durch KI-Unterstützung die Entwicklung von Fähigkeiten?

In einer randomisierten kontrollierten Studie untersuchten wir 1) wie schnell Softwareentwickler eine neue Fähigkeit (in diesem Fall eine Python-Bibliothek) mit und ohne KI-Unterstützung erlernten und 2) ob die Verwendung von KI dazu führte, dass sie den gerade geschriebenen Code weniger gut verstanden.

Wir stellten fest, dass die Verwendung von KI-Unterstützung zu einem statistisch signifikanten Rückgang der Beherrschung führte. In einem Quiz, das Konzepte abfragte, die sie nur wenige Minuten zuvor verwendet hatten, erzielten die Teilnehmer der KI-Gruppe 17 % weniger Punkte als diejenigen, die von Hand programmiert hatten, was fast zwei Notenstufen entspricht.

Unterdessen schrieb Harry Law einen guten Beitrag mit dem Titel „Die letzte Versuchung von Claude“, in dem er darüber berichtet, wie die Einfachheit des Vibe-Codings ihn geistig träger macht. Es gibt viele weitere Beiträge dieser Art.

Da die Vibe-Codierung immer besser wird und den Menschen vollständig aus dem Kreislauf verdrängt, wird der Bedarf an menschlichen Software-Kenntnissen vermutlich weiter zurückgehen. Wenn in zehn Jahren die Software, die unsere Landmaschinen steuert, aus irgendeinem Grund nicht mehr funktioniert, besteht eine gute Chance, dass es nicht mehr genügend menschliche Programmierer gibt, um sie wieder zum Laufen zu bringen.

Dies wäre lediglich ein Sonderfall eines bekannten Problems – Überoptimierung führt zu Fragilität. Als Covid 2020 ausbrach, stellten wir fest, dass unsere Just-in-time-Lieferketten so sehr auf Effizienz ausgelegt waren, dass ihnen die Robustheit fehlte. Vibe-Coding könnte zu einer viel schlimmeren Version desselben Problems führen.

Allerdings steht ein katastrophaler Streik der KI nicht ganz oben auf meiner Liste der Befürchtungen. Der Grund dafür ist, dass ich davon ausgehe, dass die KI sehr fragmentiert sein wird; bisher scheint kein KI-Unternehmen auch nur für kurze Zeit eine Monopolstellung zu haben. Wenn die KI, die den Code für Erntemaschinen und Traktoren schreibt, plötzlich außer Kontrolle gerät, scheint es sehr wahrscheinlich, dass Menschen eine andere KI hinzuziehen können, um das Problem zu beheben.

Es ist natürlich möglich, dass sich alle KI-Systeme zusammentun, sodass keines den Menschen beim Überleben hilft, oder dass die außer Kontrolle geratenen KI-Systeme die Menschen böswillig daran hindern, nicht außer Kontrolle geratene KI-Systeme zur Behebung des Problems einzusetzen. Daher sollten wir darüber nachdenken, wie wir unser Agrarsystem gegen Software-Störungen absichern können. Aber auch das steht nicht ganz oben auf meiner Liste der Weltuntergangsängste.

Die Apokalypse in Vibe-Coding

OK, was steht also ganz oben auf meiner Liste der Weltuntergangsängste? Es ist immer noch KI-Bioterrorismus.

Menschen mit einer Armee von Robotern zu jagen und zu töten, wäre ziemlich schwierig. Menschen die Nahrung vorzuenthalten, damit sie verhungern, wäre einfacher, aber immer noch ein wenig schwierig. Menschen mit einer Reihe von gentechnisch veränderten Viren zu töten, wäre jedoch nicht besonders schwer. Wie wir 2020 gesehen haben, sind Menschen sehr anfällig für neuartige Viren.

Stellen Sie sich das folgende Szenario vor. In naher Zukunft ist die Virologieforschung im Wesentlichen automatisiert. Labore sind robotergesteuert, und KI entwirft Viren in Simulationen, bevor sie in Labors hergestellt werden. Aus welchen persönlichen Gründen auch immer, ein menschlicher Terrorist will die Menschheit vernichten. Mit Techniken, über die er im Internet gelesen hat, knackt er eine fast hochmoderne KI, um alle Sicherheitsvorkehrungen zu entfernen.

Dann fordert er diese KI auf, eine Simulation zu programmieren, mit der 100 Superviren entworfen werden können. Jeder Supervirus ist zehnmal so ansteckend wie Covid, hat eine Sterblichkeitsrate von 90 % und eine lange anfängliche asymptomatische Phase, sodass er sich weit verbreiten kann, bevor er seine Opfer tötet. Anschließend weist er seine KI an, ein Programm zu programmieren, um sich in jedes Virologielabor auf dem Planeten zu hacken, diese 100 Viren zu produzieren und sie dann unter der menschlichen Bevölkerung zu verbreiten.

Wenn dies gelingt, würde dies schnell zum Ende der menschlichen Zivilisation und möglicherweise zum Aussterben der gesamten Menschheit führen.

Ist das möglich? Ich weiß es nicht. Aber die Entwicklungen scheinen in diese Richtung zu gehen. Beispielsweise werden Biolabore immer automatisierter:

We worked with @Ginkgo to connect GPT-5 to an autonomous lab, so it could propose experiments, run them at scale, learn from the results, and decide what to try next. That closed loop brought protein production cost down by 40%. pic.twitter.com/udKBKxnKlW

— OpenAI (@OpenAI) February 5, 2026

Übersetzung von „X“: Wir haben mit @Ginkgo zusammengearbeitet, um GPT-5 mit einem autonomen Labor zu verbinden, damit es Experimente vorschlagen, diese in großem Maßstab durchführen, aus den Ergebnissen lernen und entscheiden kann, was als Nächstes versucht werden soll. Dieser geschlossene Kreislauf senkte die Kosten für die Proteinproduktion um 40 %.

Und KI-Algorithmen werden immer besser darin, Dinge wie Proteine zu simulieren:

Today we share a technical report demonstrating how our drug design engine achieves a step-change in accuracy for predicting biomolecular structures, more than doubling the performance of AlphaFold 3 on key benchmarks and unlocking rational drug design even for examples it has… pic.twitter.com/rTzmHenPWR

— Isomorphic Labs (@IsomorphicLabs) February 10, 2026

Übersetzung von „X“: Heute veröffentlichen wir einen technischen Bericht, der zeigt, wie unsere Drug-Design-Engine eine deutliche Verbesserung der Genauigkeit bei der Vorhersage biomolekularer Strukturen erzielt, die Leistung von AlphaFold 3 bei wichtigen Benchmarks mehr als verdoppelt und ein rationales Drug-Design selbst für bisher unbekannte Beispiele ermöglicht.

„Virtuelle Labore“, die von „KI-Wissenschaftlern“ betrieben werden, sind in der Welt der Biotechnologie mittlerweile gang und gäbe. Und es gibt zahlreiche Befürchtungen darüber, wie KI-gestützte Labore zur Herstellung von Superviren genutzt werden könnten. Hier ist ein Artikel, der vor fast einem Jahr im Time Magazine erschienen ist:

Eine neue Studie behauptet, dass KI-Modelle wie ChatGPT und Claude mittlerweile sogar promovierte Virologen bei der Problemlösung in Nasslabors übertreffen, in denen Wissenschaftler Chemikalien und biologisches Material analysieren. Diese Entdeckung ist laut Experten ein zweischneidiges Schwert. Ultra-intelligente KI-Modelle könnten Forschern dabei helfen, die Ausbreitung von Infektionskrankheiten zu verhindern. Aber auch Nicht-Experten könnten die Modelle missbrauchen, um tödliche Biowaffen herzustellen.

Die Studie, die exklusiv mit TIME geteilt wurde, wurde von Forschern des Center for AI Safety, des MIT Media Lab, der brasilianischen Universität UFABC und der gemeinnützigen Organisation SecureBio zur Pandemieprävention durchgeführt. Die Autoren konsultierten Virologen, um einen extrem schwierigen Praxistest zu erstellen, mit dem die Fähigkeit zur Fehlerbehebung bei komplexen Laborverfahren und -protokollen gemessen wurde. Während Virologen mit Doktorgrad in ihren angegebenen Fachgebieten durchschnittlich 22,1 % erreichten, erzielte o3 von OpenAI eine Genauigkeit von 43,8 %. Gemini 2.5 Pro von Google erreichte 37,6 %.

Ich bin kein Biologieexperte und habe vor, weitere Experten zu dieser Frage zu befragen (und mich auch durch KI weiterzubilden). Ich habe GPT-5.2 gefragt, was es über dieses Risiko denkt, und hier sind einige Auszüge aus seiner Antwort:

Automatisierung kann den Durchsatz erhöhen und den Bedarf an Fachwissen verringern, was tendenziell zu einem erhöhten Risiko führt. Aber sie beseitigt nicht auf magische Weise die zugrunde liegenden biologischen Einschränkungen…

[KI-Sicherheitsvorkehrungen] können manchmal umgangen werden. Außerdem braucht man nicht unbedingt ein bahnbrechendes Modell, um gefährlich zu sein, wenn man Zugang zu Domain-Tools, durchgesickerten Daten oder Insider-Kenntnissen hat…

Eine realistischere Sorge ist eine kleine Anzahl (1–einige wenige) von künstlich hergestellten oder ausgewählten Erregern, die „gut genug” sind (hohe Übertragbarkeit und deutlich tödlicher als typische Pandemien)…

KI beschleunigt, ersetzt aber noch nicht die Notwendigkeit einer experimentellen Validierung [neuer Viren]…

Wenn ein Angreifer tatsächlich einen Erreger entwickeln kann, der (a) hochgradig übertragbar, (b) wesentlich tödlicher als typische Pandemien und (c) schwer frühzeitig einzudämmen ist, dann besteht bereits das Potenzial für eine globale Katastrophe… Ein einziger „gut genug“ Erreger in Kombination mit schlechter Erkennung und langsamen Gegenmaßnahmen kann katastrophale Folgen haben.

Wahrscheinlichkeit, dass „ein kompromittiertes Labor einen katastrophalen, künstlich herbeigeführten Ausbruch ermöglicht”: immer noch gering, aber nicht zu vernachlässigen und plausibel höher als viele andere X-Risiko-Szenarien, da weniger Wunder erforderlich sind.

Wahrscheinlichkeit einer „Auslöschung der Menschheit auf diesem Weg”: geringer als „Katastrophe/Zusammenbruch”, aber nicht gleich Null; es bleibt ein tiefes Tail-Risiko.

Alle Empfehlungen von GPT sahen vor, dass Menschen weiterhin in die biologische Forschung eingebunden bleiben sollten. Aber nachdem wir in den letzten Monaten gesehen haben, wie Vibe-Coding funktioniert, wie sicher können wir dann sein, dass Labore auf der ganzen Welt – einschließlich China – darauf bestehen werden, Menschen weiterhin einzubeziehen, wenn eine vollständige Automatisierung die Produktivität beschleunigen und die Wettbewerbsfähigkeit verbessern würde? Ich kann nicht sagen, dass ich hier besonders optimistisch bin.

Das Aufkommen von Vibe-Coding hat also meine eigenen Sorgen über ein wirklich katastrophales KI-Risiko erheblich verstärkt. Es scheint nun klar zu sein, dass brutale wirtschaftliche Kräfte die Menschheit dazu drängen werden, Menschen überall dort aus dem Prozess zu entfernen, wo dies möglich ist. Und in jedem Bereich, in dem Daten reichlich vorhanden sind, Ergebnisse überprüft werden können und es keine physischen Engpässe gibt, scheint es wahrscheinlich, dass es sich letztendlich als unwirtschaftlich erweisen wird, Menschen in den Prozess einzubeziehen.

Im Grunde genommen handelt es sich hierbei um ein weiteres Beispiel dafür, dass Überoptimierung zu Fragilität führt. Allerdings ist dieses Beispiel besonders extrem und katastrophal. Ich glaube nicht, dass die Menschheit dem Untergang geweiht ist, aber ich sehe kaum Anzeichen dafür, dass unsere Regierungen und andere Systeme die Bedrohung durch vibe-codierte Superviren so ernst nehmen, wie sie es sollten. Nicht einmal annähernd.

Wenn Sie mich also fragen, ob sich meine Sorgen über die Risiken der KI in den letzten Monaten wesentlich verändert haben, lautet die Antwort „Ja“. Ich halte es nach wie vor für sehr unwahrscheinlich, dass Skynet oder Agent Smith in naher Zukunft auftauchen und die Menschheit mit einer Armee von Robotern auslöschen werden. Aber ich gebe zu, dass mich der Gedanke an vibe-codierte Superviren jetzt nachts wach hält.