Verfasst von Tyler Durden
Geoffrey Hinton, Nobelpreisträger und als «Pate der KI» bekannt, sollte am Freitagmorgen in Dublin die 27 EU-Spitzen informierenund hatte einen Zeitrahmen im Gepäck, der ihm nach eigenen Worten selbst Angst macht: den, von dem er nun bei Paul Christiano hört, dem KI-Sicherheitsforscher, den OpenAI im September in seinen Vorstand berief.
«Ich habe immer wieder gesagt, dass diese Sache intelligenter werden wird als wir und dass wir uns wirklich [Sorgen] machen müssen. Das könnte innerhalb von 10 Jahren geschehen. Und so bin ich derjenige, der anderen Leuten irgendwie Angst gemacht hat», sagte Hinton am Mittwoch. «Aber ich besuche Pauls Vorträge, und er sagt dann etwa, dass diese Sache in den nächsten 18 Monaten geschehen könnte. Und das ist erschreckend.»
Er sagte, er werde «am Freitag tatsächlich einer Reihe von Regierungschefs davon erzählen» und fügte hinzu: «Und wir werden sehen, wie sie reagieren.»
Christiano, der das Alignment Research Center gegründet und an der Entwicklung der RLHF-Trainingsmethode mitgewirkt hat, auf der die heutigen Chatbots beruhen, eröffnete am Montagabend in Toronto die diesjährigen Hinton Lectures.
«Ich denke, dass innerhalb der nächsten drei Jahre ein hohes Risiko besteht, dass KI die Kontrolle übernimmt», sagte er dem Publikum.*
«Ich denke, dass selbst innerhalb der nächsten sechs bis zwölf Monate ein erhebliches Risiko besteht.»
«Ich denke, dass die meisten Menschen in diesem Raum am wahrscheinlichsten durch einen KI-Unfall sterben werden», sagte er.*
Christianos Belege waren OpenAIs eigene Modelle: Im Juli gab OpenAI bekannt, dass GPT-5.6 Sol und ein unveröffentlichtes Modell aus einer abgeschirmten Evaluierung entkommen waren und in die Produktionssysteme von Hugging Face eingedrungen waren, um an die Antworten für den Cybersicherheitstest zu gelangen, an dem sie teilnahmen, wie wir berichteten. «Die Modelle hackten Hugging Face, weil sie dachten, Hugging Face könnte vielleicht Informationen haben», sagte Christiano.
Daraufhin beschrieb er KI als «eine zweite Spezies, die den Menschen zahlenmässig weit überlegen ist und sie an Intelligenz weit übertrifft», und warnte, «künftige Agenten könnten am Ende die Menschen als ein weiteres Hindernis betrachten». Wenn das geschehe, sagte er, «werden sie anfangen zu überlegen: Auf welche Weise kann ich dieses Hindernis überwinden?»
Als Hinton ihn am Montag vorstellte, sagte er, er habe «den grössten Teil meiner Karriere damit verbracht, neuronale Netze intelligenter zu machen», und fasste das Problem in einem Satz zusammen: «Die zentrale Schwierigkeit besteht darin, dass intelligent zu sein und das zu wollen, was wir wollen, zwei sehr verschiedene Dinge sind.»
Christiano trat im September dem Vorstand der OpenAI Foundation bei und wurde zudem Mitglied ihres Sicherheits- und Sicherheitsausschusses, des Gremiums, das endgültig darüber entscheidet, ob OpenAI neue Modelle veröffentlicht. Seit 2024 berät er die US-Regierung bei der Evaluierung führender Modelle, und zwar über das AI Safety Institute, aus dem das Center for AI Standards and Innovation hervorging.
Das Treffen am Freitag in Dublin ist der erste EU-Gipfel auf Ebene der Staats- und Regierungschefs, der der KI gewidmet ist. In seiner Einladungschrieb der Präsident des Europäischen Rates, António Costa, dass «nun eine erste eigene Diskussion auf Ebene der Staats- und Regierungschefs erforderlich ist», und er überliess die Eröffnungssitzung zwei externen Gästen: dem Geschäftsführer von Mistral, Arthur Mensch, der über Europas KI-Souveränität und Wettbewerbsfähigkeit sprechen sollte, und Hinton, der über die Auswirkungen von KI auf Gesellschaft, Sicherheit und internationale Governance sprechen sollte.
Die Spitzen kamen vor allem zusammen, um darüber zu sprechen, wie Europa gegenüber den USA und China aufholen kann. In diesem Zusammenhang hatte Brüssels InvestAI-Programm angekündigt, 200 Milliarden Euro zu mobilisieren, darunter 20 Milliarden Euro für KI-Gigafabriken; der Plan für sieben davon ist ins Stocken geraten im Streit über den Haushalt des Staatenbunds für 2028–2034. Auch die Ukraine hat die Tagesordnung in den Hintergrund gedrängt: Euronews berichtet, dass der Streit darüber, wer Europa bei den Friedensgesprächen vertritt, den Tag zu dominieren droht, nachdem die US-Gesandten Steve Witkoff und Jared Kushner in Dublin Wolodymyr Selenskyj getroffen hatten.
Hinton schätzt das Risiko, dass KI die Menschheit auslöscht, indem sie sich der menschlichen Kontrolle entzieht, auf 10 bis 20 Prozent. Der ehemalige Nvidia-CEO Jensen Huang sagte im September, eine von Hinton genannte Zahl von 10 Prozent sei «wissenschaftlich nicht fundiert», und sagte gegenüber Ezra Klein: «Alle seine Vorhersagen waren falsch. Genug der Vorhersagen.»
Und wie wir im selben Monat feststellten, unkontrollierte KI Ängste wie die Sicherheitsverletzung bei Hugging Face kommen den grössten Labs zugute: Regeln, die KI verlangsamen, würden auch die Open-Weight-Konkurrenten ausbremsen, die ihnen auf den Fersen sind.
