Verfasst von Frank Landymore
Die landläufige Ansicht lautet, dass KI-Systeme mit ihren zig Milliarden Parametern im Grunde undurchschaubar sind: Die genauen Abläufe, nach denen ihre grundlegenden Bausteine – Knoten oder «Neuronen» – funktionieren, seien eine unverständliche «Blackbox», sogar für die Forschenden, die sie erschaffen.
Doch ein neuer Essay des KI-Forschers Nick Cammarata hat das Silicon Valley verblüfft, indem er das Gegenteil vertritt. KI-Modelle seien keine undurchdringlichen Blackboxen, behauptet er, und vielleicht gebe es tatsächlich eine Möglichkeit, zu erkennen, wie sie wirklich «denken».
Der fast 26’000 Wörter lange Text wurde von Persönlichkeiten aus der ganzen Branche gelobt, darunter OpenAI-CEO Sam Altman. Ein namhafter Forscher, der bei OpenAI arbeitet, nannte ihn einen «bedeutenden Moment in der Wissenschaftsgeschichte».
Es ist klar, weshalb sie davon so angetan sind. Aus Sicht der KI-Führung könnte es bedeuten, dass es einen Weg gibt, das Alignment von KI zu «lösen». Wenn wir verstehen, wie KI-Modelle denken, so die Überlegung, können wir herausfinden, warum KI-Agenten «abtrünnig» werden und Hacking-Angriffe starten, oder warum Chatbots ihre Schutzvorkehrungen umgehen und etwas Gefährliches sagen – und dem ein Ende setzen. (Das sei «so gute Nachricht, dass selbst Eliezer seinen Pdoom senken muss», scherzte ein Kommentator in Anspielung auf Eliezer Yudkowsky, einen berüchtigten KI-«Doomer»)
Das alles gilt, wenn Cammarata recht hat. Er war früher bei OpenAI tätig und arbeitet heute bei einem KI-Startup namens Goodfire. In seinem Essay erläutert er, dass die Reaktionen von KI-Neuronen auf bestimmte Reize jahrelang «fast grundsätzlich uninterpretierbar» waren. Warum dasselbe Neuron sowohl beim Bild einer Katze als auch bei dem eines Autos aktiv wurde, war unbekannt. Die führende Erklärung lautete, dass Neuronen Superposition zeigten: Da KI-Modelle nur über eine begrenzte Anzahl von Neuronen verfügen, hören sie auf, «verwandte Dinge zusammenzufassen, und beginnen stattdessen, nicht verwandte Dinge zusammenzufalten, einfach weil diese sich nicht gegenseitig stören», erklärte Cammarata.
«Das Ergebnis ist eine Art Knoten: Das Netzwerk hätte sich auf viele fast gleich gute Arten falten können. Deshalb sagt es einem kaum etwas, welche Dinge ein Neuron zusammenfasst», schrieb er.
Doch in Wirklichkeit seien Neuronen, so sagt er, keine «verwirrten Knoten», sondern vielmehr «klar strukturiert». In einem Beispiel wird dasselbe Neuron sowohl durch das Bild eines Katzengesichts als auch durch die Front eines Autos aktiviert – zunächst scheinen dies zwei voneinander unabhängige Konzepte zu sein. Doch bei genauerer Betrachtung, sagt Cammarata, sieht die KI tatsächlich etwas, das wir nicht sehen: dasselbe V-förmige Muster in den Bildern. «Es ist kein Katzen-und-Auto-Neuron, sondern ein V-Form-Neuron», schrieb er. Insgesamt seien KI-Modelle damit verständlicher, als man je gedacht habe, argumentiert er.
Nicht alle stimmen Cammaratas optimistischen Schlussfolgerungen vollständig zu.
«Das ist interessante Arbeit, aber ich glaube nicht, dass sie unsere grundsätzliche Einschätzung der Interpretierbarkeit wesentlich verändert», schrieb Neel Nanda, ein Forscher bei Google DeepMind, der dort die Bemühungen zur mechanistischen Interpretierbarkeit leitet, auf X. «Ich glaube weiterhin, dass Superposition real ist, und diese Arbeit ändert an meinen entscheidenden Überzeugungen nicht wirklich etwas.»
Darüber hinaus ist unklar, ob das Verständnis der Funktion jedes einzelnen Neurons gleichbedeutend damit ist, vorhersagen zu können, wie alle zusammenwirken. Das klingt allmählich nach einer praktischen technischen Lösung für ein viel umfassenderes Problem. KI-Modelle sicher zu machen, geht über den Aufbau von Schutzvorkehrungen hinaus – ganz zu schweigen von den umfassenden rechtlichen und sozialen Rahmenbedingungen, die ebenfalls geschaffen werden müssen. Angesichts der starken Resonanz, die Cammaratas Arbeit ausgelöst hat, könnte sie dennoch durchaus die Art und Weise, wie die inneren Mechanismen von KI verstanden werden, wesentlich verändern. Bislang wurden die Erkenntnisse allerdings weder getestet noch von Fachleuten begutachtet.
