Pro Artikel

Warnungen vor katastrophalen Folgen von KI überschatten den Börsengang von Anthropic

Sicherheitsforscher schlagen Alarm. Sie sorgen sich wegen KI, der der Mensch nicht mehr hinterherkommt. Ironischerweise profitieren sie selbst vom Boom der Branche. Ein Stimmungsbericht aus dem Silicon Valley.

21.11.2026, 05.30 Uhr

6 Leseminuten


Vor dem Firmensitz von Anthropic demonstrieren am Tag des Börsengangs viele KI-Sicherheitsforscher.

Vor dem Firmensitz von Anthropic demonstrieren am Tag des Börsengangs viele KI-Sicherheitsforscher.

Manuel Orbegozo / Reuters

Wenige Stunden nach dem grössten Börsengang der Geschichte ist die Stimmung vor Anthropics Firmensitz in San Francisco gedrückt. Der Eingangsbereich ist mit gelbem Absperrband weitläufig abgeriegelt, dahinter stehen zahlreiche Sicherheitskräfte bereit. Doch die Dutzende von Demonstranten, die sich an diesem regnerischen Vormittag in der Innenstadt versammelt haben, sind nicht auf Krawall aus.

Optimieren Sie Ihre Browsereinstellungen

NZZ.ch benötigt JavaScript für wichtige Funktionen. Ihr Browser oder Adblocker verhindert dies momentan.

Bitte passen Sie die Einstellungen an.

Sie wollen die Öffentlichkeit aufrütteln. «Künstliche Intelligenz ist kein Wettrennen, baut sie mit menschlicher Geschwindigkeit!», fordert der Sprechchor. Dawson ruft mit, in der Hand ein Protestschild. Der 25-Jährige – schicker Stoffmantel, kariertes Hemd – arbeitet wie so viele der Protestierenden daran, KI sicherer zu machen. Er versteht genau, wovor er warnt: einer mächtigen KI, die der Menschheit katastrophalen Schaden zufügen kann.

Im Silicon-Valley-Slang hat sich für die Wahrscheinlichkeit einer durch KI ausgelösten Katastrophe der Begriff «probability of doom», kurz «p doom», etabliert. Danach zu fragen, gehört zum Smalltalk. Schnell wird klar, wer die KI-Zukunft rosig sieht und wer die Entwicklung der Technologie am liebsten aufhalten würde.

Dawsons «p doom» ist 10 bis 20 Prozent. Er fordert eine Regulierung der führenden KI-Firmen. Vertraut er Anthropic mehr als der Konkurrenz? Schliesslich reden die Firmengründer immer von verantwortungsvoller KI-Forschung. «Ja», sagt Dawson, fügt aber hinzu, auch wenn er dem Betreiber eines Atomreaktors vertraue, sei es besser, wenn man diesen streng überwache.

Andere Demonstranten sehen die Zukunft noch düsterer. Andreas, 56, arbeitete bis vor einigen Monaten für einen Tech-Konzern in New York. Dann schmiss er diesen Job hin und zog nach San Francisco, mit dem Ziel, für ein Non-Profit-Unternehmen an KI-Sicherheit zu forschen. Sein «p doom» liege «bei mehr als 50 Prozent», sagt er im Gespräch.

Neuer Report warnt vor rasanten KI-Fortschritten

Und noch ein zweiter Begriff fällt im Silicon Valley gerade andauernd: «recursive self-improvement», kurz RSI. «Stop RSI» steht auch auf den Plakaten der Protestierenden. Gemeint ist KI, die sich selbst verbessert, ohne menschlichen Input. Viele sorgen sich, dass wegen RSI die Entwicklung immer besserer KI bald nicht mehr aufzuhalten sein wird. Dass dabei eine Maschine entsteht, die den Menschen in allen intellektuellen Belangen übertrifft.

Zwei neue Publikationen befeuern diese Sorgen: In dem Bericht, den Anthropic kurz vor dem Börsengang an die Aufsichtsbehörde SEC schickte, schreibt das Unternehmen, die Fortschritte in der KI-Entwicklung seien jüngst so rasant gewesen, dass man erstmals interne Überwachungsprozesse eingeführt habe.

Und auch ein neu veröffentlichter Bericht des Forschungsinstituts Metr warnt vor einem drohenden Kontrollverlust in der KI-Entwicklung. Das Non-Profit-Unternehmen mit Sitz in Berkeley erhält regelmässig umfangreichen Einblick in Interna von Anthropic und Open AI. Dann informiert es die Öffentlichkeit über die Fortschritte innerhalb der KI-Firmen. Die Firmen räumen sich aber das Recht ein, die Veröffentlichungen zu zensieren.

Von diesem Recht habe Anthropic nach der jüngsten Untersuchung Gebrauch gemacht, schreibt Metr. Deshalb dürfe man nicht alle Argumente und Indizien veröffentlichen, die den eigenen Schlüssen zugrunde lägen. «Die Öffentlichkeit muss uns mehr vertrauen, als angesichts des Gewichts der behandelten Fragen angebracht wäre», schreibt Metr.

Die Haupterkenntnis aus dem Bericht: KI wird noch schneller besser als noch vor ein paar Monaten gedacht. Damals sprach man davon, dass neueste KI-Modelle fähig seien, Programmieraufträge zu erledigen, für die ein KI-Forscher 16 Stunden brauchen würde – in 50 Prozent der Fälle mit Erfolg. Inzwischen gelingt das bei Aufträgen, die 50 Stunden Arbeitszeit benötigen. Anhand dieser Zahlen misst Metr die Geschwindigkeit des Fortschritts bei KI. Im Moment schätzt die Firma, dass sich die Fähigkeiten von KI alle vier Monate verdoppeln.

Diese Geschwindigkeit der Entwicklung könnte schon in wenigen Monaten verunmöglichen, dass Menschen neue KI-Systeme verstehen und einschätzen könnten, mahnt Metr – es drohe ein Kontrollverlust mit möglicherweise katastrophalen Folgen.

KI-Lügendetektoren und Zugangsschranken für Chips

Metr ist nicht die einzige Firma, die vor Kontrollverlust warnt. Es gibt in und rund um San Francisco ein ganzes Ökosystem von Instituten und Non-Profit-Unternehmen, die sich damit beschäftigen, welche Gefahren von zu mächtiger KI ausgehen.

Sie forschen an Lügendetektoren für KI, die verhindern sollen, dass KI-Agenten Menschen hinters Licht führen. Sie testen, wie lange es braucht, die Sicherheitsschranken von KI-Modellen zu umgehen. Sie diskutieren, wie man eine 10-jährige Pause bei der Entwicklung neuer KI umsetzen könnte. Das Ziel dabei wäre, Zeit zu gewinnen, um die Gesellschaft auf die Veränderungen einzustellen und an Sicherheit zu forschen.

Am Mittagstisch diskutieren die mehrheitlich jungen und männlichen Angestellten der Institute ihre Forschung und sinnieren darüber, ob man angesichts der Risiken noch mit gutem Gewissen eine Familie gründen könne. Manche schlagen ein weltweites Verbot vor, KI weiter zu verbessern. Umsetzen würden sie dies durch eine strenge Kontrolle von Computerchips, die es braucht, um KI zu entwickeln.

Einige wenige Geldgeber finanzieren Forschung an KI-Sicherheit

Noch sind diejenigen, die vor einem Kontrollverlust warnen, in der Minderheit, die meisten KI-Forscher sind optimistisch. Doch Vorfälle wie der Hack auf Hugging Face durch KI-Agenten von Open AI im Sommer unterstützen das Narrativ der Untergangspropheten.

Viele von ihnen stehen dem effektiven Altruismus nahe, einer Bewegung, deren Anhänger danach streben, möglichst rational und pragmatisch das Gute in der Welt zu maximieren. So auch Ryan Kidd, Mitgründer und CEO von Mats Research, einer Organisation, die Forscher im Bereich KI-Sicherheit mit Geld und Coaching unterstützt. Er sei ein Klimaaktivist gewesen, sagt er. «Ich habe demonstriert und so. Es gibt viele Anliegen, die mir am Herzen liegen. Aber ich arbeite an KI-Sicherheit, weil ich glaube, dass das jetzt das Riskanteste ist.»

«P doom» findet Kidd unwissenschaftlich. Aber das Risiko der Auslöschung der Menschheit durch KI im Jahr 2100 beziffert er auf 5 Prozent.

Das Geld für Mats Research, Metr und viele andere Organisationen kommt von einigen wenigen Philanthropen im Dunstkreis der effektiven Altruisten. Dazu gehört die Organisation Coefficient Giving von Dustin Moskovitz, Mitgründer von Facebook und früher Investor bei Anthropic. Durch den Börsengang wird sein Spendentopf nochmals um mehrere Milliarden grösser.

Dazu kommen Hunderte versprochene Milliarden von Anthropic-Angestellten und Open AIs gemeinnütziger Stiftung. Es kursiert so viel Geld, dass es nicht genug Menschen im Bereich der KI-Sicherheit gibt, um es auszugeben – und das, obwohl die Sicherheitsinstitute mit den astronomischen Gehältern der KI-Firmen mithalten, um an Talente zu kommen.

Ryan Kidd anerkennt, wie seltsam es ist, dass die Organisationen, die vor KI-Risiken warnen, indirekt vom KI-Boom profitieren. Aber das Problem dränge so sehr, dass man eben das Geld nehmen müsse, das man kriegen könne.

Die Warner sind laut, aber es gibt auch andere Sichtweisen

Andere sehen die Verflechtungen kritischer. Zum Beispiel Archit Lohani. Er forscht in Stanford zu Technikpolitik. Dort hat er die Gruppe Stanford Critical AI mitgegründet, mit dem Ziel, dem KI-Hype wie auch Untergangsszenarien kritisch zu begegnen. Er sagt: «Unabhängige Evaluierung ist unerlässlich, und viele dieser Forscher leisten sorgfältige Arbeit. Aber Unabhängigkeit kommt von der Art und Weise, wie eine Organisation aufgebaut ist, nicht von guten Absichten.»

Es sei ein Problem, dass eine Handvoll kleiner gemeinnütziger Organisationen als externe Prüfer der fortschrittlichsten KI der Welt fungierten. Noch dazu finanziert von einer kleinen Gruppe Spender und abhängig von der Zusammenarbeit der Firmen, die sie hinterfragen sollen. Das beeinflusse die Wahrnehmung von Gefahren und nötigen Standards, noch bevor ein Gesetz geschrieben sei. Überwachung, Ausbeutung oder Diskriminierung etwa kämen kaum vor. Diese Gefahren seien realer als Untergangsszenarien.

Und es gibt auch Experten, die an RSI glauben, aber die Warnungen der Sicherheitsforscher nicht teilen. Der deutschstämmige KI-Experte Richard Socher etwa. Er selbst baut gerade die Firma Recursive auf, die dank RSI wissenschaftliche Durchbrüche erreichen will – etwa ganz neue Medikamente und Materialien. Er ist überzeugt, dass der Nutzen überwiegen werde. Die Wahrscheinlichkeit eines katastrophalen Ereignisses durch RSI, das die Menschheit gefährdet, sieht er bei praktisch null.

Passend zum Artikel

Source: Neue Zürcher Zeitung · Marie-Astrid Langer, Ruth Fulterer

At a glance

Topic
World
Country
🇨🇭 CH
Publisher language
DE
Added to Allnira