Wie Open AI die kommenden Midterms vor KI-Manipulation schützen will

Pro Artikel

Wasserzeichen, Cartoons und KI-Modelle, die wiederum die KI überwachen: So will Open AI die Manipulation der Kongresswahlen verhindern

KI-Modelle sind so mächtig wie nie. Das könnten auch böswillige Akteure ausnutzen, um die Kongresswahlen zu manipulieren. Der Wahlverantwortliche von Open AI, Josh Lawson, erklärt im Interview, wie die Firma hinter Chat-GPT das verhindern will.

31.10.2026, 16.50 Uhr

6 Leseminuten

Egal, wie die Zwischenwahlen am kommenden Dienstag (3. November) ausgehen, sie werden Geschichte schreiben: als die ersten wirklichen KI-Wahlen. Die Modelle sind heute viel mächtiger als noch 2024, auch die Nutzung von KI ist viel tiefer in der Gesellschaft verwurzelt. Zahlreiche Wähler suchen heute Informationen über Kandidaten, Abstimmungen und Wahllokale via Gemini, Claude, Chat-GPT und Co.

Optimieren Sie Ihre Browsereinstellungen

NZZ.ch benötigt JavaScript für wichtige Funktionen. Ihr Browser oder Adblocker verhindert dies momentan.

Bitte passen Sie die Einstellungen an.

Doch KI wird zunehmend auch zur Täuschung genutzt. Besonderen Grund zur Sorge geben Versuche böswilliger Akteure, die Wahlen mithilfe von KI zu unterwandern. Anfang Oktober veröffentlichte Open AI in einem Bericht zwei Einflussoperationen, bei denen russische und iranische Akteure KI-Modelle nutzten, um «geopolitische, konfliktbezogene Botschaften an ihre Zielgruppen zu vermitteln».

Andere Verwendungen von KI sind weniger böswillig, werfen aber dennoch Grundsatzfragen auf. Eine Untersuchung der Wesleyan University in Connecticut fand 220 Werbevideos von Kandidaten, die mithilfe von KI generiert wurden: Mal wurden dem Gegner Worte in den Mund gelegt, die er so nie gesagt hat, mal wurde er in Situationen gezeigt, die sich so nie zugetragen haben. Die KI-Videos wurden mit 137 Millionen Dollar an Werbeausgaben in der Gesellschaft verbreitet. Nur ein Drittel wies die Zuschauer darauf hin, dass die Inhalte mit KI generiert worden waren.

Das setzt die KI-Firmen unter Zugzwang. Um Deepfakes politischer Inhalte zu verhindern, hat Open AI vor wenigen Tagen die «Cartoonification» eingeführt: Jegliche Anfrage zur Bildgenerierung, die zur Wahltäuschung genutzt werden könnte, liefert nun ein Comicbild statt eines fotorealistischen Bildes.

Zudem hat Open AI ein Election Operation Center eingerichtet: eine Art Krisenzentrum, von dem aus Hunderte Open-AI-Mitarbeiter die Ereignisse rund um die Zwischenwahlen verfolgen. All diese Bemühungen verantwortet Josh Lawson. In der Vergangenheit war er bereits für die Integrität von Wahlen bei Facebooks Mutterkonzern Meta zuständig.

Herr Lawson, was tun Sie gegen die Verbreitung von Deepfakes?

Die Möglichkeiten zur Erzeugung synthetischer Medien (also mit KI-generierte Inhalte, Anm. d. Red.) sind heute sehr weit entwickelt – deutlich weiter als 2024. Böswillige Akteure, die Deepfakes erstellen wollen, können problemlos fotorealistische Bilder und Videos erzeugen. Wir bei Open AI haben allerdings mit der Einstellung von Sora unsere Möglichkeiten zur Videoerzeugung zurückgezogen. Auch das Klonen von Stimmen erlauben wir nicht.

Wer solche Inhalte mit böswilliger Absicht erstellt, braucht einen Verbreitungskanal. Wir gehen davon aus, dass dies weiterhin soziale Netzwerke, Messenger und in geringerem Masse Blogs sein werden. Deshalb stellen wir die nötige Infrastruktur bereit, um die Plattformen zu unterstützen, falls sie unsere Hinweise zur Echtheit von Inhalten nutzen wollen. Letztlich sind sie aber am ehesten in der Lage einzugreifen.

Midterms in den USA

Am 3. November 2026 finden in den USA die Kongresswahlen statt. Sie kommen einem Plebiszit über den Leistungsausweis des Präsidenten gleich. Was bedeuten sie für Amerika und die Welt?

Alle Artikel anzeigen

Frage: Wo sehen Sie die grösste Gefahr für Einmischungen in die Wahlen?

Antwort: Eine zentrale Frage ist, ob die sozialen Netzwerke und anderen Plattformen die Informationen von uns überhaupt nutzen werden. Beispielsweise entfernen sie beim Hochladen von Fotos bestimmte Metadaten der Bilder, die ihre Herkunft und Bearbeitung gespeichert haben. Das ist bedauerlich.

Antwort: Zweitens mache ich mir Sorgen über die Cybersicherheit. Die Fähigkeiten für Cyberangriffe nehmen erheblich zu. Dadurch können auch wenig versierte böswillige Akteure Verunsicherung stiften oder die Wahlinfrastruktur angreifen. Das beobachten wir sehr genau.

Antwort: Drittens müssen wir sicherstellen, dass wir korrekte Informationen bereitstellen, etwa durch Datenpartnerschaften mit der Nachrichtenagentur Associated Press. Ich glaube, wir sind inzwischen die zweitgrösste Suchmaschine der Welt. Damit geht auch die Verantwortung einher, dafür zu sorgen, dass unser KI-Modell politisch neutral ist.

Frage: Wie sieht es mit der Zusammenarbeit zwischen den führenden KI-Unternehmen aus: Tauschen Sie mit Anthropic, Google und Co. Informationen aus?

Antwort: Ja. In unseren Bedrohungsberichten sehen Sie gelegentlich, dass wir ein Netzwerk identifiziert haben, das offenbar eine Operation durchgeführt und dabei versucht hat, die Dienste eines anderen KI-Labors oder eines sozialen Netzwerks zu nutzen.

Antwort: Mit vielen dieser Unternehmen haben wir bilaterale Vereinbarungen, um sie auf Missbrauch hinzuweisen. Das haben wir beispielsweise bei Anthropic, Meta, X, Tiktok und anderen getan. Wir versuchen, diese Informationen so umfassend wie möglich zu teilen. Das geht auch über das hinaus, was wir in unseren öffentlich zugänglichen Berichten schreiben.

Frage: Für die meisten Nutzer ist es schwer, echte von KI-generierten Fotos zu unterscheiden. Sie stellen dafür Synth-ID bereit, eine Art unsichtbares Wasserzeichen. Nun zeigen Berichte, dass sich selbst das umgehen lässt. Was bleibt Ihnen da noch?

Antwort: Es gibt tatsächlich keine einzelne technische Lösung, die alle Aspekte des Problems abdeckt und die ein hochmotivierter, böswilliger Akteur nicht umgehen könnte.

Antwort: Das Gute an Synth-ID ist, dass es auch dann noch mit dem Foto verbunden bleibt, wenn man einen Screenshot davon macht. Aber jemand könnte das Bild in einem Bildbearbeitungsprogramm unscharf machen oder starkes Bildrauschen hinzufügen, und dann wäre die Wirkung dahin.

Antwort: Aber vergessen Sie nicht: Es gibt unterschiedliche Arten von Akteuren. Manche sind wenig motiviert oder technisch wenig versiert. Deshalb lohnt sich die Verwendung von Synth-ID trotzdem – auch wenn es nicht das ist, was eine technisch hochentwickelte, russische Operation stoppen wird.

Antwort: Es ist auch nur ein Baustein eines mehrstufigen Systems. Im Hintergrund verfügen wir über umfangreiche Systeme, die erkennen sollen, wenn böswillige Akteure Inhalte erstellen mit dem Ziel, andere zu täuschen.

Frage: Sind auch Menschen Teil dieses Systems, also prüfen Ihre Mitarbeiter bisweilen die Inhalte, die Ihre KI-Modelle generieren?

Antwort: Wir haben sowohl automatisierte als auch menschliche Prüfinstanzen. Bei bestimmten grossen Unternehmen und Organisationen speichern wir die Daten gar nicht, etwa bei Anwaltskanzleien oder Krankenhäusern. Generell verzichten wir aber nicht vollständig auf die Speicherung. Stattdessen haben wir ein System: Zunächst prüfen KI-Klassifikatoren, ob eine Anfrage auffällig ist.

Antwort: Wenn etwa der Verdacht besteht, dass es um Wahlbeeinflussung geht, werden diese Fälle von einer KI an ein grösseres Sprachmodell weitergeleitet. Auch dieser Schritt ist noch automatisiert. Diese KI prüft dann die gesamte Unterhaltung.

Antwort: Wenn sich dabei der Verdacht ergibt, dass der Nutzer böswillige Absichten haben könnte, kann der Fall an einen Mitarbeiter weitergegeben werden. Bei jedem Schritt wird aber streng geprüft, wer welche Inhalte einsehen darf.

Antwort: Einige unserer Konkurrenten verfolgen den Ansatz, dass sie gar keine Inhalte sehen wollen. So können sie öffentlich sagen, sie hätten einen ganz strengen Datenschutz. Aus meiner Sicht gehen sie aber deutlich grössere Sicherheitsrisiken ein – insbesondere dann, wenn ihre Plattformen bei Themen wie Cybersecurity, Biologie und Wahlbeeinflussung an der Spitze der technischen Entwicklung stehen.

Frage: Was wäre, wenn ein technisch versierter, böswilliger Akteur für jeden einzelnen Prompt ein neues Konto anlegen würde, um sich so schrittweise heikle Antworten generieren zu lassen? Würden Ihre Systeme das erkennen?

Antwort: Wir nennen das den Mosaikeffekt: Wir verknüpfen Aktivitäten anhand vieler verschiedener Anhaltspunkte, etwa der IP-Adresse und der Gerätenummer. Mehrere Dutzend solcher Hinweise werden dann in einer Gleichung zusammengeführt. So versuchen wir zu ermitteln, mit welcher Sicherheit wir davon ausgehen können, dass zwei vermeintlich unterschiedliche Personen tatsächlich derselbe Nutzer sind.

Antwort: Das ist auch deswegen wichtig, weil wir Personen, die gegen unsere Nutzungsbedingungen verstossen, lebenslang von unserer Plattform ausschliessen. Und wir überprüfen auch regelmässig, ob diese Akteure versuchen zurückzukehren.

Frage: Sie ergreifen all diese Massnahmen, um Einflussnahmen zu verhindern. Wie sehr beunruhigt Sie das sogenannte «perception hacking», also die gezielte Manipulation dessen, was Menschen für wahr und was für KI-generiert halten?

Antwort: Wir gehen davon aus, dass Nutzer nicht falsch informiert werden möchten. Deshalb ist es in ihrem Sinne, wenn wir ihnen gründlich geprüfte Informationen liefern.

Antwort: Wenn Sie Chat-GPT heute fragen: «Ist die Briefwahl in den USA eine sichere und wirksame Möglichkeit abzustimmen?», zieht das Sprachmodell staatliche Quellen heran – und zwar besonders sorgfältig geprüfte, die sich seit langem mit der Sicherheit der Briefwahl befassen. Es schaut nicht nur auf Trumps jüngste Exekutivverordnung zu dem Thema.

Antwort: Dasselbe gilt für Breaking News. Ich denke, wir sind relativ gut aufgestellt, aber wir beobachten das sehr genau. Wir halten Notfallmassnahmen bereit für den Fall, dass das Modell beginnt, Informationen auf ungewöhnliche Weise auszugeben.

Frage: Ich denke etwa an das «Grab ’em by the pussy»-Video von Donald Trump, das während des Präsidentschaftswahlkampfs 2016 zu reden gab. Heute würde jeder behaupten, es sei KI-generiert. Wie gehen Sie damit um?

Antwort: Das ist ein echtes Problem. Aber es ist eine gesamtgesellschaftliche Frage, und wir wissen auch, dass wir nicht die Besten sind, um sie zu beantworten. Wir versuchen sicherzustellen, dass alles, was wir in die Welt bringen, mit einem Herkunftsnachweis ausgestattet ist, dass wir unserer Sorgfaltspflicht nachkommen und dass wir aktiv nach einem Missbrauch unserer Angebote suchen. Aber wir wissen auch: Selbst wenn wir alles perfekt machen würden, gäbe es noch immer sehr viele andere, offen verfügbare KI-Werkzeuge, die böswillige Akteure nutzen können.

Passend zum Artikel