- Anders als Pangram: Kann man erkennen, ob eine Idee von ChatGPT stammt?
Schulen, Hochschulen, Wissenschaft und Medien, sie alle befinden sich in einem Katz-und-Maus-Spiel mit künstlicher Intelligenz: Welche Hausaufgaben, Studien und Berichte stammen von einem Menschen und welche wurden von einem großen Sprachmodell verfasst? Wo wurde KI als Hilfsmittel verwendet, um Texte zu formulieren, und wo war sie womöglich stärker involviert, vielleicht sogar beim Erstellen von Daten oder gar der Ideenfindung?
Während sich der Wissenschaftsbetrieb langsam damit arrangiert, dass Paper zunehmend mithilfe von KI verfasst werden, bleibt die Antwort auf die Frage nach dem Ursprung von Ideen schwierig. Texte lassen sich, mal mehr, mal weniger zuverlässig, auf KI-Formulierungen hin untersuchen. Doch kann es auch einen „Ideen-Detektor“ geben?
Forschungsidee: Was stammt vom KI-Modell und was hat sich ein Mensch überlegt?
Ja, sagen Forscher der Universität von Maryland und Google Deepmind. In einem noch nicht von unabhängigen Experten geprüften Preprint stellen sie IdeaLens vor: einen Algorithmus, der mutmaßlich erkennen kann, ob die Ideen eines Textes – und nicht nur der Text selbst – von einem Menschen oder einer Maschine stammen.
Während Prosa-Detektoren wie Pangram einen Text auf oberflächliche Merkmale wie die Auswahl der Wörter, die Satzstruktur und statistische Textmuster hin untersuchen, prüft IdeaLens den Text auf seine argumentative und inhaltliche Struktur. Denn auch darin lassen sich Hinweise darauf finden, ob ein Sprachmodell zum Einsatz kam.
IdeaLens zerlegt Texte in ihre diskursive Struktur
Das Tool, das auf einer Website selbst ausprobiert werden kann, funktioniert so: IdeaLens zerlegt einen Text, etwa eine wissenschaftliche Studie, zunächst in seine Einzelteile. Für jedes Segment wird sowohl der Inhalt als auch die Funktion beschrieben: Handelt es sich bei der Passage um einen Beweis, um eine Empfehlung oder eine Beschreibung, um nur drei mögliche Funktionen zu nennen. Um die Prosa als Störfaktor auszuschließen, zum Beispiel charakteristische Formulierungen eines Autors, wird der Inhalt durch ein eigenes Sprachmodell umgeschrieben; der ursprüngliche Schreibstil und die Wortwahl verschwinden nahezu komplett. Ein netter Nebeneffekt dieser Paraphrasierung: Das Modell kann mit vielen unterschiedlichen Sprachen arbeiten.
Am Ende entsteht eine diskursive Struktur, die jedem Text innewohnt, ganz gleich, ob eine kurze E-Mail oder ein 1000-Seiten-Roman: Autoren entscheiden, wie sie Inhalt und Funktion anordnen. Ein großes Sprachmodell tut das ebenfalls – nutzt dafür aber immer ähnliche Muster. Genau diese soll IdeaLens erkennen, indem es die Abfolge und Art der Argumente bewertet.
Testdatensatz aus einer Zeit vor ChatGPT und einer Zeit danach
Damit es valide Aussagen treffen kann, musste IdeaLens natürlich seinerseits zunächst trainiert werden. Dazu haben die Forschenden das Modell mit rund 800.000 Texten aus verschiedenen Quellen gefüttert, die mithilfe des KI-Detektors Pangram als entweder KI-generiert oder von einem Menschen geschrieben gelabelt wurden. Dass die Analysen von Pangram nicht 100-prozentig perfekt sind, sieht das Team als Vorteil, um ein gewisses „Rauschen“ in die Trainingsdaten zu bekommen.
Getestet wurde IdeaLens schließlich an einem Korpus von Texten, von denen ein Teil aus der Zeit vor ChatGPT stammt und man relativ sicher sein kann, dass sie nicht mithilfe von KI geschrieben wurden. Gegenüber Pangram überzeugte IdeaLens vor allem bei gemischter Urheberschaft, zum einen bei Texten, die von einer KI (mit)geschrieben wurden, aber auf menschlichen Ideen beruhen: Wo herkömmliche KI-Detektoren wie Pangram 4 dieselben Texte bis zu 92,4 Prozent als KI-generiert einstuften, sank die Rate bei IdeaLens, abhängig von der diskursiven Struktur des jeweiligen Textes, auf bis zu 7 Prozent. Soll heißen: Das Modell konnte an dem Testdatensatz, von dem die Forscher wussten, ob die Ideen mit oder ohne ChatGPT entstanden waren, deutlich zuverlässiger den Menschen oder die Maschine als Urheber ermitteln – ein wichtiger Aspekt bei der Bewertung von wissenschaftlichen Studien.
Im zweiten Fall, nämlich bei Texten, die Menschen auf Basis einer KI-generierten Struktur verfassen, erkannte IdeaLens die KI-Herkunft in 68 Prozent der Fälle. Prosa-Detektoren kamen hier auf eine Trefferquote von unter 10 Prozent.
Der Mensch wird präzise, die KI bleibt vage
Interessant ist, welche Unterschiede IdeaLens in der diskursiven Struktur in den Texten von Mensch und Maschine fand. Demnach enthalten menschliche Texte mehr spezielle Details oder Handlungsanweisungen, welche die Kernaussage oder die Schlussfolgerung des Autors unterstützen. Eine KI formuliert dagegen universeller mit austauschbaren Details. Auch benennen Menschen eher Grenzen und Hürden, während die KI Nachteile und Zielkonflikte eher unter den Tisch fallen lässt oder unterschätzt.
Trotz des innovativen Ansatzes habe IdeaLens noch einige Schwächen, sagen unabhängige Forscher. So sei das System nicht für das immer häufiger auftretende Szenario der „Co-Autorschaft“ geeignet, bei dem Mensch und Maschine schon den Ideenprozess gemeinsam gestalten und es keine klare Unterscheidung mehr gibt. Außerdem bleibe unklar, welche Hinweise das Modell genau heranzieht und wie es sie gewichtet, um seine Aussagen zu treffen – auf diesen Black-Box-Charakter weist das Team um Rishanth Rajendhran auch selbst hin.
Wie Rajendhran gegenüber Science sagt, sollte IdeaLens zusammen mit anderen Erkennungsinstrumenten eingesetzt werden, um den Einsatz von KI im gesamten Werk eines Forschers oder einer Forscherin zu untersuchen, und nicht nur in Einzelfällen. „Angesichts des Reputationsschadens, den solche Vorfälle mit sich bringen, ist es wichtig, dass wir vorsichtig damit umgehen“, sagt er. Die Forschenden sehen den Einsatz des Modells letztlich nicht nur darin, Menschen der Nutzung von KI zu überführen. Sondern auch darin, dass sich Wissenschaftler und Wissenschaftlerinnen selbst bewusst machen können, welche Rolle KI in ihrer Arbeit spielt.
Dieser Text erschien zuerst auf t3n.de.
(jle)
Source: Heise · Eike Kühl
At a glance
- Topic
- Technology
- Country
- 🇩🇪 DE
- Publisher language
- DE
- Added to Allnira