Artificial Analysis v5: KI-Modelle im neuen Benchmark-Test

Artificial Analysis, ein unabhängiger Anbieter für Benchmark-Tests von KI-Modellen, hat seinen Hauptindex aktualisiert. Der Artificial Analysis Intelligence Index v5, in dem die Ergebnisse von neun Benchmark-Tests miteinander verrechnet werden, enthält jetzt zwei neue Tests und arbeitet zum ersten Mal mit 60 Prozent nicht öffentlichen Aufgaben.

Ob die Aufgaben und Ergebnisse von einem Benchmark öffentlich bekannt sind, trägt viel dazu bei, wie die Modelle im Test performen. Denn die Entwickler von KI-Modellen trainieren ihre Systeme häufig gezielt so, dass sie bei den Benchmarks gut abschneiden, um ihr Modell besonders leistungsfähig aussehen zu lassen. Mehr Tests, deren Aufgaben geheim sind, sollen das verhindern. Ein Nachteil ist allerdings, dass die nicht öffentlichen Benchmarks nicht von Externen geprüft werden. Mögliche Fehler können daher nicht gefunden werden.

Neue Benchmarks im Artificial Analysis Index v5 sind laut Artificial Analysis der Terminal-Bench-Science, ein Test mit 70 agentischen wissenschaftlichen Aufgaben, und der FrontierCode 2.0. Der kürzlich von Cognition eingeführte nicht öffentliche Benchmark prüft möglichst reale Programmieraufgaben, bei denen bewertet wird, ob ein Repository-Betreuer die Änderung des Agenten übernehmen würde.

Geupgradet wurden die Benchmarks Humanity’s Last Exam Diamond, AA-Omniscience v1.1 und CritPt v2. Entfernt wurden GDPval-AA v2.1, SciCode und AA-LCR v1.1. Die gleichmäßige Gewichtung der Testergebnisse innerhalb des Indexes über die vier Bereiche Wissen, Programmieren, Wissenschaft und Allgemein bleibt gleich.

Veränderungen an Modellreihenfolge

Durch die Änderungen an den Tests schneiden die Modelle jetzt auch etwas anders ab. Claude Opus 5.5 führte die Rangliste nach der Änderung an, Googles Gemini 4 Carbon überholte es jedoch bei seinem Release kurz danach. Grok 4.7 verlor Punkte und auch Kimi K3.1 Pro sackte ebenfalls ab. Damit hat das beste offene Modell nun zwölf Punkte Differenz bis zur Spitze, nicht mehr drei. Wie der KI-Markt im Wandel zeigt, wechseln Unternehmen ihre Modelle inzwischen so häufig wie nie zuvor. Und offene Modelle legen in der Nutzung immer weiter zu.

(rie)