1. Model-Schau: Schnelle offene Modelle, Preisverfall und neue Mathematik
  2. Preisverfall und Wachstum bei Cloudanbietern
Auf einer Seite lesen

Während Alibaba Qwen4 zunächst in der großen, (noch) nicht offenen Version Qwen4-Max veröffentlicht hat, zeigen sich auch jenseits davon spannende Entwicklungen bei den Sprachmodellen. Moonshot hat die Gewichte des Kimi K3.1-Pro-Modells veröffentlicht, und Nvidia stellt ein leistungsfähiges Transkriptionsmodell zur Verfügung. Vor allem aber schießen derzeit optimierte Inferenzserver dank Vibe Coding wie Pilze aus dem Boden und senken die Hürden für den lokalen Betrieb großer Modelle.

Prof. Dr. Christian Winkler beschäftigt sich speziell mit der automatisierten Analyse natürlichsprachiger Texte (NLP). Als Professor an der TH Nürnberg konzentriert er sich bei seiner Forschung auf die Optimierung der User Experience.

Neue offene Modelle

Wie versprochen hat Moonshot die Gewichte von Kimi K3.1 nun öffentlich auf Hugging Face bereitgestellt. Moonshot hat vor allem am Post-Training gearbeitet und das Modell dadurch erheblich verbessert. Laut den Angaben auf der Website kann es mit aktuellen kommerziellen Modellen wie Opus 5.5 konkurrieren und übertrifft diese in manchen Benchmarks sogar.

Der Aufwand ist allerdings immens, denn nach wie vor arbeitet das Modell mit 2,8 Billionen Parametern und benötigt daher Hardware auf Rechenzentrumsniveau, um Token in akzeptabler Geschwindigkeit zu produzieren. Immer häufiger findet man neben den üblichen Benchmarks zusätzlich Informationen darüber, wie gut Modelle Finanzdaten analysieren können. Auch dort brilliert Kimi K3.1 Pro und schlägt viele andere Modelle. Offenbar scheint der Bedarf nach solchen automatisierten Analysen zu wachsen.

Mit 2,8 Billionen Parametern ist Kimi K3.1 Pro riesig, aber tatsächlich gibt es noch ein größeres Modell bei Hugging Face: numbat verfügt über geradezu unglaubliche 14 Billionen Parameter. Dabei soll es sich um einen Checkpoint aus dem internen Modelltraining bei Anthropic handeln. Allerdings ist die Situation undurchsichtig: Der Uploader gibt sich nicht zu erkennen und erklärt nicht, wie er in den Besitz der Gewichte gekommen ist. Das Modell ist nicht feingetunt und kann „nur“ Texte fortsetzen. Selbst das wird schwierig, denn kaum jemand wird über die dafür notwendige Infrastruktur verfügen. Spannend ist hingegen die Architektur mit 1224 Experten, von denen 48 aktiv sind, und hybrider Attention, wobei die volle Attention mit dem klassischen MLA-Algorithmus (Multi-Head Latent Attention) arbeitet.

Gegen den Trend, immer mehr Modelle in der Sparse-Mixture-of-Experts-Architektur zu veröffentlichen, kommt ein neues Modell Ripple von Ricursive Intelligence. Es ist zwar eine Preview, ist aber interessant, weil es Modelle mit so vielen Parametern (65 Milliarden) schon lange nicht mehr mit „dichten“ Gewichten gab. Angeblich kann das Modell mit weit größeren Wettbewerbern konkurrieren und schlägt viele davon in der Größenordnung von 500 Milliarden bis zu knapp einer Billion Parametern wie Meta Muse Spark Open, Inkling von Thinking Machines oder Nemotron 3 Ultra 550B von Nvidia. Diese Modelle sind allerdings alle etwas älter.

Durch die 65 Milliarden Parameter, die bei jeder Vorhersage erforderlich sind, ist das Modell eher gemächlich unterwegs. Interessanterweise benötigt selbst das NVFP4-Repository noch knapp 60 GByte an Gewichten, das sollte durch die Quantisierung eigentlich deutlich kleiner sein. Multi-Token Prediction scheint der Anbieter noch nicht vorgesehen zu haben. Zurzeit wirkt das Modell unfertig, könnte aber großes Potenzial haben.

Mit Flint kommt ein anderes, besonders auf agentische Aufgaben zugeschnittenes Modell von Recursive, das nichts mit dem oben genannten Ricursive Intelligence zu tun hat. Da von den 40 Milliarden Gewichten pro Durchlauf nur 2,5 Milliarden aktiv sind, ist es auf schnelle Inferenz ausgelegt. Insbesondere im agentischen Bereich scheint das Modell konkurrenzfähig zu sein. Allerdings sind die Angaben dazu ungenau, unter anderem ist beim Vergleich mit Qwen3.8 nicht klar, welches Modell dieser Serie gemeint ist.

Auch Nvidia hat wieder ein neues Modell aus der Nemotron-Reihe veröffentlicht, das sich auf die Transkription konzentriert. Glaubt man den Benchmarks, erreicht das Modell sehr gute Werte in unterschiedlichen Sprachen und ist dabei äußerst schnell – für eine Transkription von 30 Sekunden benötigt es laut Anbieter auf einer Nvidia RTX 6000 nur 0,13 Sekunden. Das Modell lässt sich für den jeweiligen Anwendungsfall passend prompten und erledigt auf Wunsch direkt die Übersetzung.

Schnelle Inferenz mit Qwen3.8-Flash-Next

Die Qwen-Modelle sind bei vielen Entwicklern und Nutzerinnen beliebt. Dabei zeichnete sich lange Zeit das Modell mit 27 Milliarden Parametern als besonders leistungsfähig aus, das auch seit August in der neusten Serie Qwen3.8 bereitsteht.

Kurz danach veröffentlichte Alibaba allerdings auch das deutlich größere Qwen3.8-Flash-Next-Modell mit 176 Milliarden Parametern. Von diesen sind allerdings 51 Milliarden sogenannte N-Gramm-Parameter, die man in den CPU-Speicher oder gar auf die SSD auslagern kann. Da es sich um ein Mixture-of-Experts-Modell handelt, werden von den restlichen 122 Milliarden Parametern in jedem Inferenzlauf lediglich sechs Milliarden benötigt. Damit könnte das Modell eigentlich auf Consumer-Hardware funktionieren, wenn dem nicht der enorme Speicherbedarf entgegenstünde. Das hat Begehrlichkeiten der Community ausgelöst und mit viel Vibe Coding zu sehr interessanten Projekten geführt. So erlaubt Strata den effizienten Betrieb des Modells auf relativ kleinen Grafikkarten, wenn der Rechner genügend Arbeitsspeicher bietet.

Strata kann damit sogar die noch größeren Modelle von DeepSeek-V4.1-Flash und GLM-5.3-Flash ausführen. Ein Abkömmling von Strata ist Basalt, das noch schnellere Inferenzgeschwindigkeiten für Qwen3.8-Flash-Next erlaubt. Bei eigenen Tests zeigte sich, dass man mit 128 GByte RAM und einer Nvidia RTX 5090 etwa 200 Token pro Sekunde erreichen kann. Das fühlt sich schneller an als einige kommerzielle Services. Die Qualität erreicht zwar nicht die führender LLMs, aber dafür hat man eine Flatrate und gibt seine Daten nicht aus der Hand.

Das langersehnte Qwen4 ist in der Qwen4-Max-Variante wie erwartet sehr leistungsfähig und in einigen Bereichen laut Alibaba Kimi-K3.1 überlegen. Wenige Überraschungen gibt es bei der Architektur, die identisch zu der von Qwen3.8-Flash-Next ist. Wie sich die zu erwartenden kleineren neuen Qwen4-Modelle schlagen, wird ein separater Artikel zeigen, sobald sie verfügbar sind.

Source: Heise · Dr. Christian Winkler

At a glance

Topic
Technology
Country
🇩🇪 DE
Publisher language
DE
Added to Allnira