heise+ | Große LLMs auf Desktop-Hardware im Test

1. Große LLMs auf Desktop-Hardware im Test
   • Heiße Experten im VRAM
   • Strata ausprobieren
2. Alternative Engines und andere Modelle
3. Fazit

Artikel in iX 12/2026 lesen

Offene Sprachmodelle erreichen in einigen Bereichen fast die Qualität kommerzieller Cloud-Modelle, und wer sie lokal betreibt, behält die Daten auf dem eigenen Rechner. Eine tolle Sache – wenn da nicht die Größe wäre: Viele Modelle passen nicht in den Arbeitsspeicher der GPU. Für das beliebte Qwen3.8-Flash-Next hilft die Software Strata, die den normalen Arbeitsspeicher einbezieht und trotzdem hohe Geschwindigkeiten beim Prompt-Parsing und bei der Tokengenerierung erreicht. Der Artikel zeigt, wie Strata das Modell über GPU, RAM und SSD verteilt – und was die Alternativen leisten.

• Die quelloffene Engine Strata führt das Mixture-of-Experts-Modell Qwen3.8-Flash-Next mit 125 Milliarden echten Gewichten (180 Milliarden Parameter insgesamt) auf einem PC ab 12 GByte Grafikkartenspeicher und 32 GByte RAM aus; für vielseitig verwendbare Modellvarianten sollten mindestens 64 GByte RAM vorhanden sein.
• Statt das Modell in den Grafikkartenspeicher zu quetschen, verteilt Strata es über VRAM, RAM und SSD: Die meistgenutzten Experten bleiben im GPU-Speicher, die übrigen liegen im Arbeitsspeicher oder auf der SSD, die N-Gramm-Einbettungen werden nur punktuell geladen.
• In eigenen Tests erreicht ein PC mit RTX 5090 etwa 135 bis 145 Token/s (Prefill: 2.750 Token/s), ein Mac Studio mit M2 Ultra und 192 GByte 49 bis 58 Token/s; die Cache-Trefferrate der Experten im GPU-Speicher liegt bei 98 Prozent.
• Für spezielle Hardware und andere Modelle gibt es Alternativen: Infernix und Basalt holen mehr Leistung aus einer RTX 5090, Project Maya eignet sich für GLM-5.3, Kapitsa für Macs mit viel Unified Memory.

Um Modelle ausführen zu können, die größer als der verfügbare (GPU-)RAM sind, nutzt Strata einige Tricks, die mit der Architektur des Qwen3.8-Flash-Next-Modells zusammenhängen. Das Modell verfügt über 180 Milliarden Parameter, die aber nicht nur aus Gewichten bestehen. Sie teilen sich auf in 125 Milliarden „echte“ Gewichte, weitere vier Milliarden sind für die Multi-Token Prediction reserviert. 51 Milliarden Parameter stecken in den N-Gramm-Embeddings . Letztere werden nur punktuell benötigt und können daher im CPU-RAM oder sogar auf einer schnellen SSD liegen. Damit spart Strata bereits sehr viel Platz.

Prof. Dr. Christian Winkler beschäftigt sich speziell mit der automatisierten Analyse natürlichsprachiger Texte (NLP). Als Professor an der TH Nürnberg konzentriert er sich bei seiner Forschung auf die Optimierung der User Experience.

Heiße Experten im VRAM

Da die Gewichte weiterhin den Großteil der Parameter stellen, versucht man, ihren Speicherbedarf zu reduzieren. Dazu kann man sie in unterschiedlichen Stufen quantisieren; Strata schlägt je nach Speicherausstattung die passende Stufe vor. Mit der häufig vorgeschlagenen 3,5-Bit-Quantisierung sinkt die Datenmenge der Gewichte auf knapp 55 GByte. Eine weitere Optimierung ergibt sich durch die Mixture-of-Experts-Architektur des Qwen3.8-Flash-Next-Modells . Von den 512 Experten nutzt das Modell immer zehn ausgewählte plus einen fest zugeordneten, was zu „lediglich“ sechs Milliarden aktiven Parametern pro Vorhersage führt. Fairerweise müsste man die Parameter der Multi-Token Prediction hinzurechnen, doch die sind nahezu vernachlässigbar.

Das war die Leseprobe unseres heise-Plus-Artikels "Große LLMs auf Desktop-Hardware im Test". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.