1. Bericht: China trainiert KI mit Destillation von US-Modellen

Angesichts fehlender Rechenleistung greifen chinesische KI-Firmen und Forschungseinrichtungen beim Training ihrer KI-Modelle offenbar systematisch auf große US-Modelle zurück. Dies ergab eine Recherche der Nachrichtenagentur Reuters. Sie hat hierfür mehr als 300 chinesische Forschungspapiere, Patente, Unternehmensmitteilungen, Stellenausschreibungen und Behördendokumente ausgewertet. Die sogenannte Destillation wandere demnach zunehmend aus dem akademischen Umfeld in den industriellen Einsatz. Die chinesische Regierung fördere das, um KI günstiger in der Fertigungsindustrie einführen zu können.

US-KI-Anbieter wie Anthropic und OpenAI bezichtigen chinesische Unternehmen schon länger, ihre Modelle zur Destillation zu verwenden. Bei diesem Verfahren erzeugt ein leistungsfähiges „Lehrer“-Modell Antworten oder Lösungswege, mit denen ein kleineres „Schüler“-Modell trainiert wird. Das Verfahren ist an sich nicht illegal. US-KI-Anbieter beklagen allerdings Verstöße gegen ihre Nutzungsbedingungen, da dabei auch Konten mit gefälschten Identitäten, abgegriffene API-Keys und gestohlene Kreditkarten zum Einsatz kämen.

Auch drei US-Behörden warnten bereits gemeinsam vor dem massiven Wissensabfluss durch chinesische Destillation. Schon im Sommer hatte ein hochrangiger US-Regierungsvertreter Moonshot AI vorgeworfen, US-Modelle wie Anthropics Fable destilliert zu haben. China weist die Vorwürfe zurück und argumentiert, dass US-Firmen Ähnliches täten.

Destillation als Ersatz für fehlende Rechenleistung

Destillation kann die Fähigkeiten des großen Modells nicht vollständig übertragen und ersetzt auch nicht den Bedarf an leistungsfähiger Hardware. Sie kann aber ausgewählte Fähigkeiten in kleinen Modellen schulen.

Reuters zufolge teilen sich chinesische Akteure die Arbeit auf. Forscher lassen US-Modelle Antworten, Code und Problemlösungen erzeugen. Firmen entwickeln Software, die das automatisiert, und spezialisierte Mitarbeiter bereiten das Material für das Training auf. Diese Vorgehensweise helfe dabei, mit der knappen Rechenleistung umzugehen. Reuters beruft sich dabei auf einen ehemaligen Alibaba-Mitarbeiter. China habe aufgrund von US-Exportverboten nur wenig leistungsfähige KI-Hardware. Berichten zufolge versuchen chinesische Firmen deshalb auch verstärkt, sich Rechenkapazitäten außerhalb Chinas zu sichern, um die Exportkontrollen zu umgehen. Eine teure Anfrage an ein US-Modell lasse sich einmal stellen und die Antwort danach als Trainingsbeispiel immer wieder nutzen.

Beispiele aus der Forschung

Forscher der Shanghai Jiao Tong University wählten in einer Untersuchung vom November 2024 rund 5000 Antworten von OpenAIs o1 aus. Sie übersetzten sie mit GPT-4o mini und bauten daraus 10.750 zweisprachige Trainingsbeispiele, mit denen sie Alibabas Qwen2.5-72B weitertrainierten. Die Autoren warnen selbst, zu große Abhängigkeit von Destillation könne eigene Innovation bremsen. In einer anderen Studie nutzten Alibaba-Forscher GPT-4 und GPT-4o, um Trainingsmaterial in nicht-chinesischen Sprachen zu erzeugen. Die Antworten wurden verfeinert und bewertet, bevor damit kleinere Qwen-Modelle trainiert wurden.

Die chinesische Regierung weise laut Reuters Firmen zwar nicht zur Destillation an, unterstütze sie aber. Ein im Januar von acht Behörden veröffentlichtes Maßnahmenpaket namens „AI+Manufacturing“ nenne Destillation ausdrücklich als unterstützend für industrielle Anwendungen. Chinesische KI-Entwickler hätten sich laut einer Quelle beim Industrieministerium erkundigt, wo die Grenze zwischen normaler Nutzung ausländischer Modelle und organisiertem Abgreifen von Ausgaben verläuft.

Warum China künftig noch mehr Bedarf hat

Bisherige Gespräche zwischen den USA und China seien ergebnislos verlaufen. Die chinesische Seite habe Destillation verteidigt, aber Entgegenkommen bei der Bekämpfung von Diebstahl geistigen Eigentums signalisiert. Konkrete Zusagen habe es aber nicht gegeben. Im Vorfeld eines US-chinesischen KI-Gipfels hatten bereits zahlreiche Länder und Institutionen internationale Regulierungen für KI gefordert, ohne dass sich USA und China diesem Aufruf anschlossen.

Reuters zitiert einen US-Beamten, der sagte, dass die US-Regierung das Aufschließen Chinas im KI-Wettbewerb vor allem auf Destillation zurückführe. Zwei Personen aus dem Umfeld chinesischer Entwickler widersprechen. Sie nennen Destillation nur einen Faktor neben weiteren Fortschritten. Chinas Bedarf an Destillation könnte indessen steigen. In dieser Woche kündigte die US-Regierung weitere Exportbeschränkungen für KI-Chips an.

(mki)

Source: Heise · Malte Kirchner

At a glance

Topic
Technology
Country
🇩🇪 DE
Publisher language
DE
Added to Allnira