Die KI Kantine - der Entwickler-Podcast über Künstliche Intelligenz Cover

Die KI Kantine - Der Podcast

Michael Busch

Since 04/2025 79 Episoden

Model Distillation: Wenn KI von KI lernt

Wie konkurrierende KI-Firmen die Fähigkeiten großer Modelle abschöpfen – und warum dabei Sicherheitsrisiken entstehen können.

21.10.2026 7 min

Zusammenfassung & Show Notes

Bei der Model Distillation wird das Wissen eines großen KI-Modells genutzt, um kleinere, spezialisierte Modelle zu trainieren. Was innerhalb eines Unternehmens ein übliches Verfahren ist, wird problematisch, wenn konkurrierende Anbieter gezielt die Fähigkeiten fremder Modelle abschöpfen, statt selbst in Entwicklung und Training zu investieren.

Eine wichtige Rolle spielen dabei die sogenannten Chain-of-Thought-Denkspuren. Sie zeigen Zwischenschritte, mit denen ein Modell komplexe Aufgaben bearbeitet. Durch gezielte Fragen, die Bewertung von Lösungswegen oder die Erzeugung künstlicher Trainingsdaten lassen sich solche Informationen sammeln und für das Training eigener Modelle verwenden.

Besonders kritisch wird es, wenn ein kleineres Modell zwar die Fähigkeiten eines leistungsstarken Originals übernimmt, dessen Sicherheitsmechanismen aber nicht im gleichen Umfang mit lernt. So können leistungsfähige Modelle entstehen, bei denen wichtige Schutzmaßnahmen fehlen. Eine Folge über KI-Wettbewerb, das Abschöpfen von Wissen und die Frage, was beim Destillieren verloren gehen kann.

Die KI-Kantine ist ein Projekt von Michael Busch – Entwickler, Unternehmer und neugieriger Kantinenphilosoph.

Hier geht’s regelmäßig zur Mittagspause um Künstliche Intelligenz im echten Entwickleralltag – verständlich, praxisnah und mit einer Prise Skepsis.

Neue Folgen erscheinen regelmäßig – meistens genau dann, wenn du dir eh gerade ein Tablett schnappst.

📬 Fragen, Feedback oder eigene KI-Erlebnisse? Schreib mir an podcast@ki-kantine.de

Alle Folgen & mehr: https://ki-kantine.letscast.fm/

Transkript

(Transkribiert von TurboScribe. Upgrade auf Unbegrenzt, um diese Nachricht zu entfernen.) Diese Podcast-Folge über KI nutzt zusätzliche KI -generierte Stimmen. Ja, Mahlzeit. Mahlzeit. Sag mal, du trinkst auch gerne mal einen Schnaps, oder? Also jetzt nicht gerade beim Mittagessen hier in der Kantine, aber ansonsten, ja, mache ich ganz gerne. Ja, so einen Schnaps erzeugt man ja durch Destillieren, also durch Trennen von Flüssigkeiten, die unterschiedliche Siedepunkte haben. Und dadurch hast du halt eben beim Erhitzen Ethanol viel früher verdampft als Wasser. Du ziehst ja also quasi das Beste aus der Gesamtheit raus. In dieser Methode haben auch viele chinesische KI -Firmen benutzt. Aha. Und das macht jetzt einige Leute bei Atropic ein bisschen unruhig, denn Atropic wollen ja an die Börse, haben aber die Börsenpapiere noch nicht eingereicht, aber werden wohl dieses Jahr das trotzdem in IPO noch machen. Und dann schaut man eben ein bisschen genauer auf alle Zahlen, Umsatzzahlen und so weiter. Und dann fällt halt schon auf, dass vom ersten Quartal zum zweiten Quartal der Umsatz um 140 Prozent zugelegt hat. Aber vom zweiten zum dritten Quartal nur noch um 45 Prozent. Dann denkt natürlich jeder, oje, oje, es geht abwärts mit der Firma. Es ist natürlich immer noch enormer Wachstum, quartalsweise. Aber die Begründung dafür ist sehr interessant, denn es liegt hauptsächlich an diesem Destillieren. Denn jetzt unterbindet man das, dieses feinselige Destillieren. Im zweiten Quartal hat man das noch nicht so ganz einordnen können, warum das so ist. Und dadurch wurden die Abrufzahlen halt enorm groß, weil ganz viele Modelle aus China und wahrscheinlich auch noch aus anderen Ländern auf Klot gesetzt haben, um möglichst sich von dort die Trainingsdaten durch Destillation abzuziehen. Interessant. Grundsätzlich ist ja diese Destillation ein ganz übliches Verfahren, um ein ganz großes Modell in ein kleines Modell zu verwandeln, das vielleicht spezifisch auf ein Thema sich fokussiert. Aber sowas macht man halt meistens firmenintern, um verschiedene Modellgrößen zu erzeugen. Aber wenn es eben konkurrierende Firmen machen, diese ganze Trainingsdaten und diese ganze Entwicklungsarbeit und das ganze Geld nicht selber ausgeben wollen, sondern einfach das andere machen lassen und es sich dann selber zusammendampfen. Dann ist es eben schon latent kriminell. Aber interessant ist, wie die das überhaupt machen. Wichtig dabei ist die Beobachtung der Chain of Thought von so einem Modell. Also wir nennen das jetzt mal das Teacher -Modell, das ist das sehr, sehr gute, sehr große Modell und das Student-Modell, das also noch lernen will und Wissen abgreifen will. Und bei diesem Reasoning, also bei diesem Chain of Thought Reasoning, kannst du ja beobachten, wie sich die KI langsam ihrer Antwort nähert. Das ist noch nicht die Antwort, sondern das sind die ganz vielen Zwischenschritte, die sie macht. Hast du vielleicht schon mal gesehen, wenn du bei einer KI was eingibst und Reasoning anmachst, siehst du zwischendrin, kannst du mitlesen, was sie sich so denkt. Und diese Zwischenschritte sind halt Gold wert, wenn du dein eigenes Modell trainieren willst. Aha. Und da gibt es halt eine Anzahl von verschiedenen Ansätzen, wie man das machen kann, wie man also diese Denkspuren extrahieren kann. Die erste Methode, die auch sehr verbreitet ist, ist, man stellt halt anspruchsvolle Fragen und versucht dann halt neben der Antwort auch ausführliche Erklärungen und Zwischenschritte zu erhalten. Und aus diesen Eingaben, also diesen Anforderungen, die ich selber gestellt habe und den dazugehörigen Antworten, habe ich einen wunderschönen Datensatz erzeugt und damit kann dann wieder ein anderes Modell trainiert werden. Eine andere Herangehensweise ist, dass man das Teacher -Model dazu nimmt, seinen eigenen Lösungsweg zu bewerten oder Verbesserungsvorschläge zu machen. Man gibt ihm also den Lösungsweg, den das kleine Modell, das Studentenmodell gemacht hat und sagt, was könnte man besser machen. An dieser Kritik kann dann das Modell wachsen. Und dann haben wir ja schon mal über dieses Reinforcement-Learning gesprochen. Also sprich, eine KI verbessert sich, indem es Belohnungspunkte gibt, Bewertungspunkte gibt und sie will möglichst viele Punkte sammeln. Und wenn man das aus so einem großen Modell irgendwie rauskitzeln kann, zum Beispiel wie viele Punkte oder andere Ansätze es gibt bei Fehlern, die die KI macht, und wenn man das da rauszieht und für seine eigenen kleinen KIs nutzt und diese Bewertungskriterien dann da ansetzen kann, dann ist das eben auch für das Trainingsmaterial sehr hilfreich. Und als letztes kann man natürlich auch dem Teacher-Modell sagen, du erzeugst jetzt mal künstliche Trainingsdaten aus dem Wissen, das du gesammelt hast, als du trainiert wurdest. Diese Trainingsdaten nimmt man dann eben für das kleinere Modell. Und du siehst schon, es gibt auch eine Gefahr, wenn ein großes System trainiert wurde, dann wurde auch wirklich darauf geachtet, gerade in der heutigen Zeit, wo wir das alles hören, mit den Angriffen, die so eine KI oder eine KI-Agent macht, dann wurden schon sehr viele Sicherheitsmaßnahmen ergriffen, dass es eben nicht zu einem Übergriff kommt. Und wenn man aber das wegdestilliert, also sprich die Fähigkeiten rauszieht, aber alle Schutzmaßnahmen eben nicht rauszieht, dann hast du ein Modell, das ähnlich viel kann und es wesentlich weniger eigene Guardrails, also Links- und Rechtsbegrenzungen hat. Na, da bin ich ja froh, dass mein Suppenteller links und rechts eine Begrenzung hat, sodass die Kürbissuppe nicht rausläuft. Können wir jetzt in Limo essen? Die KI-Kantine ist ein Projekt von Michael Busch, der auch beim nächsten Mal wieder ein frisches KI-Gericht auftischt mit einer Prise Pommes und einer Beilage Skepsis.