Kolibri: Ein deutsches KI-Modell mit eigenen Stärken
Warum Aleph Alpha bei Sprache, Effizienz und europäischem Kontext andere Wege geht.
14.10.2026 6 min
Zusammenfassung & Show Notes
Welche leistungsfähigen Sprachmodelle gibt es eigentlich aus Europa? Neben dem französischen Anbieter Mistral gibt es mit Colibri 1 ein neues Openweight-Modell von Aleph Alpha aus Heidelberg. Es soll in Benchmarks konkurrenzfähig sein und setzt auf Deutsch und Englisch. Besonders interessant: Bei mathematischen Aufgaben kann es Vorteile bringen, die Fragen auf Deutsch zu formulieren.
Ein wichtiger Schwerpunkt liegt auf den Trainingsdaten. Weil herkömmliche Filter lange deutsche Wörter aussortierten, musste Aleph Alpha die Datenaufbereitung an die Besonderheiten der deutschen Sprache anpassen. Auch kultureller Kontext spielt eine Rolle. Dazu kommen ein Training, das den Umgang mit Unsicherheit fördern soll, und eine Mixture-of-Experts-Architektur, bei der nur die jeweils benötigten Spezialisten aktiviert werden.
Was bedeutet das für den Einsatz von KI in deutschen Behörden und der Industrie? Und warum könnte ein Modell, das seine Grenzen kennt und effizient arbeitet, gerade im europäischen Umfeld interessant sein?
Die KI-Kantine ist ein Projekt von Michael Busch – Entwickler, Unternehmer und neugieriger Kantinenphilosoph.
Hier geht’s regelmäßig zur Mittagspause um Künstliche Intelligenz im echten Entwickleralltag – verständlich, praxisnah und mit einer Prise Skepsis.
Neue Folgen erscheinen regelmäßig – meistens genau dann, wenn du dir eh gerade ein Tablett schnappst.
Hier geht’s regelmäßig zur Mittagspause um Künstliche Intelligenz im echten Entwickleralltag – verständlich, praxisnah und mit einer Prise Skepsis.
Neue Folgen erscheinen regelmäßig – meistens genau dann, wenn du dir eh gerade ein Tablett schnappst.
📬 Fragen, Feedback oder eigene KI-Erlebnisse? Schreib mir an podcast@ki-kantine.de
Alle Folgen & mehr: https://ki-kantine.letscast.fm/
Alle Folgen & mehr: https://ki-kantine.letscast.fm/
Transkript
(Transkribiert von TurboScribe. Upgrade auf Unbegrenzt, um diese Nachricht zu entfernen.) Diese Podcast-Folge über KI nutzt zusätzliche KI
-generierte Stimmen.
Ja, Mahlzeit.
Mahlzeit.
Sag mal, kennst du eigentlich irgendwelche LLMs, die
aus Europa kommen oder sogar aus Deutschland?
Ja, da gibt es doch diese Firma aus
Frankreich, oder?
Ja, genau, das ist hier dieses Mistral Large
4 ganz neu rausgekommen.
Spitzname LeChonk, das heißt auf Deutsch so viel
wie der Brocken.
Aha.
Und was man so liest, ist das ein
ziemlich gutes, konkurrenzfähiges Modell.
Aber jetzt haben wir sogar was aus Deutschland,
aus Heidelberg, von der Firma Alep Alpha.
Die haben mit Colibri 1 auch ein wettbewerbsfähiges
LLM erstellt, Openweight.
Also sprich, du darfst es auch unter Apache
2 Lizenz benutzen, umwandeln und in eigene Produkte
einbauen.
Und im Vergleich zu den ganzen Openweight-Sachen
wie Gwen, Deepseek und Kimi, da führt das
in vielen Benchmarks die ganze Gruppe an.
Interessant.
Übrigens, Colibri, das ist doch dieser Vogel, der
ohne viel Aufwand auf der Stelle stehen bleiben
kann, ne?
Also quasi wie deine Karriere.
Ja, ja, unglaublich witzig.
Hast du schon mal was von der Pareto
-Grenze gehört?
Das ist also das optimale Verhältnis von Leistungsfähigkeit
und Kosten.
Das ist ein Begriff, der ja aus der
Ökonomie kommt.
Und da sitzt Colibri vor allen anderen Openweight
-Modellen.
Und interessanterweise kann Colibri nur zwei Sprachen, Englisch
und Deutsch.
Mathematische Probleme zum Beispiel löst Colibri wesentlich besser,
wenn sie ihm auf Deutsch dargeboten werden.
Dadurch, dass das ganze Training für dieses LLM
ja auch unter dem europäischen Mantel passiert ist,
bedeutet auch Berücksichtigung von dem AI-Act und
auch von DSGVO und einer sehr starken Ausrichtung
auf die deutsche Sprache, eignet sich das halt
hervorragend für deutsche Behörden oder die Industrie oder
auch die deutsche Luftfahrt.
Interessant.
Über 20 Prozent der Lerndaten waren deutschen Ursprungs,
also in deutscher Sprache.
Und diese deutschen Texte mussten halt erstmal vernünftig
verarbeitet werden.
Da hast du so einen Crawler, der nimmt
sich halt die ganzen Daten und die haben
das amerikanische System für Filterung dahinter benutzt.
Und das Ergebnis war eher enttäuschend und es
ist so sehr alles runtergebrochen worden, dass sie
gesagt haben, woran liegt das denn?
Und haben es sich mal genauer angeschaut.
Dieser amerikanische Filter filtert stark auf lange Worte.
Also lange Worte werden quasi rausgenommen aus dem
Text.
Da wir Deutschen aber die Könige der langen
Worte sind und der Wort-Aneinanderreihung hat eine
Überarbeitung des Filters dazu geführt, dass es wesentlich
mehr guten Input gab.
Man würde ja sagen, warum haben sie nicht
einfach englische Texte ins Deutsche übersetzt?
Das haben sie sicher auch gemacht.
Aber die sagen halt, wenn man das so
macht, verliert man ganz schön viel an kulturellem
Kontext, also an dem deutschen Kontext, denn manche
Begriffe gibt es halt nur im Deutschen und
die würden sonst, wenn man nur aus dem
Englischen übersetzt, nie auftauchen und das würde das
LLM nie lernen.
Und gerade wenn du dieses LLM ja in
Behörden einsetzen willst, und wir wissen ja alle,
Behörden lieben ihre Schachtelworte, die hören überhaupt nicht
mehr auf.
Davon wüsste jetzt das LLM erstmal gar nichts,
weil es alles rausgefiltert worden wäre.
Und dann haben sie noch was gemacht, was
sich Refrasing nennt.
Also wir haben ein LLM benutzt, das einen
organisch geschriebenen Text in verschiedenen Varianten nochmal erstellt.
Also einmal als Eintrag in eine Enzyklopädie, als
Dialog mit Frage und Antwort oder halt als
eine Textpassage.
Dadurch hat das LLM halt gelernt, dass es
verschiedene Aufbereitungen des gleichen Inhalts gibt.
Was ich auch sehr interessant finde, dass dieses
LLM so trainiert wurde, dass es auch klar
ausdrückt, wenn es etwas nicht weiß und nicht
anfängt zu halluzinieren, um dem Fragenden eben ein
gutes Gefühl zu geben.
Auch das kommt sicher in den Behörden gut
an, da hörst du ja auch sehr oft,
das weiß ich nicht, da müssen Kollegen fragen.
Colibri 1 ist ein Mixture of Experts Model.
Mit dieser Herangehensweise ist es effektiv, also es
arbeitet schnell und es braucht auch nicht so
viel Rechenleistung dafür.
Du musst dir das so vorstellen, als wäre
das, wir haben ja schon mal das Bild
von so einem LLM als großes Bürogebäude gesehen,
wo halt die Tokens durch die Stockwerke geleitet
werden.
Und hier ist es dann im Prinzip so,
als würde in diesem Gebäude eine Agentur sein,
die hat hundert von verschiedenen Spezialisten.
Jeder macht seinen eigenen Kram, ist für seinen
Kram Spezialist.
Das Colibri hat so rund 400 Experten auf
jedem Layer.
Jeder wird nur angeschaltet, wenn er wirklich gebraucht
wird.
Das ist halt eine Kosten- und Energiesparende
Methode, vernünftige Antworten zu generieren.
Ich war eben auch bei mehreren Experten.
Ein Experte für Salat und ein Experte für
Schnitzel.
Können wir jetzt in Limo essen?
Das ist die KI-Kantine.
Wir sitzen in der KI-Kantine.
Die KI-Kantine ist ein Projekt von Michael
Busch, der auch beim nächsten Mal wieder ein
frisches KI-Gericht auftischt mit einer Prise Ponz
und einer Beilage Skepsis.
Wir sitzen in der KI-Kantine.
Hier ist die KI-Kantine.