Die KI Kantine - der Entwickler-Podcast über Künstliche Intelligenz Cover

Die KI Kantine - Der Podcast

Michael Busch

Since 04/2025 65 Episoden

Mythos, Fable und die Angst vor zu schlauer KI

Warum ein KI-Modell wegen Sicherheitsbedenken gestoppt wurde – und was das über die aktuelle KI-Branche verrät.

24.06.2026 7 min

Zusammenfassung & Show Notes

Ein KI-Modell gilt als das beste Werkzeug zur Suche von Sicherheitslücken – und wird kurz darauf durch politische Eingriffe massiv eingeschränkt. In dieser Folge der KI Kantine geht es um die Geschichte von Mythos und seinem Nachfolger Fable, um Exportverbote, Sicherheitsdebatten und die Frage, ob man eine KI gleichzeitig intelligent und ungefährlich machen kann. Buschi beleuchtet, warum die Grenzen zwischen Sicherheitsforschung und Missbrauch immer schwieriger zu ziehen sind und weshalb manche Experten die Reaktionen der US-Regierung für überzogen halten.

Die KI-Kantine ist ein Projekt von Michael Busch – Entwickler, Unternehmer und neugieriger Kantinenphilosoph.

Hier geht’s regelmäßig zur Mittagspause um Künstliche Intelligenz im echten Entwickleralltag – verständlich, praxisnah und mit einer Prise Skepsis.

Neue Folgen erscheinen regelmäßig – meistens genau dann, wenn du dir eh gerade ein Tablett schnappst.

📬 Fragen, Feedback oder eigene KI-Erlebnisse? Schreib mir an podcast@ki-kantine.de

Alle Folgen & mehr: https://ki-kantine.letscast.fm/

Transkript

(Transkribiert von TurboScribe. Upgrade auf Unbegrenzt, um diese Nachricht zu entfernen.) Mahlzeit! Mahlzeit! Sag mal, kannst du dich noch daran erinnern, als ich dir über Mythos erzählt habe? Das war doch die KI, die bei ihrem Entwickler angerufen hat, der gerade ein Sandwich gegessen hat. Da siehst du, wie gut das Marketing funktioniert hat. Daran konntest du dich noch erinnern. Aber klar, ging ja auch ums Essen. Jojo, sehr witzig. Nun habe ich aber das Gefühl, dass eben gerade dieser Marketing-Trick ihnen ein bisschen auf die Füße gefallen ist. Denn es hieß ja, ui, Mythos ist viel zu gefährlich. Das können wir nicht der Öffentlichkeit geben. Die können ja hier tausend Löcher in ein System finden und dann da eindringen. Wir werden uns bemühen, eine alternative Version mit den vergleichbaren Fähigkeiten, aber die sicher ist, die eben solche böse Sachen nicht macht, entwickeln. Das ist jetzt Fable gewesen. Ich glaube sogar Fable 5, weil Peter Parker ein Hoch auf die Alliteration. Aha. Aber wie sich herausstellt, war dieser Sicherheitsapparat, der darum gebildet wurde, A, zu restriktiv oder aber zu durchlässig. Also man konnte ihnen, glaube ich, nichts über biologische Vorgänge fragen, weil dann sofort die Antwort kam, ich darf dir darüber nichts erzählen. Aber irgendwelche Exploits, also das Entdecken von Bugs, um die dann für böse Dinge auszunutzen, war weiterhin wohl mit geringerem Aufwand möglich. Und gemerkt hat das Amazon. Und die haben es dann quasi verpetzt. Aber wenn man mal ein bisschen näher sich damit beschäftigt, dann haben die eigentlich nur ihre Pflicht erfüllt. Denn dieses Fable sollte auf den AWS-Servern sehr stark laufen. Und von dort wird auch zum Beispiel der amerikanische Geheimdienst versorgt mit Daten. Das heißt, deren Aufgabe war sicher vorher zu testen, ob auf ihrem Bedrock-System denn das Fable zuverlässig laufen kann. Und da haben sie wohl schnell herausgefunden, hier kann ich aber ganz schön schlimme Sachen machen, die eigentlich nicht gehen dürfen. Das haben sie dann dem weißen Haus vom Amazon-CEO Andy Jassy mitgeteilt. Für Entropiq ging natürlich dann wieder eine wilde Reise los. Denn das weiße Haus hat das Handelsministerium informiert. Das Handelsministerium hat sofort eine Exportbeschränkung für Fable ausgesprochen. Das heißt, ausländische Staatsbürger durften mit dem Fable nicht mehr arbeiten. Das galt jetzt auch für Mitarbeiter von Entropiq. Und Entropiq gibt es ja in allen möglichen Bereichen der Welt. Entropiq meinte dann allerdings zum Handelsministerium und zum weißen Haus, Moment mal, da können wir doch drüber reden, wir können das fixen. Es wurde dann aber wohl so hitzig, dass Entropiq dann gesagt hat, okay, dann schalten wir Fable jetzt für alle komplett aus. Interessant. So in der KI-Branche ist man sich aber gar nicht so sicher, ob das alles wirklich nicht eine Überreaktion war, weil Mythos gar nicht so viel mehr kann als auch die neuesten Modelle von OpenAI zum Beispiel oder auch von den neuen chinesischen Modellen. Und da wurde vielleicht das Zu-sehr-auf -dicke-Hose-Machen bestraft. Denn amerikanische Sicherheitsexperten, die sagen schon, das ist der beste Bugfinder, den es gibt zurzeit, also der Sicherheitsevaluierung mit den besten Ergebnissen durchführen kann. Der kann also wirklich Softwarefehler sehr gut identifizieren. Aber auch die sind der Meinung, dass sich GPT 5.5 und Opus 4.8 in einem ähnlichen Leistungsbereich bewegen. Aha. Ja und die Experten sagen halt, um sichere Software zu schreiben, muss man eine KI verstehen, wie man Sicherheitslücken ausnutzen kann. Das der KI zu verbieten, beziehungsweise die ganze Kenntnis davon zu verhindern, ist absolut kontraproduktiv. Denn ein System, das eben keine Fehler finden darf, wird zwangsläufig eben Fehler produzieren. Und für Mythos gab es ja diese Initiative Glasswing. Die hat mit der Mythos-KI über 10 .000 Bugs gefunden, aber die haben sie noch nicht mal ansatzweise alle behoben. Man muss also das beschleunigen, vorhandene Fehler oder vorhandene Lücken zu schließen. Und dazu brauchst du einfach die beste KI, die du haben kannst. Sonst zwingst du ja die Modelle quasi in eine künstliche Dummheit. Natürlich ist es für Amerika schlecht, wenn dann die ganzen Entwickler auf chinesische Modelle, da gibt es ja auch Open-Source-Modelle, die kannst du lokal laufen lassen, wenn die dann darauf zugreifen und die fast gleich gut sind, aber keinerlei US-Sicherheitsbeschränkungen unterliegen. Kann natürlich auch gut sein, dass es eine Abwanderung gibt der größten Köpfe oder der größten Firmen, weil wenn du so eine politische Einflussnahme auf einmal erleben musst und eigentlich gar nicht mit dem besten KI-Modell planen kannst, weil morgen schon wieder alles beschränkt werden könnte, dann wirst du vielleicht sowieso mal einen anderen Bereich der Welt als deinen Firmensitz aussuchen, wo das eben unwahrscheinlicher ist, dass solche starken Eingriffe passieren. In China wird es dann wahrscheinlich auch nicht sein, aber in Europa ist ja alles ein bisschen langsamer. Ich fand ja auch die Wortwahl vom Handelsministerium hat schon so ein bisschen gezeigt, dass die jetzt nicht unbedingt State-of-the-Art sind von ihrem Wissen. Ich sprach nämlich von einem Jailbreak. Das hat man früher gehabt zum Beispiel, wenn du dein Handy im Jailbreak gemacht hast, damit du da andere Software drauf spielen kannst. Oder in anderen IT-Bereichen hat man das auch benutzt, aber ich weiß nicht, ob das noch das richtige Wort dafür ist. Zumal man sich, glaube ich, auch einig ist, dass es mathematisch unmöglich ist, ein Modell zu erstellen, das absolut resilient gegen sowas ist. Und wenn da halt schon die Grenze einer kriminellen Handlung darsetzt, wenn deine KI einen Fehler auffinden kann, dann ist das meiner Meinung nach viel zu kurz gegriffen. Es sollte vielleicht möglich sein, wenn man eine wirkliche, das nennt man Exploit-Kette, also eine Aufeinanderfolgung von Ausnutzung von Bugs, um in ein System reinzukommen. Wenn das der Moment ist, wo die KI sagt, das darf ich aber nicht, das wäre, glaube ich, ein guter Punkt dafür. Was mich aber trotzdem bei der ganzen Geschichte immer wieder wundert, dass du sagst, wir haben das schlauste und gefährlichste LLM-Modell ever. Und wir kriegen es trotzdem nach Wochen Arbeit nicht hin, es besser zu beschränken, als dass irgend so ein Tester bei Amazon sofort feststellt, wie ich das alles umgehen kann. Für mich gibt es da einen totalen Widerspruch. Ist es jetzt so eine hohe Intelligenz oder ist es nicht eine hohe Intelligenz? Oder hat das jetzt ein Mensch gemacht? An der Stelle verstehe ich eigentlich die KI -Welt im Moment nicht. Da vergraue ich lieber meiner vegetativen Intelligenz. Können wir jetzt in Limo essen? Das ist die KI-Kantine. Wir sitzen in der KI-Kantine. Die KI-Kantine ist ein Projekt von Michael Busch, der auch beim nächsten Mal wieder ein frisches KI-Gericht auftischt mit einer Prise Pommes und einer Beilage Skepsis. Wir sitzen in der KI-Kantine. Hier ist die KI-Kantine.