Die KI Kantine - Der Podcast

Rekursion kennt man aus der Programmierung: Eine Funktion ruft sich selbst wieder auf. Bei KI wird unter „Recursive Self-Improvement“ die Idee verstanden, dass eine KI ihre eigene Weiterentwicklung immer stärker selbst übernimmt. Genau hier sehen KI-Forscher allerdings noch erhebliche Schwierigkeiten. Aktuell funktioniert Lernen vor allem über Reinforcement Learning: Die KI bekommt ein klares Ziel und wird für gute Ergebnisse belohnt beziehungsweise für schlechte bestraft.

Problematisch wird es, wenn die KI ihre Ziele und Trainingsaufgaben selbst festlegen soll. Dann fehlt die Kontrolle durch den Menschen, der bisher beispielsweise Logfiles analysieren und erkennen kann, an welcher Stelle eine KI bei einer Aufgabe in die falsche Richtung gelaufen ist. Bei einer vollständig rekursiven Selbstverbesserung könnten diese Zwischenschritte in einer Blackbox verschwinden.

Hinzu kommt das Problem des „Catastrophic Forgetting“: Wenn Modelle kontinuierlich mit neuen Daten lernen, können sie älteres Wissen schrittweise vergessen. Und auch beim Erreichen von Belohnungszielen zeigt sich, dass KI-Systeme manchmal lieber das Belohnungssystem austricksen, statt die eigentliche Aufgabe zu lösen. Deshalb könnte die weitere Beschleunigung der KI-Entwicklung an eine natürliche Grenze stoßen. Vielleicht ist es aber auch gar nicht nötig, die KI sofort noch leistungsfähiger zu machen – sondern zunächst herauszufinden, was mit den heutigen Fähigkeiten überhaupt alles möglich ist.