Der Case für kontinuierliches Lernen

Heutige Sprachmodelle können wirken, als würden sie lernen. Sie behalten ein Gedächtnis über Sitzungen hinweg, und die Kontextfenster sind lang genug geworden, dass ein gutes Harness dem Modell ein ganzes Projekt vorlegen und sein Verhalten im Lauf der Arbeit nachsteuern kann. Darunter bewegt sich nichts. Die Gewichte stehen am Ende des Trainings fest und bleiben es über das gesamte Deployment hinweg, und so liegt alles, was das Modell danach aufnimmt, außerhalb von ihnen, im Kontextfenster. Chatverlauf, abgerufene Dokumente, Websuchen und Systemanweisungen werden dem Modell vorgelegt, nicht von ihm aufgenommen. Solche Systeme können sich erinnern und anpassen, ohne dass das Modell je etwas Neues lernt.

Kontinuierliches Lernen ist eine Antwort auf diese Grenzen, und wir halten es für notwendig, um etwas zu erreichen, wozu das aktuelle Regime nicht in der Lage ist: ein System, das besser wird als sein Training, statt es nur abzuspulen. Die alltägliche Form ist ein Agent, der über Wochen besser in seiner Aufgabe wird, so wie eine kompetente Fachkraft. Die schwierigere Form ist implizites Können — Wissen, das sich nicht sauber in Text fassen und nicht einfach wieder ins Kontextfenster laden lässt. Die wertvollste Form ist Entdeckung, bei der das System aus neuen Fällen lernt, statt nur neu zu kombinieren, was seine Trainingsverteilung ohnehin enthält. Alle drei brauchen denselben Mechanismus: neue Erfahrung in die Gewichte zu komprimieren, fortlaufend, nach dem Deployment.

Das aktuelle Regime aus In-Context-Learning und Retrieval funktioniert, und es wird weiter skalieren, bis es an die physischen Grenzen von Hardware und Speicherbandbreite stößt. Das bestreiten wir nicht, doch unsere These ist enger. Information im Kontextfenster zu speichern und bei Bedarf abzurufen ist nicht dasselbe, wie sie in Parameter zu komprimieren — und Letzteres ist das, was Lernen ausmacht. Ersteres erweitert, wie viel ein eingefrorenes Modell vor sich halten kann; was das Modell ist, ändert es nicht.

Kontinuierliches Lernen bringt eigene Grenzen und Risiken mit sich, und wir sprechen sie hier offen an. Die größte: Ein eingefrorenes Modell lässt sich prüfen, ein sich selbst veränderndes nicht. Die Grenze, die wir einreißen wollen, ist zugleich eine Sicherheitseigenschaft. Jedes ehrliche Plädoyer für kontinuierliches Lernen muss diesen Preis einkalkulieren — und das tun wir.

Wo das Lernen sitzt

„Kontinuierliches Lernen" bezeichnet ganz unterschiedliche Dinge, und nicht alle davon sind im technischen Sinne Lernen, auch wenn sie funktionieren. Wir ordnen das Feld in fünf Ebenen, danach, wohin neue Information wandert und ob sie bleibt.

Exhibit 1. Fünf Ebenen des Lernens, nach dem Ort der Änderung

Ebene	Wo die Änderung sitzt	Parametrisch	Beispielmethoden	Kontinuierliches Lernen?
1 · In-Context	Kontextfenster / Aktivierungen	Nein	System-Prompt, Few-Shot, Chain-of-Thought	Nein
2 · Speicher & Retrieval	Externer Speicher	Nein	RAG, Memory-Dateien, AlphaEvolve, Darwin-Gödel-Maschine	Nein
3 · Adapter-basiert	Modul neben den Basisgewichten	Ja	Adapter, LoRA	Grenzfall — Untergrenze bei engem Loop
4 · Sparse parametrisch	Teilmenge der Basisgewichte	Ja	Knowledge Editing (ROME/MEMIT), Sparse-Memory FT	Ja, sobald sich der Loop schließt
5 · Dichte Gewichtsebene	Basisgewichte	Ja	Test-Time Training; STaR, AlphaProof, SEAL	Ja — volle Form

Die unterste Ebene ist In-Context-Learning. Das Verhalten des Modells wird durch den System-Prompt geprägt, manchmal mit Few-Shot-Beispielen. Keine Gewichte ändern sich. Das Gelernte sitzt in den Aktivierungen und verschwindet, sobald der Kontext geleert wird. Längere Kontextfenster erlauben es, mehr in dieses Fenster zu packen, und manche Forscher fragen, ob In-Context-Learning allein genügt.

Die zweite Ebene ist externer Speicher und Retrieval. Der Speicher kann eine Datenbank sein, eine Reihe von Markdown-Dateien oder ein Vektorindex. Wie auf Ebene eins ist das Lernen hier nicht-parametrisch. Das aktuelle Interesse an „Context Engineering" ist genau das: dem Modell den richtigen Kontext zur richtigen Zeit zu geben. Es funktioniert in der Praxis gut, und wohl besser, als es sollte.

Die dritte Ebene ist modulares, Adapter-basiertes Lernen. LoRA und ähnliche Methoden fügen dem Basismodell eine kleine trainierbare Komponente hinzu, während die ursprünglichen Gewichte eingefroren bleiben. Das Update ist weiterhin parametrisch, aber es sitzt neben dem Basismodell statt in ihm. Diese Isolation verringert in der Regel das katastrophale Vergessen im Vergleich zum vollständigen Fine-Tuning, weil die Basisgewichte nicht direkt überschrieben werden, doch sie beseitigt das Problem nicht. Jüngere Arbeiten zeigen, dass der Schutz partiell und kontextabhängig ist. Auf die Zahlen kommen wir weiter unten zurück. Die meiste Anpassung auf Ebene drei wird heute noch offline auf einem Batch trainiert, obwohl nichts im Substrat das verlangt. Diese Unterscheidung zählt, sobald wir auseinanderhalten, wo eine Änderung sitzt und wann sie geschieht.

Die vierte Ebene ist sparsames parametrisches Aktualisieren. Eine Teilmenge der eigenen Gewichte des Basismodells ändert sich, und die Teilmenge wird bewusst gewählt, damit bestehendes Wissen nicht gestört wird. Das ist leicht gesagt und schwer getan, denn Wissen ist nicht in identifizierbaren Gewichten gespeichert. Merkmale liegen in Superposition, gepackt als überlappende Richtungen über viele Neuronen hinweg, sodass es keine saubere Menge von Parametern gibt, die einen Fakt und nichts sonst hält. „Aktualisiere nur, was relevant ist" setzt eine Trennbarkeit voraus, die das Netz nicht bietet. Die realen Methoden finden daher nicht die wahre Adresse des Fakts im dichten Modell; sie schaffen eine adressierbare Oberfläche, auf der das Update landen kann.

Die fünfte Ebene ist dichtes Lernen auf Gewichtsebene, bei dem sich die Basisgewichte selbst als Reaktion auf neue Erfahrung bewegen. Das ist das tiefste Substrat, am nächsten daran, wie das Gehirn lernt, und zugleich das am wenigsten Machbare, angesichts der Größe der Frontier-Modelle und der schlechten Stichproben-Effizienz heutiger Methoden. Es spaltet sich zudem an einer Eigenschaft, die die unteren Ebenen nicht erzwingen: Persistenz. Test-Time Training bewegt die Basisgewichte zur Inferenzzeit und ist ein Mechanismus der fünften Ebene, doch es passt sich pro Aufgabe an und setzt zurück, sodass es die Tiefe der fünften Ebene ohne deren Permanenz erreicht. Eine vollständig persistente, dichte Online-Aktualisierung — das, was Menschen tun, ohne es zu bemerken, und kein ausgeliefertes Modell tut — ist die oberste Sprosse der Leiter und im großen Maßstab bislang ungebaut.

Die Ebenennummer sagt, wo eine Änderung sitzt: im Kontext, in einem externen Speicher, in einem hinzugefügten Modul, in sparsamen Basisgewichten oder in dichten Basisgewichten. Sie sagt nicht, ob die Änderung online aus der eigenen Einsatzerfahrung des Modells gelernt oder offline von einem Menschen zusammengestellt und ausgeliefert wird. Das ist der separate Test aus der Einleitung, und er verläuft parallel zu den parametrischen Ebenen, statt sie zu ordnen. Ein handkuratierter Adapter ist Substrat der dritten Ebene mit offener Schleife, also Anpassung, nicht kontinuierliches Lernen. AlphaProof aktualisiert ein Basismodell online aus seinen eigenen verifizierten Versuchen und schließt die Schleife in einer Tiefe von Ebene drei bis fünf, qualifiziert sich also. Die beiden Fragen sind unabhängig, und kontinuierliches Lernen in unserem Sinne braucht beides: Die Änderung muss in den Parametern sitzen, und die Schleife muss sich online schließen.

Die beiden Bedingungen schließen Verschiedenes aus. Die Online-Bedingung schließt einen einmal trainierten, handkuratierten Adapter aus: Er komprimiert zwar in Parameter, aber offline, von einem Menschen zusammengestellt und ausgeliefert. Ein Coding-Agent, der an eine Memory-Datei anhängt und sie im nächsten Zug wieder ausliest, hat die Schleife online geschlossen, ohne Menschen dazwischen, und ist dennoch auf Ebene zwei, weil das Modell unverändert bleibt und der Speicher unbegrenzt wächst. Dieselbe Ausschlussregel erfasst Systeme, die weit leistungsfähiger sind als eine Memory-Datei. AlphaEvolve, ein eingefrorenes Modell, eingebettet in evolutionäre Suche, bringt echte neue Algorithmen hervor, und die Darwin-Gödel-Maschine schreibt ihren eigenen Code um, um sich an einem Software-Engineering-Benchmark zu verbessern — beide, ohne dass sich ihre Gewichte je ändern. Beide schließen die Schleife und erzeugen echte Neuheit, und beide verdichten sich zu Artefakten statt zu Parametern, sodass beide auf dem Substrat der Ebene zwei sitzen, wie raffiniert sie auch aussehen. Sie sind der stärkste Beleg dafür, dass der Weg über Ersatzlösungen weit führt, und wir kommen im Abschnitt zur These auf sie zurück.

Die Ebenen vier und fünf erfüllen beide Bedingungen, sobald ihre Schleife geschlossen ist: Sie komprimieren Einsatzerfahrung in die Basisparameter, online. Ebene drei liegt auf der Grenze. Eine Pipeline, die Erfahrung puffert, einen Adapter nachtrainiert und ihn in einem engen automatisierten Zyklus per Hot-Swap einwechselt, nähert sich beiden Bedingungen, während die Batch-Latenz sie hinter echter Online-Kompression zurückhält und das Wissen in einem angeschraubten Modul statt in den Basisgewichten bleibt. Wir behandeln eng automatisiertes Lernen auf Ebene drei als die Untergrenze von kontinuierlichem Lernen und die geschlossenen, parametrischen Methoden der Ebenen vier und fünf als seine volle Form. Die volle Form existiert bereits in engen Domänen: STaR trainiert ein Modell auf seinem eigenen korrekten Schlussfolgern nach und wiederholt das, und AlphaProof, siehe oben, macht die parametrische Variante mit verifizierten Beweisen. Unser Anspruch betrifft das, was die unteren Ebenen nicht erreichen können. Sie rufen eine immer längere Aufzeichnung der Arbeit ab. Sie werden nicht besser bei der Arbeit selbst.

Wie sich kontinuierliches Lernen bauen lässt

Kontinuierliches Lernen war bislang schwierig, weil die Gewichte miteinander verflochten sind. Sie zu bewegen, um eine Sache aufzunehmen, hat Folgen für alles andere. McCloskey und Cohen nannten dies 1989 katastrophale Interferenz. Die trainierbaren Parameter werden über jede Aufgabe geteilt, die das Modell erfüllt, sodass ein Netz, das plastisch genug ist, um Neues zu lernen, die Repräsentationen überschreibt, in denen die alte Fähigkeit steckt. Ein Update, das auf eine Sache zielt, landet auf allem. Das ist das Stabilitäts-Plastizitäts-Dilemma, und es ist einer der Gründe, warum Gewichte eingefroren ausgeliefert werden. Kompression und Vergessen sind ein und derselbe Vorgang, von zwei Seiten betrachtet, wie eine jüngere Arbeit aus Princeton und Cohere unter dem Titel „Learning is Forgetting: LLM Training As Lossy Compression" festhält: Das Pretraining treibt ein Modell zu optimaler verlustbehafteter Kompression, die per Definition verwirft.

Exhibit 2. Fünf Wege, ein Modell zu bewegen, ohne es zu zerstören

Nah an der Basis bleiben

Strafterm oder Interpolation halten das Update klein

Die aktualisierten Gewichte nahe an ihrem Ausgangspunkt halten

• EWC (2017)
• Weight interp. (2024)
• RL's Razor (2025)
• SDFT (2026)

Lokal aktualisieren

Nur die Gewichte berühren, die ein neuer Fakt braucht

Einen adressierbaren Bereich schaffen, damit der Rest ruht

• Sparse-Memory FT (2025)
• Knowledge Editing

Zur Testzeit lernen

Zur Inferenzzeit Gradientenschritte auf der Eingabe machen

Sich an das vorliegende Problem anpassen, dann antworten

• TTT (2020)
• TTT layers
• TTT-E2E
• TTT-Discover

Eigene Daten erzeugen

Versuche erzeugen, das Bestandene behalten und darauf trainieren

Die Schleife schließen und das Ergebnis in die Gewichte verdichten

• STaR (2022)
• SEAL (2025)
• AlphaProof (2024)

Ein eingefrorenes Modell durchsuchen

Eine äußere Schleife findet Neuheit; die Gewichte ändern sich nie

Echte Entdeckung, aber sie landet in einem Artefakt, nicht im Modell

• AlphaEvolve (2025)
• Darwin-Gödel-Maschine

Die Methoden, die funktionieren, teilen einen Instinkt: Um die Gewichte zu bewegen, ohne sie zu zerstören, hält man das aktualisierte Modell nah an dem, mit dem man begonnen hat. Vergessen skaliert damit, wie weit ein Update das Modell von seiner Basis wegzieht, also liegt es nahe, es weniger weit zu ziehen. Es gibt drei Stellhebel für diese Distanz. Elastic Weight Consolidation (Kirkpatrick et al., 2017) schätzt, welche Gewichte für die alte Aufgabe am wichtigsten waren, und verhängt dann einen Strafterm, wenn das Fine-Tuning diese Gewichte zu weit von ihren ursprünglichen Werten wegbewegt. Self-Distillation-Fine-Tuning zieht Stichproben aus den eigenen Antworten des Modells und trainiert es darauf, einer stärkeren Version seiner selbst zu gleichen — demselben Modell, konditioniert auf eine Musterlösung —, sodass das Ziel die Verteilung, in der sich das Modell ohnehin bewegt, nie verlässt und die Parameter sich kaum verschieben müssen (Shenfeld et al., MIT, 2026). RL's Razor (Shenfeld, Pari und Agrawal, MIT, 2025) argumentiert dasselbe von der Seite des Reinforcement Learning her: Wenn beide Methoden dieselbe Genauigkeit bei der neuen Aufgabe erreichen, vergisst On-Policy-Reinforcement-Learning weniger als überwachtes Fine-Tuning. Vergessen folgt der KL-Divergenz zwischen aktualisierter und Basis-Policy bei der neuen Aufgabe, in einem etwa quadratischen Verhältnis. On-Policy-Methoden ziehen Stichproben aus der eigenen Verteilung des Modells und bleiben daher zu Lösungen nahe der Basis hin verzerrt, während offline überwachtes Fine-Tuning sich viel weiter entfernen kann. Auch das bewusst vereinfachte Experiment der Arbeit zeigt es: Trainiert man überwachtes Fine-Tuning auf Labels, die die KL-Divergenz zur Basis-Policy minimieren, behält es mehr als RL selbst. Die Methoden unterscheiden sich in der Umsetzung, doch sie steuern alle dieselbe Variable: wie weit das Update das Modell von der Basis wegbewegt.

Self-Distillation und die On-Policy-Verzerrung treffen in der On-Policy-Distillation zusammen: Der Student erzeugt seine eigenen Trajektorien, und ein Lehrer bewertet sie Token für Token — das On-Policy-Sampling hält das Update nah an der Basis, während das dichte Signal pro Token mehr trägt als eine einzelne Belohnung und ohne externen Verifizierer auskommt (Agarwal et al., 2023). Am schärfsten für kontinuierliches Lernen ist die Variante, die das Modell sein eigener Lehrer sein lässt — konditioniert auf den Kontext, den es über eine lange Sitzung aufgebaut hat — und das in der Sitzung erworbene Können zurück in die Gewichte verdichtet: der Schritt, der aus dem, was ein eingefrorenes Modell nur vor sich halten kann, etwas macht, das es behält (Shenfeld et al., MIT, 2026). Ein Bericht aus einem Lab nennt ein Modell mit acht Milliarden Parametern: Fine-Tuning auf internen Dokumenten hatte sein Befolgen von Anweisungen von 85 Prozent erodiert, die On-Policy-Distillation hob es wieder auf 83 Prozent, während sein Griff auf das neue Material hielt; ein Industriebericht, noch nicht begutachtet (Lu, Thinking Machines Lab, 2025).

Der zweite Instinkt ist, lokal zu aktualisieren. Wenn man nur die Gewichte berührt, die ein neuer Fakt braucht, und den Rest ruhen lässt, umgeht man die Verflechtung, statt gegen sie anzukämpfen. Die Schwierigkeit ist, dass Wissen keine bestimmte Adresse hat. Merkmale liegen in Superposition, gepackt als überlappende Richtungen über viele Neuronen hinweg, sodass es keine saubere Menge von Parametern gibt, die einen Fakt und nichts sonst hält. Sparse Memory Fine-Tuning (Lin et al., Meta, 2025) umgeht dies, indem es dem Netz adressierbaren Speicher gibt. Es ersetzt eine Feed-Forward-Schicht durch einen großen Speicherpool und aktualisiert nur die Slots, die ein neuer Fakt am stärksten aktiviert, gemessen an ihrer Nutzung auf den Pretraining-Daten. Bei einem Modell mit 1,3 Milliarden Parametern, dem ein Strom neuer Fakten beigebracht und das anschließend an einem unabhängigen Benchmark getestet wurde, den es nie trainiert hatte, senkte vollständiges Fine-Tuning den Held-out-Score um 89 Prozent und LoRA um 71 Prozent. Sparse Memory Fine-Tuning begrenzte den Verlust bei gleichem Niveau an neuem Wissen auf 11 Prozent. Dieselbe Arbeit fand, dass bei dieser sparsamen Methode schlichtes SGD weniger vergaß als AdamW, weil die parameterweisen Schrittweiten von Adam schlecht mit Sparsity zusammenspielen.

Beide Instinkte laufen bisher offline, auf einem Batch, den ein Mensch zusammenstellt. Das schwerere Problem ist das Lernen während des Einsatzes, ohne einen sauberen, im Voraus vorbereiteten Trainingssatz. Die nächste funktionierende Variante ist Test-Time Training: Ein Teil des Modells passt sich durch Gradientenschritte auf der Eingabe selbst an, zur Inferenzzeit, bevor es antwortet. Der beste kausale Beleg ist eine kontrollierte MIT-Studie (Akyürek et al., 2025), die den Effekt isolierte und fand, dass Test-Time Training die Genauigkeit am ARC-Reasoning-Benchmark um bis zu das Sechsfache gegenüber demselben Modell verbesserte, das ohne es feinabgestimmt wurde — und 53 Prozent auf dem öffentlichen Set mit einem 8-Milliarden-Parameter-Modell erreichte sowie 61,9 Prozent im Ensemble, gleichauf mit dem durchschnittlichen Menschen. Ähnliche Verbesserungen wurden auf BIG-Bench Hard erzielt, wo dieselbe Technik das übliche Zehn-Shot-Prompting um 7,3 Punkte schlug — das Modell zog mehr aus identischen Beispielen, indem es seine Gewichte an sie anpasste, statt sie nur zu lesen. Die Variante im Wettbewerbsmaßstab erschien beim ARC Prize 2024, wo Test-Time Training den Score auf dem privaten Set von 33 Prozent Ende 2023 in die Mitte der Fünfziger trug und alle führenden Ansätze irgendeine Form davon nutzten, während GPT-4o und Claude 3.5 Sonnet, direkt gepromptet, zwischen 5 und 14 Prozent erreichten. Bei ARC-AGI wirkte das Verändern des Modells während der Inferenz auf eine Weise, wie es das Prompting allein nicht tat. Doch Test-Time Training passt sich pro Aufgabe an und setzt zurück, sodass es die Tiefe des Lernens auf Gewichtsebene ohne die Permanenz erreicht.

Test-Time Training beginnt immer noch mit einer von außen gelieferten Aufgabe. Der nächste Schritt ist ein System, das seine eigenen Trainingsdaten erzeugen kann: Versuche generieren, die behalten, die eine Prüfung bestehen, und aus ihnen lernen, ohne einen menschlich gelabelten Batch. Entscheidend ist, wo das Gelernte landet. SEAL (MIT, 2025) und AlphaProof (DeepMind, 2024) verdichten es in die Gewichte. SEAL schreibt seine eigenen Self-Edits — Anweisungen, worauf und wie zu trainieren ist —, wendet sie als echte Updates an und betreibt eine äußere Reinforcement-Learning-Schleife, die lernt, welche Edits helfen. AlphaProof beweist Aussagen in Lean, verstärkt seine Parameter mit jedem verifizierten Beweis und erzeugt für schwere Probleme zur Inferenzzeit Hunderttausende Varianten, um seine Gewichte für dieses eine Problem zu aktualisieren; bei der Internationalen Mathematik-Olympiade 2024 erreichte es Silbermedaillen-Niveau. AlphaEvolve und die Darwin-Gödel-Maschine schließen dieselbe Schleife und halten ihre Modelle eingefroren. AlphaEvolves algorithmische Gewinne, die wir im Abschnitt zur These ausführen, sammelten sich in einem externen Programmarchiv an, während sich seine Gewichte nie bewegten. Die Darwin-Gödel-Maschine schrieb ihren eigenen Code um und hob einen Software-Engineering-Score von 20 auf 50 Prozent, ebenfalls eingefroren. Dies sind die stärksten Belege dafür, dass eine geschlossene Schleife echte Neuheit hervorbringt — und die stärkste Erinnerung daran, dass das Schließen der Schleife und das Verdichten in die Gewichte zweierlei sind: Zwei der vier lernen nichts, was das Modell in die nächste Aufgabe mitnimmt. Die beiden, die in die Gewichte verdichten, stoßen auf das ältere Problem. SEALs eigenes Experiment zum kontinuierlichen Lernen zeigt, dass unter wiederholten Self-Edits das katastrophale Vergessen zurückkehrt. In die Parameter zu verdichten ist notwendig, aber nicht hinreichend, und es dauerhaft zu machen, ohne die Vergangenheit zu löschen, ist ungelöst.

Die Gewichte zu aktualisieren ist nicht dasselbe wie das Modell zu zerstören. Vergessen hängt davon ab, wie weit das Update das Modell von seiner Basis wegbewegt, und mehrere Methoden halten diese Distanz inzwischen klein — im Labor, bei einzelnen Updates, bei einigen Milliarden Parametern. Das schwächt den stärksten Einwand gegen kontinuierliches Lernen: dass das Verändern des Modells zwangsläufig zerstört, was es bereits weiß. Die offene Frage ist, ob dieselbe Kontrolle wiederholte Updates im Frontier-Maßstab übersteht.

Rezepte für kontinuierliches Pretraining frischen ein eingesetztes Modell mit erneutem Aufwärmen der Lernrate und einem dünnen Anteil wiederabgespielter alter Daten auf und kommen damit einem vollständigen Neutraining auf der neuen Verteilung gleich, bei einem Bruchteil der Rechenleistung (Ibrahim et al., 2024) — und das ist die Variante, die der Produktion heute am nächsten ist. Die Memory-Layer-Lokalisierung, die Methode hinter dem 11-Prozent-Ergebnis, hat offensichtlichen Spielraum: Der Speicherpool skaliert, und die offene Frage ist, ob selektives Aktualisieren den Schaden auch beim Hundertfachen der Parameter noch isoliert. Modulare Ansätze greifen die Verflechtung an der Wurzel an, indem sie ein einzelnes geteiltes Modell durch ein orchestriertes Set von Spezialisten ersetzen, sodass ein Update auf einer Komponente landet und den Rest schon von der Konstruktion her unberührt lässt. Und der Optimierer selbst steht zur Debatte, denn zwei unabhängige Befunde — die KL-Verzerrung von On-Policy-RL und das Ergebnis, dass schlichtes SGD weniger vergisst als Adam — sagen beide, dass die für Einmal-Training gebauten Optimierer die falschen Werkzeuge für ein Modell sind, das nie aufhört zu trainieren.

Nichts davon ist gelöst, und persistentes kontinuierliches Lernen im Frontier-Maßstab ist nicht gebaut worden. Doch die Argumente dagegen haben sich verändert. Die verbleibende Frage ist, ob die Kontrollen, die bei einzelnen Updates in kleinem Maßstab funktionieren, auch dann noch funktionieren, wenn das Modell kontinuierlich im Frontier-Maßstab lernt.

Warum wir kontinuierliches Lernen brauchen

Üblicherweise wird kontinuierliches Lernen mit der Praktikabilität begründet. Ein Assistent, der sich die Vorlieben seines Nutzers merkt, oder ein Agent, der aufhört, die Fehler von gestern zu wiederholen, ist besser. Der tiefere Grund, kontinuierliches Lernen zu wollen, ist die Fähigkeit selbst. Ein Modell mit eingefrorenen Gewichten ist durch sein Training begrenzt. Es kann neu kombinieren, was es aufgenommen hat, aber es nicht übertreffen. Dieses Übertreffen ist das, was Entdeckung bedeutet, und Entdeckung ist der Teil von Intelligenz, der am meisten zählt — und der Teil, den ein eingefrorenes Modell strukturell nicht erreichen kann. Wir glauben, dass kontinuierliches Lernen notwendig ist für ein System, das besser wird als sein Training, statt es nur abzuspulen.

Beginnen wir mit dem Argument, das am besten gealtert ist. Richard Suttons Bitter Lesson von 2019 besagt, dass sich die Ansätze durchsetzen, die mit Rechenleistung weiter skalieren, und dass zwei Methoden beliebig skalieren: Suche und Lernen. Von Hand eingebrachtes menschliches Wissen läuft am Ende stets in ein Plateau. Pretraining ist Lernen, und es ist Lernen, das beim Deployment anhält. Ein Modell, dessen Gewichte beim Ausliefern einfrieren, wendet die zweite skalierbare Methode auf nichts mehr an, dem es danach begegnet. Sutton hat den Schluss inzwischen selbst gezogen. 2025 argumentiert er, dass die heutigen Modelle seine eigene Lektion verletzen, weil das Nachahmen menschlichen Textes menschliches Wissen festschreibt und an eine Datengrenze stößt, und dass der skalierbare Weg ein experientielles Lernen ist, das nie aufhört: Das System probiert Dinge aus, sieht, was funktioniert, und behält das Ergebnis, ohne dass jemand die Grundwahrheit liefert. Vorwärts gelesen, weist die Bitter Lesson auf kontinuierliches Lernen. Die Methode, die Rechenleistung weiter nutzt, ist die, die weiter lernt.

David Silver und Richard Sutton argumentieren in „Welcome to the Era of Experience" (April 2025), dass das Lernen aus menschlichen Daten ein Modell auf menschliche Kompetenz deckelt, weil das Modell kein Wissen halten kann, das seine Daten nicht enthalten. Die Entdeckungen, die zählen — ein neues Theorem oder ein schnellerer Algorithmus — fehlen per Definition in jedem menschlichen Korpus, sodass keine Menge an menschlichen Daten sie erreicht. Was sie erreicht, ist Erfahrung. Die Systeme, die echte Neuheit hervorgebracht haben, taten dies, indem sie ihre eigenen Versuche gegen ein objektives Prüfsignal erzeugten und das Ergebnis in ihre Gewichte einarbeiteten. AlphaGos Zug 37 im Jahr 2016 war ein Spielzug, den kein menschliches Spiel enthielt. AlphaDev fand 2023 eine schnellere Sortierroutine. AlphaProof erreichte bei der Internationalen Mathematik-Olympiade 2024 Silbermedaillen-Niveau, indem es seine Parameter mit jedem verifizierten Beweis verstärkte. Jedes durchlief eine geschlossene Schleife, die sich selbst verstärkte, und jedes endete jenseits des Wissens, mit dem es begann. Fähigkeit jenseits der Trainingsverteilung hat es gegeben, und in jedem Fall kam sie von einem System, das aus seiner eigenen Erfahrung lernte.

Der Mechanismus darunter ist Exploration. Ein eingefrorenes Modell, selbst eines, das mit Reinforcement Learning poliert wurde, nutzt überwiegend aus, was es bereits hat. Das beste Beispiel ist Yue et al., eine NeurIPS-2025-Arbeit, die fragte, ob Reinforcement Learning mit verifizierbaren Belohnungen das Schlussfolgern eines Modells erweitert oder es nur schärft. Bei einem Versuch gewinnt das RL-abgestimmte Modell, doch bei vielen Versuchen löst das Basismodell mehr unterschiedliche Probleme, und das RL-Training verengt die Bandbreite des Modells, indem es die Entropie seiner Ausgaben senkt. Es macht Exploration handhabbar, weil die Vermutungen des Modells vernünftig sind, und es begrenzt Exploration, weil eine Vermutung weit abseits meist Unsinn ist. Fähigkeit auszuweiten verlangt eine Ratsche: explorieren, etwas finden, das eine Prüfung bestätigt, es in die Gewichte komprimieren, dann erneut von der höheren Schwelle aus explorieren. Diese Ratsche ist eine Voraussetzung für rekursive Selbstverbesserung und nicht dasselbe, denn sie hebt die Fähigkeit bei der Aufgabe, ohne das Tempo zu erhöhen, mit dem Fähigkeit erworben wird. Den Kompressionsschritt überspringt ein eingefrorenes Modell, und ohne ihn akkumuliert Exploration nie. Das Modell schärft denselben Prior für immer. Das ist auch die alltägliche Variante des Arguments. Eine Fachkraft ist im sechsten Monat besser als im ersten, weil die Arbeit sie verändert hat. Ein eingefrorenes Modell ist im sechsten Monat das Modell aus dem ersten, geschärft.

Die stärkste Form des Arguments ist Abdeckung: Die nützliche Arbeit ist nicht die einzelne Fähigkeit, sondern die Kombination von Fähigkeiten. Ein Modell mit Fähigkeit A und Fähigkeit B sollte die Komposition der beiden bewältigen, doch die Zahl der möglichen Kompositionen wächst exponentiell, sodass der Long Tail größer ist, als jeder Trainingssatz fassen kann. Entweder generalisiert das Modell kompositionell von selbst, was es nicht zuverlässig tut, oder es lernt die Kombinationen, sobald es ihnen begegnet, und das ist kontinuierliches Lernen. Pretraining kann den Raum nicht abdecken, weil der Raum kombinatorisch ist.

AlphaEvolve zeigt sowohl die Kraft als auch die Grenze dieses Ansatzes. Ein eingefrorenes Gemini-Modell, eingebettet in evolutionäre Suche, hat echte Neuheit hervorgebracht: einen Algorithmus zur Multiplikation komplexer 4×4-Matrizen mit 48 skalaren Multiplikationen statt Strassens 49, Verbesserungen bei 14 Matrixmultiplikations-Zielen und eine Scheduling-Heuristik, die mehr als ein Jahr lang 0,7 Prozent von Googles weltweiter Rechenleistung zurückgewann. Doch diese Ergebnisse stammen aus Domänen mit billigen, exakten Prüfungen. Die Zerlegung ausmultiplizieren und sehen, ob sie aufgeht. Die Packungsdichte messen. Den Kernel benchmarken. Wenn der Verifizierer eine saubere Antwort gibt, kann die Suche um ein eingefrorenes Modell herum Dinge finden, die Menschen übersehen haben.

RL skaliert am besten, wenn die Aufgabe einen Verifizierer hat. Das ist richtig, aber unvollständig. OpenAIs Deliberative Alignment baute ein Sicherheits-Belohnungssignal ohne mechanische Grundwahrheit, indem es eine Spezifikation schrieb und ein Belohnungsmodell trainierte, das Vervollständigungen daran misst. Rubrics und LLM-Judges tun dasselbe für offene Arbeit: Sie verwandeln Urteil in etwas, das die Trainingsschleife optimieren kann. Die Grenze ist, dass ein Judge kein Beweis ist. Treibt man es weit genug, lernt das Modell, was der Judge belohnt, nicht, was gemeint war. Exakte Verifizierer ermöglichen sauberes Verdichten; gelernte Judges funktionieren, sind aber durchlässig; manche Aufgaben lassen sich nicht gut genug spezifizieren, um gegen sie zu trainieren. AlphaEvolve sitzt am sauberen Ende. Der Großteil der Wirtschaft nicht. Die menschliche Arbeit wandert stromaufwärts, vom Lösen der Aufgabe zum Bauen und Überwachen des Verifizierers.

Eine berechtigte Frage ist, ob das laufende RL-Post-Training, das die Labs bereits betreiben, kontinuierliches Lernen ist. Es aktualisiert die Gewichte, also nimmt es die Kompressionshürde. Die andere reißt es. Die Schleife läuft durch das Lab: Menschen stellen die Prompts zusammen, bauen das Belohnungsmodell, lassen den Job laufen und liefern den nächsten Checkpoint aus. Das Modell lernt noch nicht aus seiner eigenen Einsatzerfahrung, ohne Menschen im Batch. Es wird in menschlicher Taktung neu trainiert, schneller und billiger als zuvor. Nach den zwei Achsen der Leiter ist das offline-parametrisches Lernen mit offener Schleife — der stärkste Ersatz und immer noch ein Ersatz.

Der gängige Einwand gegen kontinuierliches Lernen ist, dass Ersatzlösungen die Lücke schließen werden. Längerer Kontext und persistenter Speicher mögen einem eingefrorenen Modell erlauben, mehr Information mitzuführen und sich zu verhalten, als hätte es gelernt. Sie werden In-Context-Learning verbessern, vergangene Interaktionen abrufen und das System besser darin machen, seine eigene Historie zu nutzen. Aber sie verdichten diese Historie nicht in die Gewichte. Das Modell macht bessere Notizen; es wird nicht besser bei der Aufgabe im selben Sinne.

Wir sind überzeugt, dass kontinuierliches Lernen notwendig ist für Fähigkeitswachstum, für ein System, das sein Training übersteigt. Wo ein automatischer Verifizierer existiert, lassen sich die Gewinne bereits finden, und die Aufgabe ist, sie in das Modell zu verdichten, damit es besser wird, statt ein Artefakt zu erzeugen und zurückzusetzen. Wo kein Verifizierer existiert — was der Großteil der Arbeit ist, von der eine Wirtschaft lebt — ist kontinuierliches Lernen der einzige Mechanismus, der Neuheit überhaupt erreichen könnte. Der technische Abschnitt hat gezeigt, dass sich die Gewichte bewegen lassen, ohne das Modell zu zerstören. Dieser Abschnitt ist der Grund, warum es zählt, dass sie es können.