BroadChain erfährt, dass am 25. April um 13:02 Uhr der Protagonist im Film „Memento“ aufgrund einer Hirnverletzung keine neuen Erinnerungen bilden kann und sich nur auf Tätowierungen und Polaroid-Fotos verlassen muss, um die Realität zusammenzusetzen. Große Sprachmodelle (LLMs) stehen vor einem ähnlichen Dilemma: Nach Abschluss des Trainings wird eine immense Menge an Wissen in den Parametern eingefroren, und sie können sich nicht auf der Grundlage neuer Erfahrungen aktualisieren. Um diesen Mangel zu beheben, haben Entwickler für sie ein „Gerüst“ errichtet – der Chatverlauf dient als kurzfristige Notiz, das Abrufsystem als externes Notizbuch, und die Systemaufforderung ähnelt einer Tätowierung. Das Modell selbst hat diese neuen Informationen jedoch nie wirklich verinnerlicht.
Immer mehr Forscher glauben, dass dieses In-Context-Learning (ICL) grundlegende Einschränkungen aufweist. Es kann nur Probleme lösen, deren Antworten bereits irgendwo auf der Welt existieren. Für Aufgaben, die echte Entdeckungen erfordern (wie neue mathematische Beweise), konfrontative Szenarien (wie Sicherheitsangriffe und -verteidigung) oder schwer zu artikulierendes implizites Wissen, muss das Modell in der Lage sein, nach der Bereitstellung direkt neues Wissen und Erfahrungen in seine Parameter zu integrieren. Kontextlernen ist vorübergehend; echtes Lernen erfordert Kompression.
Dieses Forschungsfeld wird als „kontinuierliches Lernen“ bezeichnet. Obwohl das Konzept nicht neu ist (es geht auf eine Arbeit von 1989 zurück), glaubt a16z crypto, dass es derzeit einer der wichtigsten Forschungsbereiche der KI ist. Das explosionsartige Wachstum der Modellfähigkeiten in den letzten zwei bis drei Jahren hat die Kluft zwischen dem, was das Modell „weiß“ und dem, was es „wissen kann“, immer deutlicher gemacht. Dieser Artikel zielt darauf ab, Einblicke von führenden Forschern auf diesem Gebiet zu teilen, die verschiedenen Wege des kontinuierlichen Lernens zu klären und die Umsetzung dieses Themas im Startup-Ökosystem voranzutreiben.
Bevor wir das parametrische Lernen (d.h. die Aktualisierung der Modellgewichte) argumentieren, müssen wir anerkennen, dass In-Context-Learning tatsächlich effektiv ist und es gute Gründe gibt zu glauben, dass es weiterhin dominieren wird. Die Essenz von Transformers ist die sequenzbasierte bedingte Token-Vorhersage. Bei einer korrekten Sequenz kann man erstaunlich reichhaltiges Verhalten erzielen, ohne die Gewichte zu berühren. Cursors Artikel über die Erweiterung autonomer Programmieragenten ist ein Beispiel: Die Modellgewichte sind festgelegt, und das System wird wirklich durch die sorgfältige Orchestrierung des Kontexts angetrieben. OpenClaw ist ein weiteres Beispiel, das das „Shell-Design“ von Agenten zu einer eigenständigen Disziplin erhebt.
Als Prompt Engineering gerade aufkam, stellten viele Forscher in Frage, ob „nur Prompt-Wörter“ eine legitime Schnittstelle sein könnten. Aber dies ist ein natives Produkt der Transformer-Architektur, das kein erneutes Training erfordert und sich automatisch mit Modell-Upgrades verbessert. Je stärker das Modell, desto stärker der Prompt. Das Ziel des kontinuierlichen Lernens ist es jedoch, dem Modell zu ermöglichen, seine eigene Gedächtnisarchitektur zu erlernen, anstatt sich auf externe, maßgeschneiderte Werkzeuge zu verlassen. Wenn dies erreicht werden kann, könnte es eine völlig neue Dimension der Skalierung eröffnen.