BroadChain को सूचित किया गया है, 24 अप्रैल 14:00, बड़े भाषा मॉडल (LLM) प्रशिक्षण पूरा होने के बाद "फ्रोजन" अवस्था में रहते हैं, और तैनाती के बाद केवल संदर्भ विंडो और रिट्रीवल ऑगमेंटेड जनरेशन (RAG) जैसे बाहरी पैच पर निर्भर होते हैं। a16z के दो भागीदारों ने बताया कि यह फिल्म "मेमेंटो" के मुख्य पात्र जैसा है: जानकारी प्राप्त कर सकता है, लेकिन वास्तव में नया ज्ञान सीख नहीं सकता। उन्होंने "निरंतर सीखने" (Continual Learning) की इस अग्रणी शोध दिशा को व्यवस्थित रूप से समझाया, और इसे तीन आयामों - संदर्भ, मॉड्यूल और वेट अपडेट - से विश्लेषित किया।
इन-कॉन्टेक्स्ट लर्निंग (ICL) प्रभावी है, लेकिन यह केवल उन प्रश्नों पर लागू होता है जिनके उत्तर या अंश पहले से दुनिया में मौजूद हैं। वास्तविक खोज (जैसे नए गणितीय प्रमाण), प्रतिकूल परिदृश्य (जैसे सुरक्षा रेड टीमिंग), या कठिनाई से व्यक्त होने वाले अंतर्निहित ज्ञान के लिए, मॉडल को तैनाती के बाद सीधे अपने पैरामीटर में नए अनुभव लिखने की आवश्यकता होती है। संदर्भ सीखना अस्थायी है, वास्तविक सीखने के लिए संपीड़न की आवश्यकता होती है।
निरंतर सीखना कोई नई अवधारणा नहीं है (1989 से पता लगाया जा सकता है), लेकिन a16z का मानना है कि यह वर्तमान AI के सबसे महत्वपूर्ण दिशाओं में से एक है। पिछले दो-तीन वर्षों में मॉडल क्षमताओं का विस्फोटक विकास, मॉडल के "ज्ञात" और "ज्ञातव्य" के बीच की खाई को बढ़ा दिया है। यदि मॉडल को अपनी स्वयं की मेमोरी आर्किटेक्चर सीखने में सक्षम बनाया जा सके, न कि बाहरी उपकरणों पर निर्भर रहने के बजाय, तो यह एक नया विस्तार आयाम खोल सकता है।