博鏈BroadChain獲悉，4月25日 13:02，在電影《記憶拼圖》中，主角因腦損傷無法形成新記憶，只能依靠刺青和拍立得照片來拼湊現實。大型語言模型（LLM）也面臨類似困境：訓練完成後，海量知識被凍結在參數中，無法基於新經驗更新自身。為彌補這一缺陷，開發者為其搭建了「腳手架」——聊天歷史充當短期筆記，檢索系統作為外部筆記本，系統提示則像刺青。但模型本身從未真正內化這些新資訊。
越來越多的研究者認為，這種上下文學習（ICL）存在根本局限。它只能解決答案已存在於世界某處的問題，但對於需要真正發現（如全新數學證明）、對抗性場景（如安全攻防）或難以言傳的隱性知識，模型必須能在部署後直接將新知識和經驗融入參數。上下文學習是暫時的，真正的學習需要壓縮。
這一研究領域被稱為「持續學習」。儘管概念並不新鮮（可追溯至1989年的論文），但a16z crypto認為，它是當前AI最重要的研究方向之一。過去兩三年模型能力的爆發式增長，使模型「已知」與「可知」之間的鴻溝愈發明顯。本文旨在分享來自該領域頂尖研究者的洞見，釐清持續學習的不同路徑，並推動這一話題在創業生態中落地。
在論證參數學習（即更新模型權重）之前，需承認上下文學習確實有效，且有充分理由認為它將繼續佔據優勢。Transformer的本質是基於序列的條件token預測器。給定正確的序列，無需觸碰權重即可獲得驚人的豐富行為。Cursor關於擴展自主編程代理的文章便是例證：模型權重固定，真正驅動系統的是上下文的精心編排。OpenClaw則是另一典範，它將智能體的「外殼設計」提升為一門獨立學科。
當提示工程剛興起時，許多研究者質疑「僅憑提示詞」能否成為合法接口。但這正是Transformer架構的原生產物，無需重新訓練，且隨模型升級自動增強。模型越強，提示越強。然而，持續學習的目標是讓模型學會自己的記憶架構，而非依賴外部定製工具。若能實現，可能解鎖全新的擴展維度。