BroadChain获悉，4月24日 14:00，模型 bahasa besar (LLM) setelah pelatihan selesai berada dalam keadaan "beku", dan setelah diterapkan hanya dapat bergantung pada jendela konteks dan tambalan eksternal seperti Retrieval-Augmented Generation (RAG) untuk beroperasi. Dua mitra a16z menunjukkan bahwa ini seperti protagonis dalam film "Memento": dapat mengambil informasi, tetapi tidak benar-benar belajar pengetahuan baru. Mereka secara sistematis menguraikan arah penelitian mutakhir "pembelajaran berkelanjutan", menganalisis bidang ini dari tiga dimensi: konteks, modul, dan pembaruan bobot.
Pembelajaran konteks (ICL) meskipun efektif, hanya berlaku untuk masalah yang jawaban atau fragmennya sudah ada di dunia. Untuk penemuan yang benar-benar baru (seperti bukti matematika baru), skenario pertempuran (seperti pengujian tim merah keamanan), atau pengetahuan implisit yang sulit diungkapkan, model perlu langsung menulis pengalaman baru ke dalam parameter setelah diterapkan. Pembelajaran konteks bersifat sementara, pembelajaran sejati memerlukan kompresi.
Pembelajaran berkelanjutan bukanlah konsep baru (dapat ditelusuri kembali ke tahun 1989), tetapi a16z menganggap ini sebagai salah satu arah terpenting AI saat ini. Ledakan kemampuan model dalam dua hingga tiga tahun terakhir telah memperlebar jurang antara apa yang "diketahui" dan "dapat diketahui" oleh model. Jika model dapat belajar arsitektur memorinya sendiri, daripada bergantung pada alat eksternal, mungkin akan membuka dimensi ekspansi yang sama sekali baru.