《Titans: Learning Long-Term Memory for Scalable Sequence Modeling》 这个 paper 可能是最终解决模型记忆的正确方案。和主流提示词工程或者 rag 方案的区别是找到了一个惊喜度来给记忆分层，并且把高价值记忆引入一个持续 fine tuning 的小模型，用一定的规则管理价值和遗忘等。这种大模型套小模型的方式我以前就设想过（懒得搜微博了），没想到 Google 的研究人员也是这么想的。
开了眼了也是😂
【1点赞】
