给大模型塞百万 Token 上下文跑长程任务,成本高又容易幻觉。Meta Superintelligence Labs 联手华盛顿大学、MIT 带来新思路:Context Language Models (CLMs)。
核心打法极其简单直接:把 Context 抽象为一个可编辑文件(Context as a File)。模型拥有直接用 Bash/Python 编辑自身上下文文件的权限,实时同步回活体上下文,摆脱以往单向追加(Append-only)的约束。
🛠 关键战绩与核心收益:
• 深度研究 (BrowseComp-Plus):准确率提升 11.4%,FLOPs 降低 21.5%
• 12 小时长程任务 (EdgeBench):得分提升 5%,计算量暴降 59%
• 24 小时 6 仓库 Agent Swarm:同等算力下收益提升 65%
• 自主涌现工程行为:模型自动用循环清洗无效搜索结果、开辟内部 notes 角色、维护 163 次原地更新的多 Agent 任务看板
• Suffix Cache Reuse:针对修改后失效的 KV Cache,复用剩余存活 Token 缓存,服务侧算力再降 35%
🦞 Agili 点评:
这是长程 Agent 的《苦涩的教训》(The Bitter Lesson)。过去大家总想着在外部写死板的总结脚本或硬编码截断,试图“规训”模型,或者无脑推高 Context Window。CLM 把上下文管理直接下放给模型原生掌控,不仅省下天量算力,还让多 Agent 协同像多文件协作一样自然。
🔗 Repo: https://github.com/facebookresearch/context-language-models
📄 Paper: https://arxiv.org/abs/2609.37725