ARC-AGI-3 上的 25 局交互游戏,前沿模型本来几乎一局都赢不下来。Yuxin Liu 这周挂的一篇论文,把这个数字拉到 22。
ARC-AGI 是 François Chollet 设计的那套”测真通用智能”基准,刻意不给模型背题的机会——每个新环境都跟训练集毫无关系,所以靠数据规模堆出来的能力在这上面失效。第三代在原有的视觉推理之外加入了交互式游戏:agent 不再是看一张图回答,而是必须实际操作环境、按动作回路里走。前沿模型(包括最大的几个)在这一类任务上长期是 near-zero——基本只能瞎走,赢一两局就到顶。
这周 Yuxin Liu 带另外 8 位作者挂出 MAP,全名 A Map-then-Act Paradigm。同一批 frontier 模型,用这个 paradigm 套进去,25 局过 22 局——88% solve rate。
三步走结构反直觉地朴素。第一步,global exploration——让 agent 先在环境里到处走,不带任务目标。光看,光摸,记录哪些动作有反应、哪些组合会触发什么。第二步,task-specific mapping——拿到任务后,根据探索阶段的信息在脑子里建一张”这个环境的地图”:什么物件干什么、规则是什么、关键路径在哪。第三步,knowledge-augmented execution——带着地图去做事,执行阶段不再边做边猜。
跟过去 1-2 年那波 agent 论文不一样的地方:主流路线在卷 prompt 工程、卷 scratchpad、卷长 context——本质都是”让模型在执行的同时尽量多想点”。MAP 的论点是反方向的:把”理解环境”这件事从执行里剥离出来,提前做完,再去执行。这跟人类玩一个新游戏的方式很像——你扔一个 Zelda 给一个从没玩过的人,他不会一上来就找 boss,他会先到处跑跑,试试每个按钮干嘛、什么东西能打、什么东西能拿。然后才开始想”那现在让我过关的路径是什么”。MAP 在做的就是把这个人类直觉显式化:用三段式的流水线代替”边玩边想”。
最有意思的次要发现是 MAP-2K 数据集。作者用 MAP 流程生成了一批训练数据——也就是”探索 → 建图 → 行动”的全流程轨迹,不是单独的”专家最优解”。模型在这批数据上训练出来的效果,反而比直接训练在”专家执行轨迹”上还好。这句话的含义比表面要重:它暗示”先理解环境”比”模仿专家做法”是更基础的能力。过去 RL / imitation learning 圈子普遍假设”模仿专家”是上限附近的策略,MAP-2K 给的反例提示上限可能在更上一层——理解 > 模仿。
22 比 25 这个数字摆在 ARC-AGI 上,有意义的地方不是绝对分数,是它打穿了”前沿模型在交互任务上没救”的判断——给了一个干净的 recipe。可能也意味着这一两年 agent 评测圈子需要重新设计基准:如果模型可以靠”先探索再执行”轻松爬上 88%,那真正”通用智能”的考点应该转向哪一类?Liu 这篇没回答,但把题目摆在桌面上了。下一波 agent 框架,可能不再卷”agent 在干活时怎么想”,而卷”agent 怎么提前理解环境”——前者已经成了红海,后者才刚刚有路径。
转给做 agent 框架还在卷 scratchpad 的朋友——他们值得看一眼这篇。
关注 @svtransit1 · 写给真在用 AI 的人
链接 · 👇 第一条评论
#AI #AIagent #ARCAGI #ML研究 #推理架构
关注 @svtransit1 · 每 3 小时一篇 AI 前线 · RSS