AI 答错了,你第一反应是「再让它试一次」,还是「得改 prompt」?有篇刚出的论文说:不用读它错在哪,光看「失败的分布特征」,就能 84% 判断出——这次重试到底有没有用。🧐
它把失败分成两类:一类是「运气差」,多抽几次样就能蒙对;另一类是「结构性」的,抽到天荒地老还是错,光重试没用,得动手干预(改提示、加约束之类)。论文用 3 个「轨迹层面」的特征,不看回答的文字、也不碰模型权重,就能把这两类分开,准确率 84.3%(比「无脑猜多数类」高 20 个点),换个模型家族还能接着用。🤖
照例说清楚:预印本、作者自测、没第三方复现;84% 还带着正负 4 个点的浮动。但思路挺实用——与其无脑重试一路烧 token,不如先判断「这把还有没有救」:救得了的就重试,救不了的早点改策略,省时间也省钱。
图里把两类失败拆开讲了 👇 你平时怎么处理 AI 翻车?
原文链接放在第一条评论 ↓
关注 @svtransit1 · 写给真在用 AI 的人
#AI #大模型 #提示词 #AIagent #AI论文
原始来源：https://arxiv.org/abs/2606.05145
关注 @svtransit1 · 每 3 小时一篇 AI 前线 · RSS