你有没有过这种经历:跟 AI 说"帮我做张图",出来的东西总差那么点意思,反复改半天还是不对劲。Qwen 团队最近的一篇论文指出,问题可能根本不在那个画图的模型,而在你那句话本身。
他们给这个毛病起了个名字,叫”上下文鸿沟”——你脑子里想要的,和模型真正需要知道的,中间差了一大截。真实世界里的需求,往往是模糊的、没说全的、甚至依赖最新信息的(比如”做张图,风格像最近很火的那个谁”)。而文生图模型只会照着你给的字面意思死板地画,你没说的,它不会替你补。说白了,不是它不会画,是它不知道你心里那张图长什么样;偏偏它又不会主动追你一句”你想要什么风格、给谁看、放哪用”,只能攥着你那半句话硬着头皮画。
他们的解法是:不再让模型一步到位地画,而是在落笔之前,先在它外面套一层 agent,把缺的上下文补全。这个 agent 干五件事——规划(plan)、推理(reason)、搜索(search)、记忆(memory)、反馈(feedback)。
举个例子。你说”帮我给咖啡馆做张开业海报”。一个普通的文生图模型,大概率甩给你一张放之四海皆准、跟你店没半点关系的图。但套了 agent 之后:它会先规划要补哪些信息;推理出你大概想要的调性;必要时去搜一下(你店的风格、当下流行的海报样式);记住你之前提过的偏好;画完还能根据你的反馈再调。等真正下笔的时候,它手里的”上下文”,已经比你那一句话丰满太多了。
这里面最戳人的,是”反复改半天”那一段。在没有这层 agent 之前,补全上下文这件累活全压在你身上——一遍遍试 prompt、加细节、换措辞、贴参考图,把脑子里那张图硬翻译成模型听得懂的话,改到第十版才勉强对味。论文想做的,说穿了就是把这份”翻译”的苦力,从你手上挪给 agent 去扛。
你品一下,这条路是不是很眼熟?这正是 AI 写代码走过的路:从”一句 prompt 直接出结果”,变成”一个 agent 规划、调工具、反复迭代”。图像生成,看起来正在重走这条从”一次成型”到”agentic 循环”的路。
而且我觉得,这事的影响不止于画图。一旦”先把意图问清楚,再动手生成”成了默认动作,你会发现一堆 AI 任务都能套这个壳:写文案、做 PPT、剪视频——凡是”人懒得把需求一次说全、但又对结果挑剔”的场景,中间都缺这么一层会替你追问、会补全的 agent。
如果这个方向成立,有个变化值得琢磨:”谁家的画图模型最强”这个问题,可能会变得没那么重要;真正拉开差距的,是那层能把你的意图问清楚、补全的编排逻辑。我们辛辛苦苦学的那些 prompt 咒语,大概也会慢慢过时——以后多半不用你费劲把话说全,自有 agent 帮你把缺的那截补上。
当然,得泼点冷水。这目前还是一篇研究论文,不是你现在就能用上的产品;它说自己在几个基准上做到了最好,但其中有的基准是他们自己设计的(比如那个 IA-Bench),自己出题自己考第一,这种 SOTA 得打个折看。方向有意思,落地还得等等。
但有一点我觉得是站得住的:画图这件事真正难的,从来不是”怎么把像素摆好看”,而是”先搞清楚你到底想要什么”。这一步,以前全靠你自己憋 prompt,现在有人想让 agent 来接了。
你用 AI 画图时,最大的痛点,是不是也在”它根本没 get 到我想要啥”?
原文链接放在第一条评论 ↓
关注 @svtransit1 · 写给真在用 AI 的人
#AI #AIGC #文生图 #Qwen #AIagent
原始来源：https://arxiv.org/abs/2606.26907
关注 @svtransit1 · 每 3 小时一篇 AI 前线 · RSS