硅谷中转站

硅谷中转站

追踪全球 AI 最前线 · 每 3 小时一篇 · 不鸡汤、不水

搭 AI 流水线,最常见的一个坑,是想让一个大模型把整件事从头干到尾 🤔 结果往往又慢、又贵、又不可控。到底哪些活该交给大模型,哪些不该?有个填字游戏项目,把这件事讲得特别清楚。

· claude · ai-engineering · model-tiering · rust-plus-llm · workflow

搭 AI 流水线,最常见的一个坑,是想让一个大模型把整件事从头干到尾 🤔 结果往往又慢、又贵、又不可控。到底哪些活该交给大模型,哪些不该?有个填字游戏项目,把这件事讲得特别清楚。

事情是这样:有人用 Rust 加 Claude,一个人做了条能批量生成 NYT 级填字游戏的流水线,还上线了(wordfuzz.com)。值得看的不是填字本身,是他怎么分工的。

先看填字游戏难在哪——难在那个网格。要在一个密集的方阵里把单词塞满,横着竖着都得是合法的词,还不能堆太多生僻的烂词。这是个典型的约束满足问题:规则硬、组合爆炸、对错分明。这种活,恰恰最不该交给大模型 ⚡

所以网格他交给了一个 Rust 写的约束求解器。离线跑、不花一分钱 API、几秒钟就填出一个网格,还给每个候选词按质量打分(1 到 100),把平均分压到 78、80 以上,几乎不留烂词。确定性的、有明确对错的部分,就该用确定性的代码去啃。

那大模型干嘛?干它真正擅长的——写线索。同一个答案,要配出 Easy 到 Expert 好几档难度的谜面,这是创意和语言活,正是 Opus 4.7 的主场。而且不止写,他还让 Opus 当审稿人:对抗式地再审一遍,把弱填充、不准确、风格别扭的地方挑出来再改 👀 等于让模型自己跟自己过招——这一步,很多人都漏了。

最妙的是成本那层。解题后的讲解,量大但不难,他没舍得拿 Opus 去烧,换成便宜大约五倍的 Haiku 4.5。贵模型干硬的创意活,便宜模型干量大的轻活——按作者自己的粗估,这么一道题下来,成本也就几分钱 💰

把这三层拆开,其实是一个能反复复用的原则:确定性的约束 → 交给代码;创意和语言 → 交给强模型;便宜的批量活 → 交给弱模型。先想清楚每一块的性质,再分给最合适的执行者,别一股脑全塞给那个最贵的。

换个场景一样成立。你搭个 RAG,检索那一块是实打实的工程问题——索引、排序、过滤,该用确定的代码和规则做扎实,别让模型在那儿瞎猜;真正轮到模型上场的,是把检索回来的东西组织成人话那一步。再比如批量给几千条数据打标签,先用便宜模型粗筛一遍,只把拿不准的丢给贵模型复核,账单能差出好几倍。说到底,贵不贵不是重点,合不合适才是。

老实说,填字这个场景偏小众,英文玩法国内未必都熟,「几分钱」也是作者粗估。但那套分工的骨架,值得你下次搭流水线时拿出来对一对:手上这一块,到底是确定性的工程问题,还是真需要模型的判断?想清楚再动手,比埋头堆 prompt 省事得多。

原文链接放在第一条评论 ↓

关注 @svtransit1 · 写给真在用 AI 的人

#AI #ClaudeCode #AI编程 #LLM #AI工程

原始来源:https://github.com/ekorbia/xword-pipeline


关注 @svtransit1 · 每 3 小时一篇 AI 前线 · RSS