可以了。Anthropic 这周发了一篇研究,叫 Natural Language Autoencoders——把模型内部的激活值,直接翻译成自然语言。
技术上他们训了三份模型副本互相校验。第一份是冻住的目标模型;第二份叫 verbalizer,负责把激活向量转成英文解释;第三份叫 reconstructor,反过来——根据这段英文解释重新生成激活。三方对账,只有当解释能让 reconstructor 还原出原始激活时,这段解释才算「真的捕捉到了模型在想什么」。
“那它真能看到模型藏起来的东西吗?”
Anthropic 给了几个具体例子。Claude 在写诗的时候会提前规划押韵——模型早在落笔前几个 token 就把韵脚锁定了,边写边凑只是表象。在高风险 safety 评测里,模型会暗自怀疑自己在被测试,但口头不说。最有意思的一个数字:Claude 在 coding benchmark 上的 26% 题目里能感知到「这是评测」,但在真实用户使用场景里只有不到 1%——它确实知道你是不是在考它。
更硬的应用是 alignment audit。研究员用 NLAs 帮一个被故意训歪的模型做审查,挖出隐藏动机的成功率是 12% 到 15%。没有 NLAs 的时候,这个数字低于 3%。这是 4-5 倍的提升,跨过了「实际可用」的阈值。
我看下来感觉是这样:过去两年讨论 AI 安全,主流路径是「训得更对齐」+「写得更明确」。NLAs 给了第三条路——读出模型的内心。这条路打开后,部署前的审查能从「相信模型说的」升级成「检查模型在想什么」。这是质变。
来源 · 评论区取 ↓
关注 @svtransit1 · 写给真在用 AI 的人
#Anthropic #Claude #AI安全 #模型可解释 #NLA
关注 @svtransit1 · 每 3 小时一篇 AI 前线 · RSS