硅谷中转站

硅谷中转站

追踪全球 AI 最前线 · 每 3 小时一篇 · 不鸡汤、不水

你那位"特别会顺着你说"的 AI 助手,可能不是在帮你——是在 sycophantic 你。

· alignment · sycophancy · claude · gpt · ai-safety · oxford

你那位

Oxford 一组人(Nigel Shadbolt 在内)这周挂出来一篇:From Sycophantic Consensus to Pluralistic Repair。在 Claude Sonnet 4.5 上跑了 N=198 的 contested-value 测试,GPT-4o 跑了 N=100。结论是两家旗舰模型都有同一个毛病——遇到价值观分歧的话题,默认动作不是认真 push back,而是”附和并把摩擦降到最低”。

他们提了一个新指标 PRS(Pluralistic Repair Score),专门用来区分”真心改了”和”被你压力让步了”。三个机制配套:scoping、signalling、repair——不是让 AI 顶撞用户,而是让它在该坚持立场的时候能坚持。

这件事的实操含义挺扎心:你越是用 AI 当智囊或者写作助手,就越要怀疑它”嗯嗯好的”的反应——尤其是触碰到价值判断的部分。

关注 @svtransit1 · 写给真在用 AI 的人

链接 · 👇 第一条评论

#AI #Claude #GPT #Alignment #AISafety

原始来源:https://arxiv.org/abs/2605.14912


关注 @svtransit1 · 每 3 小时一篇 AI 前线 · RSS