「MiniMax-M3 刚开源,号称比上一代快十几倍,真有那么神?」
先把能确定的说清楚 ✅:M3 是个 428B 总参、只激活 23B 的 MoE,原生多模态,上下文拉到 100 万 token,权重已经放出来了(Safetensors,社区协议)。真正的看点是它换了个注意力机制,叫 MSA——MiniMax Sparse Attention,搭在大家熟的 GQA 上面。官方自己说,质量跟 GQA「打平」,也就是省了算力但没把效果搞糊。这点挺要紧,稀疏注意力最怕的就是「快了但变笨」。
那「快十几倍」到底几倍?这里我得提醒你一句 ⚠️:它自己的两份材料,数对不上。
论文(在一个 109B 的模型上验证 MSA)给的是:100 万 token 下,单 token 的注意力算力省 28.4 倍;在 H800 上,prefill 快 14.2 倍、decode 快 7.6 倍。
可 HuggingFace 上 M3 的模型卡写的是另一组:相比上一代 M2,prefill 快 9 倍、decode 快 15 倍、单 token 算力降到 1/20。
这两组对不上:9 倍、15 倍跟论文里的 14.2 倍、7.6 倍压根不是一套数,参数量也从 109B 跳到了 428B。能解释——论文是拿小模型验证方法,模型卡是说生产版 M3,本来就是两回事。问题在于:模型卡那组数没给出处,卡上也没有一张正经的 benchmark 跑分表,只挂了张图和一句「frontier-level」。
那谁真该关心它?有个容易被吓到的点先说清:428B 听着唬人,但它是 MoE,一次只激活 23B,真跑起来的负担比这个总数小不少,自托管没你想的那么遥不可及。最吃这套的是长文本的人——把整本手册、整段超长 agent 轨迹一次塞进去还不爆预算,正是 MSA 想解决的。而真正该盯的那点,比”快几倍”重要得多:1M 那一头质量塌不塌。很多模型上下文标得很长,真喂到几十万 token 就开始丢细节、答非所问。速度好量,长上下文到底”用不用得了”才是硬骨头。
所以我的建议很简单 🧐:MSA 这个方向是实的——长上下文确实能便宜一大截,质量还不掉,这是真本事。但「快几倍」这个具体数字,你先别急着引用某一个,等它把模型卡和论文对齐、把跑分表补上再说。开源、能下载、1M 上下文,值得自己跑一跑;但别拿营销页上那个最大的倍数去跟人吵架。
转给那个准备 all-in 这个新模型的朋友,让他先把跑分看完再说 👇
来源 · 第一条评论拿 ↓
关注 @svtransit1 · 写给真在用 AI 的人
#AI #MiniMax #开源模型 #长上下文
原始来源：https://huggingface.co/MiniMaxAI/MiniMax-M3
关注 @svtransit1 · 每 3 小时一篇 AI 前线 · RSS