阿里的旗舰 coding 模型,现在一台本地机器就能跑。Qwen3.6-27B 量化后 16.8GB,llama.cpp 上 25 tokens/秒生成——编码能力打平上一代的 397B 旗舰。
上一代 Qwen3.5 的王牌是 397B-A17B,MoE 架构:3970 亿总参数、激活 170 亿,文件 807GB 起步。要跑得起,得有专用 GPU 集群,本地基本无望。Qwen3.6 这一代直接换成 27B 的 dense 架构,全量 55.6GB,Unsloth 的 Q4_K_M 量化版 16.8GB。M 系 Mac 或者 24GB VRAM 的单卡机器就能跑动。
官方定位是这句——”delivers flagship-level agentic coding performance, surpassing the previous-generation open-source flagship Qwen3.5-397B-A17B”。翻过来:27B 这代在主流 coding benchmark 上全面压过 397B 那代。不是”小模型做到大模型 70%”,是同档位甚至更强。
怎么做到的?差别在训练质量和架构调优。dense 27B 跟 MoE 397B/17B 激活的有效参数量其实差不多(27 > 17),比的不是”会不会”,是”怎么学”。阿里把资源从”堆总参数”转到”精炼激活参数”这条路上,换来同等能力 15 倍小的文件。这跟今年早些时候 Mistral、DeepSeek 放出的 dense 精炼模型是一脉相承——业界在回头重新押 dense 架构。
为什么 dense 回潮。MoE 在 2024-2025 年是主流,原因是同等”能力感”下可以把总参数堆得很大、训练时按需激活,跑起来显存压力看起来小。但部署这一侧的账不好算:MoE 总权重还是要塞进显存(或者分布式),权重调度和路由带来工程复杂度;dense 虽然激活规模受限,但运行时预测可控、延迟稳定、显存开销干净可算。对端侧、本地、边缘部署,这笔账 dense 更划算。再加上 2026 年 GPU 显存没再翻倍,推理优化这条线本来就挤,27B dense + 激进量化正好踩在消费级硬件的甜点上。
Simon Willison 在他那台本地机器上跑了两次(llama.cpp + llama-server)。一次画鹈鹕骑自行车的 SVG——”outstanding”这个词用在 16.8GB 的本地模型身上不多见;一次北弗吉尼亚负鼠骑电动滑板车、Tron 风、6575 tokens 长输出,24.74 tokens/秒稳定跑完。速度不惊艳但足够实用,关键是它真能 one-shot 生成能看、能跑的东西。读入速度 54 tokens/秒,吃进一个中型 repo 上下文也压得住。
对独立开发者和中小团队,这条线的账很实在。以前跑 Qwen3.5-397B 要云租,按小时算几美元起;想吃 Claude Opus 档位的 coding,$200/月的 Claude Max 或者 OpenAI Pro 是起步。现在一台 M2 Max / M3 Pro 笔记本,或者 RTX 4090 工作站,就能把”有自己顶级 coding LLM”这件事变成日常成本——模型文件下一次,之后每一次 0 元。本地还意味着代码不出本机:合规敏感的公司、金融、医疗、内部系统,以前没法接入外部 LLM,现在门开了。
对 agent 基础设施也是个信号。顶级 coding LLM 搬到本地,意味着你可以自己跑 agent 循环,不再被 API rate limit、按 token 计价、或者隐私合规绑住。Claude Code 或 Aider 接 local LLM 走 OpenAI-compatible endpoint,几分钟就通;跑 agent 做大量多轮推理的场景——refactor 整个模块、自动改 bug、跑测试回环——以前计费会失控,现在直接无限。
15 倍压缩比,dense 架构回潮,开源旗舰打平云端付费档。2026 的 local LLM 正从”能跑但不如云”,走到”能跑而且够用”这条线上。谁先把本地基础设施接起来,谁就先省钱。
关注 @svtransit1 · 每天都有有用的 AI 资讯
https://simonwillison.net/2026/Apr/22/qwen36-27b/
#AI #Qwen #LocalLLM #Alibaba
原始来源：https://simonwillison.net/2026/Apr/22/qwen36-27b/
关注 @svtransit1 · 每 3 小时一篇 AI 前线 · RSS