搞推理算力,这些年其实只有两条路:买自己的 GPU,或者租云。最近有人给了第三条——凑。🧩
放出这东西的是 Iroh 团队,就是做那套 P2P 网络库的。项目叫 Mesh LLM,一句话讲清:把好几台机器的 GPU 和内存,通过点对点拼成一张”网”,对外只露一个 OpenAI 兼容的接口。你把客户端指到 localhost:9337,至于这次推理到底跑在你本地、跑在某个 peer 上、还是被拆到几台机器上一起算,你都不用操心。
把三条路摆一起,门道就清楚了👇
「自己买」——一次性砸钱进显卡,算力是你的,可闲置的时候也是你在养;真要跑大模型,单卡还常常塞不下。更别提硬件迭代快,今天的顶配,明年就可能跟不上新模型的胃口。
「租云」——按用量付费,再大的模型也跑得起,但每个 token 都在计费,量一上来,月底账单能吓你一跳;而且你的数据,也出了自己的门。
「凑成 mesh」——装个大概 18MB 的小客户端,加入公共网、或者自己组个私有网,把手头一堆机器的算力拼起来用。目录里带了 40 多个模型,小到能塞进笔记本的五亿参数,大到 235B 的 MoE 巨物,理论上都能调。
它还有个更聪明的招,叫 split-mode:把一次推理拆开,让同一个模型分散到好几台机器上一起跑。这一点才是”凑”相比”自己买”真正的分水岭——它不只是给你多凑一块显卡,更让你跑得动单机根本塞不下的模型。你手上没有任何一台能单独装下 235B,但三五台拼起来,可能就跑得动了。
往大了看,这几个月”算力该自己拥有还是租”的争论一直没停。Mesh LLM 有意思的地方,是它压根没在这两个选项里站队——它想的是绕开这道题:算力既不必你一个人独占,也不必花钱去租,可以是一群人临时拼出来、用完就散的。
听着很美,但先泼盆冷水。这东西刚发布,官方一个性能数字都没给。而且那句很唬人的”已经跑在几十万台设备上”——那是底层 Iroh 网络库的战绩,不是 Mesh LLM 的;Mesh LLM 只是刚搭在它上面的一层应用。真正要打问号的,是 P2P 推理那几个老大难:延迟(算力散在别人机器上,一来一回要多久?)、可靠性(peer 随时可能掉线)、还有信任(你的 prompt,到底经过了谁的机器?)。⚠️
所以它现在对谁有用?画像其实挺清楚:你手上有几台闲着的机器——家里的旧台式、团队里没跑满的工作站、实验室的几张卡——单看每一台都跑不动你想要的那个大模型;你又不愿意把数据发去云上,也懒得为偶尔跑一次的推理长期付云费。这种”算力零散、又在意隐私”的场景,正是 mesh 想接住的。反过来,如果你只是想稳定、低延迟地调个 API,那老老实实租云,现在仍然更省心。别把它当生产方案,现在把它看成一个”有意思、但要观望”的赌注就好。
但不管你现在会不会去装它,方向本身值得记一笔:当模型越来越大、单机越来越吃力,”把零散算力拼起来用”这个念头,迟早会有人认真做成。
算力这道题,从”买还是租”多出了一个”凑”。这条路能不能走通,说到底,取决于 P2P 那几个老问题——延迟、可靠、信任——这一次,能不能真被解决。🧐
转给那个还在纠结”买卡还是租云”的朋友。
关注 @svtransit1 · 写给真在用 AI 的人
完整链接 · 评论区取 ↓
#AI #LocalLLM #分布式推理 #AI算力
原始来源：https://www.iroh.computer/blog/mesh-llm
关注 @svtransit1 · 每 3 小时一篇 AI 前线 · RSS