本地 AI 一直有个短板:跑文字行,一到语音就抓瞎——你还得把音频甩给云端的 Whisper 和 TTS。LocalAI 最近几个版本(v4.4 这一线),把这块补上了 🧐。挑四个点说。
1️⃣ 实时语音,能听会说。新的 realtime 管线把”听写 → 大模型 → 合成”串成一条流,边说边出。也就是说,你能在自己机器上跑一个真能对话的语音 agent,不是录完再慢慢处理。
2️⃣ 听写后端,不止 Whisper。接了 parakeet.cpp(英伟达 NeMo Parakeet)和 CrispASR 两套,带时间戳、支持多语言。本地听写,终于有了 Whisper 之外的像样选择。
3️⃣ 合成声音,60 个嗓子、42 种语言。TTS 这边塞进了 Piper 的 60 个声音、覆盖 42 种语言,还加了 Kokoro。本地合成不再是”一个塑料机器音”凑合。
4️⃣ 全程不出本机。这几块拼一起,意味着一个”会听会说”的 agent,音频可以完全不离开你的设备——对隐私敏感的场景,这才算真补上了。
诚实两句 ⚠️:一,别被”本地也能 Claude 级语音”带跑——Piper、Kokoro 是好东西,但跟顶级云端 TTS 比还有距离;二,LocalAI 是个自托管平台,不是下个 App 点一下就行,得自己搭、自己配,有门槛。
但方向很清楚:本地 AI 正在从”只能打字”,补成”能听会说”。等哪天它简单到普通人也能一键装上,云端语音 API 靠“方便”收费的逻辑,就撑不住了。
你装了 LocalAI 的,用上语音了吗?还是还在只跑文字?
项目地址 · 评论区取 ↓
关注 @svtransit1 · 写给真在用 AI 的人
#AI #本地大模型 #语音AI #开源
关注 @svtransit1 · 每 3 小时一篇 AI 前线 · RSS