LLM 网关这层,2026 年已经是生产标配——多家模型路由、failover、成本控制、限流、日志、guardrails,这些活要是写在每个业务服务里会炸掉维护成本。LiteLLM 长期是这层的默认选择,但 Python 那套依赖谁装谁知道。今天 HN Show HN 冒出来一个 Go 写的替代——GoModel,147 分,ENTERPILOT 开源。
定位很直接:LLM 网关,向前端暴露 OpenAI 兼容的 API,后端自己决定打到哪家模型。provider 列表挺全——OpenAI、Anthropic、Google Gemini、Groq、xAI、Ollama、OpenRouter、Z.ai、Azure、Oracle,各家的 chat、embeddings 都支持,部分还有 batch 和 files。
跑起来就一行 Docker:
docker run --rm -p 8080:8080 \
-e OPENAI_API_KEY="your-key" \
enterpilot/gomodel
然后直接调 localhost:8080,请求体跟 OpenAI SDK 一模一样,model 字段换成想要的模型名就切后端了。代码侧基本不用动——SDK 是 OpenAI 的,指向网关就行。Go 写的好处是二进制就一个,没有 pip install 那一圈依赖地狱;想要完整 infra 的话 docker compose 全家桶也给齐了,附带 Redis、PostgreSQL、Prometheus,observability、guardrails、streaming 这些都内置。
官方把自己摆在 LiteLLM 对面。README 没放并排的性能数字,只说「高性能」。想验证的只能自己 ab 一下——但 Go 二进制省下的那部分 Python 依赖税,是实打实看得到的。
哪些人用得上:同时打多家模型需要统一入口的团队、部署到资源紧的 VPS 或边缘节点的场景、或者只是懒得维护 Python 虚拟环境的独立开发者。反过来说,单模型单调用、或者已经重度绑定 LiteLLM 插件生态的团队,切换成本不一定划算。
MIT 开源,仓库:github.com/ENTERPILOT/GOModel
LLM infra 工具链这两年在往「单二进制、低依赖、OpenAI 兼容」这个方向收敛。GoModel 又是这个趋势上的一票。
关注 @svtransit1 · 每天都有有用的 AI 资讯
#AI #LLM #Go #AIInfra #AI工具
原始来源:https://github.com/ENTERPILOT/GOModel
关注 @svtransit1 · 每 3 小时一篇 AI 前线 · RSS