平台与基础设施
vLLM 替代品
vLLM(vLLM Project)属于平台与基础设施,以下是 8 个可进一步比较的候选产品。
候选项来自现有指南的同组产品、已有对比关系,或同分类下的具体共同标签。这是候选清单,不是排名或实测结果。
编辑建议 · 引用已核实事实
桌面应用程序,可发现、下载并在本地运行开放的大语言模型。
免费增值
适用场景
- 为隐私完全离线运行聊天模型
- 对着 OpenAI 风格端点做本地开发
- 在个人硬件上评测开放模型
定价: 2026-11-02 核对:Free 覆盖本地模型和 Bionic Agent。Bionic+ 每月 20 美元、Pro 每月 100 美元,提供可选云用量;超出套餐额度使用云积分。这些个人付费档已开放,页面所称“即将推出”指团队订阅。
价格 ↗ · 文档 ↗ · 来源
本记录最近复核于 2026-11-02。
编辑建议 · 引用已核实事实
开源工具,可通过简单的命令行界面在本机运行开放的大语言模型。
开放(开放权重/源码) MIT
适用场景
- 私密、离线的 AI 对话与编程辅助
- 无云端成本地针对 LLM API 进行本地开发
- 实验与比较开放模型
定价: Ollama 免费且开源;可选的托管服务单独提供。
价格 ↗ · 文档 ↗ · 来源
本记录最近复核于 2026-10-10。
在指南《AI 平台与基础设施》中同组出现
在本地运行开放语言模型的开源桌面应用,可作为离线的 ChatGPT 替代品。
开放(开放权重/源码) Apache-2.0(main 分支;已确认的标签:v0.5.18-rc1-beta 与 v0.6.0 为 Apache-2.0,v0.5.16 与 v0.5.17 为 AGPL-3.0;其他历史版本未逐一核对)
适用场景
- 在个人硬件上做私密离线 AI 聊天
- 对着 OpenAI 风格 API 做本地开发
- 无需 GPU 云即可试验开放模型
定价: Jan 免费开源;若连接云模型,用户可选向第三方提供商付费。
文档 ↗ · 来源
本记录最近复核于 2026-10-13。
在指南《AI 平台与基础设施》中同组出现
可扩展的自托管 AI 界面,支持离线运行,并可连接 Ollama 及兼容 OpenAI 的本地或远程模型。
开放(开放权重/源码) BSD-3-Clause
适用场景
- 公司服务器上的私有 ChatGPT 风格界面
- 带权限的团队访问本地模型
- 完全离线的文档问答
定价: Open WebUI 免费开源可自托管;企业方案付费增加自定义主题、SLA 与支持。
文档 ↗ · 来源
本记录最近复核于 2026-10-10。
相关:同样适合自行运行模型
将机器学习模型部署并作为可扩展 API 提供服务的平台。
付费
适用场景
- 将自定义模型作为生产 API 部署
- 无需管理 GPU 即可扩展推理
- 为应用提供开源模型服务
定价: 专用 GPU 计算按分钟计费且空闲不计费,模型 API 按百万 token 计费,新账户附带额度。
文档 ↗ · 来源
本记录最近复核于 2026-10-09。
相关:同样适合自行运行模型
AI 算力公司,其推理云基于晶圆级硬件托管开放语言模型。
免费增值
适用场景
- 为实时应用提供低延迟推理
- 以高生成速度运行开放模型
- 在专用硬件上扩展大型模型工作负载
定价: 推理按 token 计费并提供免费试用;训练系统与本地部署另行销售。
来源
本记录最近复核于 2026-10-09。
相关:同样适合自行运行模型
生成式媒体推理平台,可通过高速 API 运行扩散模型等各类模型。
付费
适用场景
- 为应用加入图像与视频生成
- 规模化服务开放扩散模型
- 原型化生成式媒体流水线
定价: 按每次推理或计算秒用量计费;新开发者有免费额度。
文档 ↗ · 来源
本记录最近复核于 2026-10-09。
相关:同样适合自行运行模型
推理平台,可快速托管并微调开源生成式 AI 模型。
付费
适用场景
- 在生产环境中以低延迟提供开放模型服务
- 在自定义数据上微调模型
- 以最小代码改动从闭源 API 迁移
定价: 计费按用量,按 token 或用量计算;新用户可获免费额度,专用容量另行报价。
价格 ↗ · 文档 ↗ · 来源
本记录最近复核于 2026-09-10。