AI 平台与基础设施

如何选择

适合谁. 需要运行、路由或托管模型，而非只要一个终端用户聊天应用的团队，包括平台工程师、机器学习与数据团队，以及在托管推理与自建栈之间做比较的采购方。

不适合谁. 只想要消费级助手、不想碰 API 或部署的个人，以及无法接受 GPU 容量规划、速率限制或供应商条款的团队。

• 把推理 API、模型市场、本地运行时和完整云平台分开，它们解决的问题不同，彼此很少能互相替代。
• 决定模型是必须留在自有机器上、可以跑在供应商 GPU 上，还是可以跨境，因为这一条会直接排除整组选项。
• 做产品时核对速率限制、支持地域、可用性条款，以及能否钉住某个模型版本而不是跟着变动的别名。
• 本地栈把成本转到硬件和运维，托管栈转到用量账单和供应商条款，因此要按长期口径比较总成本。

模型市场与网关

在同一个 API 或界面背后汇聚大量模型的目录与网关。与下一节的高速推理云不同，它们主要转售第三方模型的访问权，而不自己托管硬件。

高速推理云

针对低延迟或高吞吐生成做优化的托管服务。与上面的网关不同，它们自己运行硬件并以速度竞争；与下面的本地运行时不同，你通过网络访问它们，而不是在本机运行。

本地与自托管运行时

你在笔记本或自有 GPU 上运行的软件，也包括本地界面。与上面的托管云不同，数据不离开你的机器，硬件成本由你承担；与下面的应用构建器不同，它们直接提供模型，而不是把它们编排成应用。

LLM 应用与智能体构建器

在模型之上编排 LLM 应用与智能体工作流的构建器。与上面的运行时不同，它们增加编排和面向用户的逻辑；与下面的企业云不同，它们通常自助开通，并且不绑定某一家超大规模云。

企业云 AI 服务

用 IAM、网络与企业合同把模型包装起来的超大规模云服务。与上面的构建器不同，它们绑定某一云平台的身份、计费与治理体系；与下面的主权与区域平台不同，它们是以广泛服务目录著称的全球性美国超大规模云厂商。

主权与区域 AI 平台

美国超大规模云之外的厂商，销售自有模型平台，常以数据驻留或主权作为定位。与上面的企业云不同，它们是独立的供应商而非某一家全球性超大规模云，并且通常强调区域托管与本地合同。

常见问题

相关指南

• 本地与私密文档问答

相关对比

• Fireworks AI vs Together AI vs Amazon Bedrock
• Ollama、LM Studio 与 Jan 对比

资料来源与记录日期

日期表示索引记录的更新，不代表独立实测。请通过资料链接确认最新功能和费用。