vLLM

概要

vLLM is an open-source inference and serving engine for large language models, originally developed at UC Berkeley. Its PagedAttention memory management delivers high throughput and efficient GPU utilization, and it exposes an OpenAI-compatible API server. vLLM is free under Apache-2.0 and has become a de facto standard for self-hosted LLM serving.

主な機能

• PagedAttention for efficient KV-cache memory management
• High-throughput continuous batching of requests
• OpenAI-compatible API server out of the box
• Broad support for open model architectures and quantization

ユースケース

• Serving open LLMs in production at high throughput
• Self-hosting an OpenAI-compatible inference endpoint
• Benchmarking and research on efficient LLM inference

料金

vLLM is free and open source under Apache-2.0; costs are limited to the GPU infrastructure it runs on.

よくある質問

What is vLLM used for?

vLLM serves large language models with high throughput, exposing an OpenAI-compatible API for self-hosted deployments.

Is vLLM free?

Yes. vLLM is open source under Apache-2.0; you only pay for the hardware you run it on.

What is PagedAttention?

PagedAttention is vLLM's memory-management technique that pages the KV cache, raising GPU utilization and throughput.

類似製品

• Amazon Bedrock — 複数プロバイダーの基盤モデルを単一のAPIで利用し、アプリを構築できるAWSのマネージドサービス。
• Amazon Nova — テキスト、マルチモーダル、音声、カスタムモデル構築、UI 自動化エージェント向けの、Amazon 製基盤モデルとサービスの AWS ポートフォリオ。
• Azure AI Foundry — Azure 上でAIアプリやエージェントを構築・評価・デプロイするための Microsoft のプラットフォーム。
• Baseten — 機械学習モデルをスケーラブルな API としてデプロイ・提供するプラットフォーム。
• Cerebras — ウエハースケールのハードウェア上でオープンな言語モデルを提供する推論クラウドを持つAIコンピューティング企業。
• Civitai — オープンな画像生成モデル、LoRA、生成作品を共有・発見するコミュニティプラットフォーム。

vLLMの代替製品をすべて見る → · プラットフォームとインフラの製品をすべて見る →

出典

• Documentation ↗
• Source code (GitHub) ↗

このレコードは 2026-07-30 に最終確認されました。

機械可読レコード: /api/products/vllm.json · 誤りを見つけましたか？ 修正を提案