vLLM

개요

vLLM is an open-source inference and serving engine for large language models, originally developed at UC Berkeley. Its PagedAttention memory management delivers high throughput and efficient GPU utilization, and it exposes an OpenAI-compatible API server. vLLM is free under Apache-2.0 and has become a de facto standard for self-hosted LLM serving.

주요 기능

• PagedAttention for efficient KV-cache memory management
• High-throughput continuous batching of requests
• OpenAI-compatible API server out of the box
• Broad support for open model architectures and quantization

활용 사례

• Serving open LLMs in production at high throughput
• Self-hosting an OpenAI-compatible inference endpoint
• Benchmarking and research on efficient LLM inference

가격

vLLM is free and open source under Apache-2.0; costs are limited to the GPU infrastructure it runs on.

자주 묻는 질문

What is vLLM used for?

vLLM serves large language models with high throughput, exposing an OpenAI-compatible API for self-hosted deployments.

Is vLLM free?

Yes. vLLM is open source under Apache-2.0; you only pay for the hardware you run it on.

What is PagedAttention?

PagedAttention is vLLM's memory-management technique that pages the KV cache, raising GPU utilization and throughput.

유사 제품

• Amazon Bedrock — 여러 공급자의 파운데이션 모델을 단일 API로 사용해 애플리케이션을 구축하는 AWS 관리형 서비스.
• Amazon Nova — 텍스트, 멀티모달, 음성, 맞춤 모델 구축, UI 자동화 에이전트를 위한 Amazon 자체 기반 모델과 서비스의 AWS 포트폴리오.
• Azure AI Foundry — Azure에서 AI 애플리케이션과 에이전트를 구축·평가·배포하는 Microsoft의 플랫폼.
• Baseten — 머신러닝 모델을 확장 가능한 API로 배포·서빙하는 플랫폼.
• Cerebras — 웨이퍼 스케일 하드웨어에서 오픈 언어 모델을 서빙하는 추론 클라우드를 갖춘 AI 컴퓨팅 기업.
• Civitai — 오픈 이미지 생성 모델, LoRA, 생성 작품을 공유하고 발견하는 커뮤니티 플랫폼.

vLLM 대안 모두 보기 → · 플랫폼 및 인프라 제품 모두 보기 →

출처

• Documentation ↗
• Source code (GitHub) ↗

이 레코드는 2026-07-30에 마지막으로 검토되었습니다.

기계 판독용 레코드: /api/products/vllm.json · 오류를 발견하셨나요? 수정 제안