vLLM

제공: vLLM Project · docs.vllm.ai ↗

대규모 언어 모델을 위한 오픈 소스 추론·서빙 엔진으로, 높은 처리량의 PagedAttention으로 알려져 있다.

open-source inference serving llm