vLLM
von vLLM Project
Auf einen Blick
Quelloffene Inferenz- und Serving-Engine für große Sprachmodelle, bekannt für das durchsatzstarke PagedAttention.
open-source inference serving llm
- Lizenz
- Apache-2.0
- Kategorie
- Plattformen & Infrastruktur
- Geschäftsmodell
- Offen (offene Gewichte/Quellcode)
- Verfügbarkeit
- Weltweit
- Veröffentlicht
- 2023-06
Überblick
vLLM ist eine Open-Source-Inferenz- und Serving-Engine für große Sprachmodelle, die vom vLLM Project gepflegt und ursprünglich an der UC Berkeley entwickelt wurde und deren PagedAttention-Speichermanagement ihren Durchsatz trägt. Es ist Software, die man selbst installiert und betreibt, kein vom Anbieter gehosteter Dienst, und bringt einen OpenAI-kompatiblen API-Server mit; API- und CLI-Referenzen stehen in der Dokumentation. In dieser Prüfung wurde keine wesentliche Änderung gefunden. Die wichtigste Einschränkung betrifft Preis und Region: vLLM veröffentlicht keine Anbieter-Preisliste, da es selbst gehostete Open-Source-Software ist, deren Kosten die GPU-Hardware sind, auf der sie läuft, und die regionale Abdeckung ist im Datensatz nicht angegeben.
Dieses Tool vergleichen Korrektur vorschlagen
Wichtige Funktionen
- PagedAttention für effizientes KV-Cache-Speichermanagement
- Hochdurchsatz-Continuous-Batching von Anfragen
- OpenAI-kompatibler API-Server out of the box
- Breite Unterstützung offener Modellarchitekturen und Quantisierung
Anwendungsfälle
- Offene LLMs in Produktion mit hohem Durchsatz bedienen
- Einen OpenAI-kompatiblen Inferenz-Endpunkt selbst hosten
- Benchmarking und Forschung zu effizienter LLM-Inferenz
Preise
vLLM ist kostenlos und Open Source unter Apache-2.0; Kosten beschränken sich auf die GPU-Infrastruktur, auf der es läuft.
Eintragsdetails
Herkunft, Daten und Links stehen hier, damit sich die Hauptabschnitte auf das Produkt konzentrieren.
Links, Daten und Herkunft
- Eintrag aktualisiert
- 2026-10-10
- Dokumentation
- docs.vllm.ai ↗
- Gegründet
- 2023
- Hauptsitz
- US
- Kanonische URL
- https://globalaiproductindex.com/de/products/vllm/
Auswahlprofil
Jedes Feld nennt die Herkunft seines Werts. „Unbekannt“ heißt: nicht bestätigt — nicht, dass die Funktion fehlt.
Auswahlprofil11 Felder4 unbekannt
- Passende Aufgaben
- Modelle selbst betreiben
Abgeleitet aus dem Datensatz: Kategorie „platforms“.
Korrektur vorschlagen - Nutzungsform
- Selbst betriebener Dienst
Open-Source-Projekt ohne Tag, der seine Bereitstellungsform beschreibt; selbst betreiben.
Korrektur vorschlagen - Plattformen
- Nicht erfasst
Im Datensatz wird keine Plattformunterstützung angegeben.
Korrektur vorschlagen - Ausführungsort
- Nicht erfasst
Open-Source-Datensatz ohne Hosting-Hinweis; Bereitstellungsziel nicht erfasst.
Korrektur vorschlagen - Offline nutzbar
- Nicht erfasst
Der Datensatz enthält keine Aussage zum Offline-Betrieb.
Korrektur vorschlagen - Offizielle Service-Region
- Global
Spiegelt das bereits im Datensatz vorhandene Verfügbarkeitsfeld („global“).
Korrektur vorschlagen - Öffentliche API
- Ja
Übereinstimmung auf der Seite des Anbieters: “itializing search GitHub Home User Guide Developer Guide Benchmarking API Reference CLI Reference Community vLLM GitHub Home User Guide User Guide Getting Started Getting”
Korrektur vorschlagen - Lizenz
- Apache-2.0
Der Lizenz-Endpunkt des Repositoriums liefert Apache-2.0.
Korrektur vorschlagen - Kommerzielle Nutzung
- Erlaubt
Die erfasste Lizenz erlaubt kommerzielle Nutzung (Copyleft-Pflichten können weiterhin gelten).
Korrektur vorschlagen - Oberflächensprachen
- Nicht erfasst
Keine in diesem Durchgang gelesene Anbieterseite nennt die eigenen Oberflächensprachen des Produkts; der Schlüssel existiert, damit das Feld später beantwortet werden kann, statt leer zu bleiben.
Korrektur vorschlagen - Abrechnung
- Open Source Kostenlos Kostenloses Kontingent: Ja Abo erforderlich: Nein
Preise sind der beworbene Einstiegspreis ohne Steuern; bitte auf der Anbieterseite prüfen.
Korrektur vorschlagen
Herkunft der Werte
- Passende Aufgaben
- Eigene Ableitung
- Nutzungsform
- Eigene Ableitung
- Plattformen
- Eigene Ableitung
- Ausführungsort
- Eigene Ableitung
- Offline nutzbar
- Eigene Ableitung
- Offizielle Service-Region
- Eigene Ableitung
- Öffentliche API
- Geprüft 2026-10-09 docs.vllm.ai ↗
- Lizenz
- Geprüft 2026-10-10 github.com ↗
- Kommerzielle Nutzung
- Eigene Ableitung
- Oberflächensprachen
- Unbekannt
Kernfakten und Belege
Jeder Fakt nennt Bedingungen, Quelle und Prüfdatum.
-
API: Öffentliche API dokumentiert Geprüft 2026-10-09 docs.vllm.ai ↗
Gilt für: Wie auf docs.vllm.ai am 2026-10-09 angegeben
Auf der Anbieterseite gefunden: “itializing search GitHub Home User Guide Developer Guide Benchmarking API Reference CLI Reference Community vLLM GitHub Home User Guide User Guide Getting Started Getting”
Korrektur vorschlagen -
Lizenz: Apache-2.0 Geprüft 2026-10-10 github.com ↗
Korrektur vorschlagen
Häufig gestellte Fragen
Wofür wird vLLM genutzt?
vLLM bedient große Sprachmodelle mit hohem Durchsatz und stellt eine OpenAI-kompatible API für selbst gehostete Deployments bereit.
Ist vLLM kostenlos?
Ja. vLLM ist Open Source unter Apache-2.0; Sie zahlen nur für die Hardware, auf der Sie es ausführen.
Was ist PagedAttention?
PagedAttention ist vLLMs Speichermanagementtechnik, die den KV-Cache paget und GPU-Auslastung sowie Durchsatz erhöht.
Wer sollte vLLM nicht wählen?
Teams, die einen verwalteten API-Endpunkt wollen, statt selbst zu betreiben. vLLM ist Open-Source-Software, die man unter Apache-2.0 selbst hostet, der Datensatz enthält keine Anbieter-Preisliste und keinen gehosteten Dienst.
Ähnliche Produkte
- LM Studio — Desktop-Anwendung zum Entdecken, Herunterladen und lokalen Ausführen offener großer Sprachmodelle.
- Ollama — Open-Source-Tool zum lokalen Ausführen offener großer Sprachmodelle auf dem eigenen Rechner über eine einfache Kommandozeile.
- Jan — Quelloffene Desktop-App zum lokalen Ausführen offener Sprachmodelle als Offline-Alternative zu ChatGPT.
- Open WebUI — Erweiterbare, selbst gehostete KI-Oberfläche, die offline läuft und sich mit lokalen oder entfernten Modellen wie Ollama und OpenAI-kompatiblen APIs verbindet.
- Baseten — Plattform zum Bereitstellen und Betreiben von Machine-Learning-Modellen als skalierbare APIs.
- Cerebras — KI-Compute-Unternehmen, dessen Inferenz-Cloud offene Sprachmodelle auf Wafer-Scale-Hardware bereitstellt.
Alle vLLM-Alternativen → · Alle Produkte in Plattformen & Infrastruktur →
Verwandte Ratgeber
Quellen
Dieser Eintrag wurde zuletzt am 2026-10-10 geprüft.
Maschinenlesbarer Eintrag: /api/products/vllm.json · Fehler entdeckt? Korrektur vorschlagen