
vLLM v0.34.0
vLLM är ett inferensbibliotek för att köra stora språkmodeller effektivt, och v0.34.0 är en ny version med flera förbättringar.
- Typ
- App
- Licens
- Apache-2.0
- Senaste version
- v0.34.0
- Källkod
- GitHub ↗
- Kräver
- GPU, till exempel Blackwell eller MI355X för de nämnda hastighetsvinsterna, samt installation av vLLM.
- Ämnen
- Modeller & lanseringar
Vad verktyget gör
Releasen lägger till tio nya modeller, bland annat Mistral Large 4, MiniMax-M3.1-Flash och Nemotron-3.5-Transcribe. Utökad KV-cache är nu på som standard, och Model Runner V2 är ny enda GPU-runner. Texten nämner också större hastighetsökningar på Blackwell och MI355X.
Om beskrivningen: skriven av AI utifrån verktygets README. Vi har inte testat verktyget.
Så kommer du igång
# Från verktygets README
uv pip install vllm
vllm download-kernels # precompiled kernels for faster startupVersioner
- v0.34.000:22
Nytt är utökad KV-cache på som standard, borttagen Model Runner V1 och stöd för tio nya modeller.
Fel i kortet? Skicka en rättelse.