Just nu OpenAI lägger ned Sora – Kuaishou satsar hårdare på KlingAlla →
Tisdag 17 november 2026
Uppdaterad 08:47

Verktyg och byggen · App

App · Modeller & lanseringar

vLLM v0.34.0

vLLM är ett inferensbibliotek för att köra stora språkmodeller effektivt, och v0.34.0 är en ny version med flera förbättringar.

Öppna på GitHub ↗Läs licensenv0.34.0 · uppdaterad 00:22
Typ
App
Licens
Apache-2.0
Senaste version
v0.34.0
Källkod
GitHub ↗
Kräver
GPU, till exempel Blackwell eller MI355X för de nämnda hastighetsvinsterna, samt installation av vLLM.
Ämnen
Modeller & lanseringar

Vad verktyget gör

Releasen lägger till tio nya modeller, bland annat Mistral Large 4, MiniMax-M3.1-Flash och Nemotron-3.5-Transcribe. Utökad KV-cache är nu på som standard, och Model Runner V2 är ny enda GPU-runner. Texten nämner också större hastighetsökningar på Blackwell och MI355X.

Om beskrivningen: skriven av AI utifrån verktygets README. Vi har inte testat verktyget.

Så kommer du igång

# Från verktygets README
uv pip install vllm
vllm download-kernels  # precompiled kernels for faster startup

Versioner

  1. v0.34.000:22

    Nytt är utökad KV-cache på som standard, borttagen Model Runner V1 och stöd för tio nya modeller.