Just nu Nvidias styrelse vill inte ha tillbaka Jensen Huang som vdAlla →
Tisdag 17 november 2026
Uppdaterad 12:46

Verktyg och byggen · Skill

Skill

inference-optimisation-skill

En agent-skill som hjälper till att systematiskt förbättra hastigheten för lokalt körda språkmodeller.

Öppna på GitHub ↗Läs licensenupptäckt · uppdaterad 12:04
Typ
Skill
Licens
MIT
Senaste version
upptäckt
Källkod
GitHub ↗
Kräver
Ett lokalt setup med en LLM och en agent som kan använda skills; detaljer om beroenden framgår inte av texten.
Ämnen

Vad verktyget gör

Skillen beskrivs som ett verktyg för att optimera serveringshastighet för lokala LLM:er, bland annat avkodning, spekulativ avkodning, prefill, KV-cache, startup och TTFT. Den är avsedd att fungera på godtycklig hårdvara och med olika kvantiseringar. Arbetsmetoden är iterativ förbättring, så kallad hill-climbing.

Om beskrivningen: skriven av AI utifrån verktygets README. Vi har inte testat verktyget.

Så kommer du igång

# Från verktygets README
git clone https://github.com/sybil-solutions/inference-optimisation-skill
mkdir -p ~/.claude/skills
cp -r inference-optimisation-skill/skills/inference-optimisation ~/.claude/skills/

Versioner

  1. upptäckt12:04

    Ny skill som täcker flera delar av lokal modellservering i ett och samma verktyg.