
inference-optimisation-skill
En agent-skill som hjälper till att systematiskt förbättra hastigheten för lokalt körda språkmodeller.
- Typ
- Skill
- Licens
- MIT
- Senaste version
- upptäckt
- Källkod
- GitHub ↗
- Kräver
- Ett lokalt setup med en LLM och en agent som kan använda skills; detaljer om beroenden framgår inte av texten.
- Ämnen
Vad verktyget gör
Skillen beskrivs som ett verktyg för att optimera serveringshastighet för lokala LLM:er, bland annat avkodning, spekulativ avkodning, prefill, KV-cache, startup och TTFT. Den är avsedd att fungera på godtycklig hårdvara och med olika kvantiseringar. Arbetsmetoden är iterativ förbättring, så kallad hill-climbing.
Om beskrivningen: skriven av AI utifrån verktygets README. Vi har inte testat verktyget.
Så kommer du igång
# Från verktygets README
git clone https://github.com/sybil-solutions/inference-optimisation-skill
mkdir -p ~/.claude/skills
cp -r inference-optimisation-skill/skills/inference-optimisation ~/.claude/skills/Versioner
- upptäckt12:04
Ny skill som täcker flera delar av lokal modellservering i ett och samma verktyg.
Fel i kortet? Skicka en rättelse.