App

inferssd

Ett verktyg för att köra modeller som är större än RAM eller VRAM genom att strömma MoE-experter från SSD.

Öppna på GitHub ↗Läs licensenupptäckt · uppdaterad 06:12

Typ: App
Licens: Apache-2.0
Senaste version: upptäckt
Källkod: GitHub ↗
Kräver: llama.cpp-kompatibel miljö och tillräckligt med SSD-utrymme.
Ämnen

Vad verktyget gör

inferssd bygger på llama.cpp och låter användare köra modeller som inte ryms i RAM eller VRAM genom att hämta MoE-experter direkt från SSD. Texten innehåller ingen mer detaljerad beskrivning av implementationen.

Om beskrivningen: skriven av AI utifrån verktygets README. Vi har inte testat verktyget.

Versioner

upptäckt06:12
Nytt projekt som strömmar MoE-experter från SSD.

App

Fel i kortet? Skicka en rättelse.