App · Chip & infrastruktur

trnrt

Det är en öppen inferensmotor för språkmodeller som körs på AWS Trainium-chip.

Öppna på GitHub ↗Läs licensenupptäckt · uppdaterad 10 nov 12:41

Typ: App
Licens: Apache-2.0
Senaste version: upptäckt
Källkod: GitHub ↗
Kräver: AWS Trainium-hårdvara för att köra motorn.
Ämnen: Chip & infrastruktur

Vad verktyget gör

trnrt beskrivs som en öppen LLM-inferensmotor för AWS Trainium, byggd med NKI-megakärnor. Den har stöd för 1M-tokens kontext och ett OpenAI-kompatibelt API. Projektet kommer från RunAnywhere.

Om beskrivningen: skriven av AI utifrån verktygets README. Vi har inte testat verktyget.

Så kommer du igång

# Från verktygets README
git clone https://github.com/RunanywhereAI/trnrt.git && cd trnrt
docker build -f docker/Dockerfile \
  --build-arg TRNRT_VERSION=$(python3 -c 'import trnrt; print(trnrt.__version__)') \
  --build-arg TRNRT_REVISION=$(git rev-parse HEAD) -t trnrt .

Versioner

upptäckt10 nov 12:41
Releasen lyfter fram NKI-megakärnor, 1M-tokens kontext och ett OpenAI-kompatibelt API för Trainium.

App Chip & infrastruktur

Fel i kortet? Skicka en rättelse.