App

ggml

ggml är ett C-bibliotek för tensorberäkningar som används för att köra AI-modeller lokalt, till exempel i llama.cpp.

Öppna på GitHub ↗Läs licensenv1.0.0 · uppdaterad 13 nov 09:34

Typ: App
Licens: MIT
Senaste version: v1.0.0
Källkod: GitHub ↗
Kräver: C/C++-kompilator och CMake; GPU-drivrutiner för respektive backend om hårdvaruacceleration ska användas.
Ämnen

Vad verktyget gör

Version 1.0.0 tar bort det förlegade publika API:et och de gamla DIAG_MASK-operationerna. Releasen lägger till konfigurerbar YaRN-trunkering och FP8-stöd, och förbättrar prestandan på flera backends, bland annat CUDA, Metal, Vulkan, SYCL, OpenCL, WebGPU och Hexagon. Schemaläggaren laddar också upp färre oanvända indata.

Om beskrivningen: skriven av AI utifrån verktygets README. Vi har inte testat verktyget.

Så kommer du igång

# Från verktygets README
git clone https://github.com/ggml-org/ggml
cd ggml

mkdir build && cd build
cmake ..
cmake --build . --config Release -j 8

Versioner

v1.0.013 nov 09:34
Ny major-version där borttagna API:er och operationer innebär att äldre kod kan behöva uppdateras.

App

Fel i kortet? Skicka en rättelse.