Vad är en token?

Språkmodeller arbetar inte med bokstäver eller hela ord utan med token. Vanliga ord kan vara en enda token, medan ovanliga ord, namn och många svenska sammansättningar delas upp i flera. Svensk text kräver därför ofta fler token än samma text på engelska.

Token är också enheten för pris och gränser. AI-bolagen tar betalt per miljon token som skickas in och kommer ut, och kontextfönstret anges i token.