Vad är en benchmark inom AI?

När ett AI-bolag släpper en ny modell redovisar det nästan alltid resultat på benchmarks: samlingar av frågor eller uppgifter inom till exempel matematik, programmering, kunskap eller att utföra uppgifter som agent. Samma test gör det möjligt att jämföra modeller från olika bolag.

Resultaten ska tolkas försiktigt. Bolagen väljer ofta de test där de ser bäst ut, och om testfrågorna har läckt in i träningsdatan kan modellen ha lärt sig svaren utantill. Ett högt resultat säger inte heller alltid hur bra modellen är på det man själv vill använda den till.