Gemini 4 Carbon går om GPT-6.1 Sol i matematiktestet MathArena

MathArena lade den 13 november in resultat för Gemini 4 Carbon och Claude Fable 5.2. Testet drivs av SRI Lab vid ETH Zürich och INSAIT. Enligt tabellen i The Decoder ligger Carbon etta med en förväntad prestanda på 85,4 procent. Fable 5.2 får 82,8 procent och GPT-6.1 Sol 80,6 procent.

The Decoder skriver att det är första gången på länge som en modell från ett annat bolag än OpenAI toppar listan. Felmarginalerna i tabellen är ±3,0 procentenheter för Carbon, ±5,3 för Fable 5.2 och ±2,7 för Sol, så intervallen överlappar.

På Carbons modellsida hos MathArena har modellen förstaplats i ArXivMath (94,3 procent) och i BrokenArXiv (84,4 procent).

Kostnaden skiljer mycket

Enligt The Decoders tabell är förväntad kostnad per problem 15,70 dollar för Carbon och 40,20 dollar för Fable 5.2. För GPT-6.1 Sol är den 1,07 dollar. The Decoder skriver att Carbon och Fable 5.2 kostar ungefär 15 respektive 40 gånger mer än Sol med de resonemangsinställningar som användes i testet.

Inställningarna skiljer sig mellan modellerna. Carbon kördes på "high", medan Fable 5.2 och Sol kördes på "max". På Carbons modellsida hos MathArena anges priset till 2 dollar per miljon inlästa tokens och 10 dollar per miljon skrivna tokens.

Carbon ger sällan upp

The Decoder skriver att Carbons vanligaste fel är att modellen överskrider tidsgränsen. Modellen ger också nästan aldrig upp en uppgift, vilket enligt The Decoder kan ses som både en styrka och en svaghet. I ett fall startade Carbon ett skript som körde i mer än elva timmar utan att modellen kontrollerade hur det gick.

Releasedatum och öppna modeller

Enligt The Decoders tabell släpptes Carbon den 10 november och Fable 5.2 den 9 november. GPT-6.1 Sol kom den 29 september. Bäst bland öppna modeller är Kimi K3.1 Pro från Moonshot AI med 54,3 procent till en kostnad av 3,70 dollar per problem. The Decoder anger Jasper Dekoninck som källa till siffrorna.