Studie: arena-rankningar av språkmodeller är sårbara för manipulation
Rankningar där användare jämför anonyma språkmodeller parvis är mycket sårbara för flera manipulationsstrategier, skriver forskarna i studien "Leaderboard Hacking" på arXiv.
Källa 1 källa · 1 primärkälla
Studien heter "Leaderboard Hacking: Preference-Based Model Evaluations are Vulnerable to Manipulation" och har arXiv-numret 2611.14769. Forskarna undersöker så kallade arena-rankningar av språkmodeller.
Enligt forskarna används sådana rankningar på nätbaserade topplistor, i forskningsartiklar och för att utvärdera modeller i produktion. Rankningarna ska ge en realistisk bild av hur bra modellerna är.
Rankningarna bygger på parvisa jämförelser. Användare ställer en fråga, får svar från två anonyma modeller och röstar på det svar de föredrar. Rösterna slås sedan ihop med Bradley-Terry-modellen, som ger den slutliga rankningen.
Forskarna skriver att topplistorna är mycket sårbara för flera manipulationsstrategier. Strategierna skulle kunna användas av oärliga leverantörer av modeller som vill lyfta en modells placering.
Den första strategin som nämns i sammanfattningen är strategisk röstning.
Har vi fel? Skicka en rättelse.