Apple-forskare räknar fram taket för hur långt alignment av språkmodeller kan nå

Studien heter "Theoretical Limits of Language Model Alignment" och har Lucas Monteiro Paes, Natalie Mackraz, Barry-John Theobald och Federico Danieli som författare. De arbetar på Apple. Artikeln är daterad den 11 maj 2026, och Apple har publicerat den på sin forskningssajt i november 2026. ^[1][2]

Alignment innebär att man trimmar en språkmodell så att svaren bättre följer mänskliga preferenser, utan att modellen tappar basmodellens förmågor. Två vanliga metoder är förstärkningsinlärning, där modellen maximerar en belöning under ett tak för avvikelse, och best-of-N, där man genererar N svar och väljer det som får högst belöning. ^[1]

Avvikelsen mäts med KL-divergens. Enligt författarna används den som ett mått på hur mycket av basmodellens allmänna förmåga som finns kvar efter alignment. Framsteg brukar därför mätas som högre förväntad belöning för en given KL-budget. Hur hög belöningen i bästa fall kan bli har enligt Apple-forskarna varit dåligt känt. ^[1][2]

Ett exakt uttryck i stället för en övre gräns

Forskarna visar att den bästa möjliga belöningsvinsten ges av ett uttryck med den så kallade Jeffreys-divergensen. Den är summan av KL-divergensen framåt och bakåt. Tidigare analyser gav bara en övre gräns som byggde på kvadratroten ur KL, och den gränsen går enligt författarna inte att nå. ^[1][2]

Uttrycket beror på den färdigalignade modellen, vilket gör det svårt att använda i förväg. Apple-forskarna skriver om det som en kovarians under basmodellen. Då går det att uppskatta vilken vinst som är möjlig utifrån prover från basmodellen, innan någon efterträning har gjorts. ^[1][2]

Felaktiga belöningsmodeller och reward hacking

I praktiken lärs belöningsmodeller in från mänskliga annoteringar och är därför en ungefärlig bild av vad användare vill ha. Forskarna kallar glappet mellan alignment med en idealisk och med en felaktig belöning för reward hacking. De visar att glappet växer med belöningsfelet och när straffet för avvikelse från basmodellen minskas. ^[1][2]

De bevisar också att det hjälper att väga ihop flera belöningsmodeller, så kallad reward ensembling. Tekniken används redan i praktiken, och beviset ger enligt författarna en teoretisk förklaring till att den fungerar. ^[1][2]

Best-of-N ligger nära gränsen

Forskarna testade på två uppgifter, säkerhetsalignment och sammanfattning. De jämförde best-of-N, PPO och GRPO med den teoretiska gränsen. Best-of-N följde gränsen nära, medan PPO och GRPO enligt artikeln låg klart under. ^[1][2]

Tidigare forskning pekade delvis åt samma håll. Ett arbete med författare vid bland annat Google Research, University of Sydney och MIT visade att best-of-N och optimal KL-begränsad förstärkningsinlärning är asymptotiskt likvärdiga under förenklade antaganden, bland annat att språkmodellen saknar minne och att belöningen är linjär. ^[3]

Apple-forskarna skriver att förbättrade algoritmer behövs för att nå optimal alignment utan hög inferenskostnad. ^[1][2]

Begränsningar

Resultaten är teoretiska bevis som har prövats empiriskt på två uppgifter, säkerhet och sammanfattning. Gränsen gäller för en idealisk belöning. Med en felaktig belöning blir glappet större ju större belöningsfelet är. ^[1][2]