Språkmodell kan skriva om sina egna vikter utan ny träning
En ny rapport på arXiv visar enligt författarna att en språkmodell med 27 miljarder parametrar kan redigera sina egna vikter genom eget resonerande, utan gradienter och utan träningskörning. Arbetssättet kallas self-rewriting [1].
Källa 1 källa · 1 primärkälla
- ✓ PrimärkällaarXiv: Language Models Can Rewrite Their Own Weights (arXiv:2611.21885)arxiv.org ↗

Forskare har publicerat rapporten "Language Models Can Rewrite Their Own Weights" på arXiv. De undersöker om en språkmodell kan skriva om sina egna vikter för att bli bättre, och svarar att den kan. Det sker genom modellens eget resonerande, utan gradienter och utan träning [1].
Författarna kallar metoden self-rewriting. Vikterna är de inlärda värden som styr hur en modell svarar. Gradienter är den beräkning som vanligen används för att justera dem under träning.
Bakgrunden: modeller tränas en gång
Enligt rapporten tränas språkmodeller en gång, fryses och tas sedan i drift. Vill man förbättra en modell igen krävs ännu en träningskörning [1].
En prompt, ett stödramverk eller extra beräkning under körning försvinner när uppgiften är slut, skriver författarna [1].
Rapporten nämner också att en ledande modell tidigare har visats kunna redigera vikterna i en mycket mindre modell [1]. Frågan som författarna ställer är om en modell kan göra det med sig själv.
Så gick försöket till
I försöket får en modell med 27 miljarder parametrar tillgång till sina egna vikter, till svar som har blivit bedömda och till möjligheten att köra sig själv. Utifrån det diagnostiserar modellen var den misslyckas [1].
Har vi fel? Skicka en rättelse.
Läs nästa

Mer om forskning
Örebroforskare lär robotar följa folkmassan för att kunna guida synskadade
Lärarutformad AI förbättrar lärande i randomiserad studie på 19 universitet