Alibabas nya test: bästa kodagenten klarar bara 26 procent helt

Forskare vid Alibaba, Fudan-universitetet, Zhejiang-universitetet, kinesiska universitetet i Hongkong, Shanghai Jiao Tong-universitetet och Nanyang Technological University har byggt ett nytt test för kodagenter. Det heter Co-Design Bench och beskrivs i en artikel på arXiv ^[2]. Den bästa av tio testade modellerna uppfyller i genomsnitt 69,9 procent av kriterierna per uppgift. Bara 26,4 procent av uppgifterna blir helt klara, enligt forskarna ^[2][3]. The Decoder uppger att det är GPT-6 Astra som ligger i täten ^[1]. Tekniksajten tolkar resultatet som att människor måste städa efter agenten i ungefär tre av fyra uppgifter ^[1]. Det är The Decoders slutsats. Siffran 26,4 procent anger andelen helt lösta uppgifter och säger inte hur mycket arbete en människa måste lägga ner. ## Så är testet byggt Testet omfattar 273 uppgifter. De är utvalda ur 37 463 deduplicerade förfrågningar från 26 314 verkliga kodningssessioner ^[2]. Varje uppgift består av en körbar app före ändringen och en användares önskemål om ändring. Önskemålet kan innehålla bild, ljud, video eller dokument ^[3]. Uppgifterna är uppdelade i två spår. I det ena, med 100 uppgifter, gör agenten avgränsade ändringar. I det andra, med 173 uppgifter, gör den samordnade ändringar i en app med flera filer ^[3]. Experter har skrivit 2 331 dolda kriterier som agenten inte ser under arbetet. Kriterierna anger vad som ska ändras och vad som ska bevaras ^[3]. The Decoder beskriver testet som byggt på användarförfrågningar som redan ställt till problem i praktiken ^[1]. Bedömningen sker i två steg. Först bedömer en AI-domare kriterierna utifrån källkod och webbläsarbevis. Sedan ifrågasätter en separat AI-verifierare de kriterier som godkänts ^[2][3]. ## Gapet mot äldre tester Författarna motiverar testet med att äldre webbkodningstester håller på att mättas. Enligt The Decoder når modellerna över 99 procent på sådana tester, till exempel WebCompass-edit, när de kan köra, kontrollera och rätta sin egen kod ^[1]. Alla tio modeller fick lägre andel uppfyllda kriterier på repository-uppgifter med tre eller fyra ändringstyper än på uppgifter med en eller två ^[2]. ## Begränsningar Artikeln är en förpublicering på arXiv ^[2]. Den publika delen av testet på Hugging Face omfattar 96 uppgifter i spåret med avgränsade ändringar ^[3]. Källorna innehåller inga svenska data. Hur resultaten gäller för svenska utvecklare eller företag går därför inte att belägga.