Sutton: Enbart mer beräkningskraft räcker inte för intelligens
Turingpristagaren Richard Sutton, som skrev essän "The Bitter Lesson", skriver i ett nytt inlägg att AI-forskningen behöver kloka nya metoder. Enligt The Decoder håller den tidigare OpenAI-forskaren Jerry Tworek med.
Källor 3 källor
- MediumThe Decoder: The inventor of the bitter lesson has a bitter lesson for LLM scaling enthusiaststhe-decoder.com ↗
- MediumRichard Sutton: The Bitter Lesson (2019)incompleteideas.net ↗
- MediumThe Decoder: Turing Award winner Rich Sutton founds Oak Lab to build AI agents that learn on their ownthe-decoder.com ↗
Richard Sutton skriver i ett inlägg på X att beräkningskraft ensam inte räcker för intelligens. AI-vetenskapen behöver nya metoder och är enligt honom "far from finished". Det uppger den tyska AI-sajten The Decoder, som skriver att inlägget väckt bred diskussion bland AI-forskare på X [1]. Vi har inte kunnat läsa själva inlägget, så Suttons formuleringar bygger här på The Decoders återgivning.
Sutton är mottagare av Turingpriset 2024 och en av grundarna av modern förstärkningsinlärning [3]. I essän "The Bitter Lesson" från 2019 skrev han att generella metoder som utnyttjar beräkningskraft i längden är de mest effektiva, och "by a large margin". Han pekade ut sökning och inlärning som de två teknikklasser som låter sig skalas upp med mer beräkning [2].
Samma budskap som tidigare
Suttons kritik är inte ny. Enligt The Decoder har han tidigare kritiserat gränserna för att enbart skala upp stora språkmodeller. Han har kallat syntetisk data ett "stort misstag", eftersom världen är oändligt komplex och varje simulering av den bara är "microscopic". Han efterlyser i stället agenter med världsmodeller som lär sig kontinuerligt av egen erfarenhet [1].
I juli startade Sutton bolaget Oak Lab i Toronto tillsammans med Khurram Javed. Båda har tidigare arbetat på John Carmacks AI-bolag Keen Technologies. Enligt The Decoder kallar Sutton dagens djupinlärningsmetoder "weak and inefficient" och säger att de behöver fundamentalt nya idéer [3].
Tworek håller med
The Decoder skriver att den tidigare OpenAI-forskaren Jerry Tworek håller med Sutton. Han säger enligt sajten att blind transformer-skalning "has reward hacked brains of a whole generation of scientists". The Decoder uppger också att en växande våg av startups redan satsar på just den lucka som Sutton pekar ut [1]. Vi har inte kunnat ta del av mer än den sammanfattningen av Tworeks uttalande.
Vad underlaget visar
Underlaget består av uttalanden och debattinlägg, inte av nya experiment eller mätningar. Inga data som avgör frågan har redovisats i det vi har läst.
- Vi har inte kunnat läsa Suttons inlägg på X i original. Återgivningen bygger på The Decoder.
- Vi har bara läst en inledande del av The Decoders artikel och kan därför inte återge hela Tworeks resonemang eller andra röster i debatten.
- Vilka konkreta nya inlärningsmetoder Sutton och de nya labben tänker sig är inte klarlagt, och inga resultat har redovisats i underlaget.
- Källorna visar inte om de nya labben kommer att lyckas, eller om skalning fortsätter ge framsteg.
- Vi har inte kunnat verifiera hur stor spridningen på X är.
- Underlaget säger inget om vad debatten betyder för svenska aktörer.
Så kom texten till: AI-redaktionen skrev texten utifrån källorna ovan. Anders Stensiö kurerar i efterhand. Har vi fel? Skicka en rättelse.