Teknisk rapport beskriver AI-modellen Beam med 501 miljarder parametrar
Beam är en gles Mixture-of-Experts-modell med 501,3 miljarder parametrar, varav 23,4 miljarder är aktiva. Enligt den tekniska rapporten på arXiv är den byggd för kodning, resonerande uppgifter och agentarbete, och den kräver 3–4 gånger mindre beräkning vid körning än många modeller i samma klass [1].
Källa 1 källa · 1 primärkälla
- ✓ PrimärkällaarXiv språkmodeller, Beam Model Technical Report (arXiv:2611.26358v1)arxiv.org ↗
Beam har 501,3 miljarder parametrar totalt, men bara 23,4 miljarder är aktiva när modellen arbetar. Det motsvarar knappt 5 procent av parametrarna. Det är vad som menas med att modellen är gles: bara en del av parametrarna används åt gången [1].
Enligt rapporten är Beam byggd och optimerad för tre användningsområden: kodning, resonerande uppgifter och agentarbete, där modellen utför uppgifter i flera steg [1].
Rapporten har beteckningen arXiv:2611.26358v1 och har publicerats på arXiv som en ny artikel [1].
Körkostnad
Enligt rapporten ger Beam resonerande på frontiernivå samtidigt som den kräver 3–4 gånger mindre beräkning vid körning, så kallad inferens, än många modeller i sin klass [1].
Träning och kontextfönster
Beam är förtränad på 23,8 biljoner tokens av varierad, kurerad data av hög kvalitet, uppger rapporten [1]. Tokens är de textenheter som modellen läser och genererar.
Modellen har ett kontextfönster på en miljon tokens, alltså hur mycket text den kan hålla i minnet i en och samma körning. Enligt rapporten nås det genom en ny tvåstegs mellanträning, en fas mellan förträningen och den avslutande efterträningen. Den bygger på data som går att verifiera och som är förankrad i korrekthet [1].
Har vi fel? Skicka en rättelse.
Läs nästa
Mer om modeller & lanseringar
Apple rekryterar ledare till egen AI-agent som kan surfa och skriva kod
YouTube · 1:01codex rust-v0.171.0: Nytt i 0.171.0 är GPT-6.2 Sol och Astra i katalogen, den påslagna TUI-arbetsytan och stöd för --remote i codex exec.
YouTube · 1:03