Runway släpper robotmodellen Praxis-1 med öppna vikter och kod

Runway släppte Praxis-1 den 11 november. Enligt företaget omfattar släppet vikterna samt kod för inferens och finjustering, med stöd för både full finjustering och LoRA. Allt ligger under Apache 2.0, även för kommersiellt bruk. Runway presenterade modellen i september, men då fick bara utvalda partner använda den, skriver The Decoder. Samtidigt med släppet publicerade Runway en forskningsrapport med nya prestandatester.

Praxis-1 tar emot kamerabilder, textinstruktioner och uppgifter om robotens position. Utifrån det förutsäger modellen hur miljön förändras och räknar fram rörelser. När nya bildrutor kommer in justerar den styrningen löpande, enligt The Decoder. Runway beskriver modellen som en World Action Model på 27 miljarder parametrar, en mixture-of-experts-baserad diffusion transformer som förutsäger video och handlingar tillsammans.

Byggd på en videomodell

Praxis-1 bygger på en videomodell som lärt sig hur objekt rör sig och påverkar varandra genom att titta på vanligt filmmaterial. Runway har sedan finjusterat den med video av mänskliga handlingar och robotdata, uppger The Decoder. Enligt tidningen skulle metoden kunna minska behovet av dyra robotspecifika dataset. Runway säger att modellen kan anpassas till nya robotsystem genom extra träning.

Resultat på RoboLab-120

Runway skriver att Praxis-1 är den bäst presterande World Action Model på Nvidias RoboLab-120 och att den slår alla öppna VLA-modeller. På testet nådde Praxis-1 en framgångsandel på 46,2 procent över 1 200 försök. FLUX 3 Action fick 42,9 procent, Cosmos3 Nano 36,8 procent och π0.5 28,0 procent.

Tillgång och hårdvara

Praxis-1 finns på GitHub och Hugging Face. Modellen har stöd i LeRobot och vLLM-Omni, och hanterad inferens finns via Reactor, enligt Runway. Företaget uppger att modellen går att köra på Nvidia-hårdvara, från datacenterkort som H100 och B200 till arbetsstationskort som RTX 5090 och RTX PRO 6000, samt Jetson Thor direkt i roboten.

Lanseringspartnerna Noble Machines, Standard Bots och Ultra har kört modellen på egen hårdvara: en humanoid med ben, en industrirobot med sex axlar och en tvåarmad lagerrobot, skriver Runway.

Begränsningar

Enligt The Decoder blandar modellen ibland ihop objekt som liknar varandra, och den kan ännu inte pålitligt planera komplexa handlingssekvenser på egen hand.