Vad är AI-säkerhet?

AI-säkerhet omfattar flera saker: att modeller inte ska hjälpa till med till exempel vapen eller cyberattacker, att de inte ska gå att lura att bryta sina regler, och att de ska följa människors avsikter. Den sista delen kallas ofta alignment, att modellens mål ska stämma överens med våra.

AI-bolagen testar sina modeller före lansering och publicerar ofta resultaten i så kallade systemkort. Flera länder, bland dem Storbritannien och USA, har inrättat statliga institut som granskar de mest avancerade modellerna.

Hur stora riskerna är är omstritt. En del forskare varnar för att framtida system kan bli svåra att kontrollera, medan andra menar att dagens problem, som felaktiga svar, fördomar och missbruk, är viktigare att lösa.