Vad är en transformer inom AI?

Transformern beskrevs av forskare på Google 2017 i artikeln Attention Is All You Need. Dess viktigaste del, attention, låter modellen väga hur mycket varje ord i en text ska påverka tolkningen av alla andra ord. Det gör den bra på att förstå sammanhang över långa textstycken.

Arkitekturen visade sig gå att skala upp med mer data och beräkningskraft, och den ligger bakom GPT, Claude, Gemini och de flesta andra stora modeller. T:et i GPT står just för transformer.