Vad är ett kontextfönster?
Hur mycket text en AI-modell kan ta hänsyn till på en gång, räknat i token.
Allt som modellen ska arbeta med måste rymmas i kontextfönstret: instruktionerna, hela konversationen hittills, bifogade dokument och modellens eget svar. Storleken anges i token, och de största modellerna klarar i dag hundratusentals eller miljontals token.
Ett stort kontextfönster gör det möjligt att låta modellen läsa hela rapporter, långa avtal eller stora kodbaser i ett svep. Det blir dock dyrare och långsammare ju mer text som skickas med, och många modeller blir sämre på att hitta detaljer långt in i en mycket lång text.
Det som hamnar utanför fönstret glömmer modellen. Därför sammanfattar många tjänster äldre delar av en lång konversation.
Se även:
Fel i förklaringen? Skicka en rättelse.