Vad är inferens inom AI?

AI-modeller har två faser. Under träningen lär sig modellen av data, vilket görs en gång och kräver mycket beräkningskraft under lång tid. Inferens är det som händer varje gång någon använder modellen: den läser en fråga och räknar fram ett svar.

Varje enskilt svar är billigt, men eftersom miljontals människor använder tjänsterna hela tiden står inferensen för en stor och växande del av AI-bolagens kostnader och av datacentrens elförbrukning.