Vad är destillering av AI-modeller?

Vid destillering får en stor modell, läraren, svara på mängder av frågor. En mindre modell, eleven, tränas sedan på svaren. Eleven kan på så sätt ta efter mycket av lärarens förmåga trots att den har betydligt färre parametrar.

Många små och snabba modeller är framtagna på det här sättet. Destillering är också en stridsfråga, eftersom AI-bolag har anklagat konkurrenter för att ha destillerat deras modeller via API:et i strid med användarvillkoren.