Ce este Model distilat?

Cantitatea de putere de procesare consumată în timpul producerii fiecărui răspuns.

Antrenarea unui model mai mic pentru a imita rezultatele unui model mai mare.

Faza de rulare în care un model antrenat generează predicții sau rezultate.

Eliminarea greutăților modelului sau a neuronilor mai puțin importanți pentru a reduce dimensiunea și a calcula.

Calcul de inferență suplimentar utilizat în timpul generării răspunsului pentru a îmbunătăți calitatea sau raționamentul.

Prețuri la care costurile cresc cu apeluri API, token-uri, timp de inferență sau calcul consumat.