Hva er Gradient?

En treningshyperparameter som kontrollerer hvor mye parametere endrer hvert oppdateringstrinn.

Et empirisk forhold som viser hvordan ytelsen forbedres med modellstørrelse, data eller beregning.

Et oppmerksomhetsmønster der hvert token kun passer på et vindu med fast størrelse av tokens i nærheten for å redusere beregningen.

Et generativt oppsett hvor en generator og diskriminator trener mot hverandre.

Hvor godt en modell presterer på nye, usynlige data utenfor treningssettet.

En optimaliseringsmetode som oppdaterer parametere i retningen som reduserer feil.