Hva er Beskjæring?

Et oppmerksomhetsmønster der hvert token kun passer på et vindu med fast størrelse av tokens i nærheten for å redusere beregningen.

Et empirisk forhold som viser hvordan ytelsen forbedres med modellstørrelse, data eller beregning.

En mindre modell trent til å imitere en større modells oppførsel mens du bruker mindre beregning ved inferens.

Kjernetreningsalgoritmen som oppdaterer modellvekter ved å spre prediksjonsfeil bakover gjennom nettverket.

Behandlingsressursene som kreves for å trene og kjøre modeller, ofte målt i FLOPS- eller GPU-timer.

En vektor som viser hvor mye hver parameter skal endres for å redusere tap.