Cos'è Legge di scala?

Un modello di attenzione in cui ogni token si occupa solo di una finestra di dimensione fissa di token vicini per ridurre il calcolo.

Una configurazione di formazione in cui un modello migliora generando dati attraverso interazioni o competizioni con copie di se stesso.

Con quanta chiarezza la logica, le origini dati e le limitazioni di un sistema di intelligenza artificiale sono documentate e comprensibili.

Uno spostamento nel tempo dei dati di input del mondo reale che può ridurre le prestazioni del modello.

Quanto bene un modello si comporta su dati nuovi e invisibili al di fuori del set di training.

Un vettore che mostra quanto ciascun parametro dovrebbe cambiare per ridurre la perdita.