Cos'è Gradiente?

Un iperparametro di training che controlla la quantità di parametri che cambiano in ogni fase di aggiornamento.

Una relazione empirica che mostra come le prestazioni migliorano con le dimensioni, i dati o il calcolo del modello.

Un modello di attenzione in cui ogni token si occupa solo di una finestra di dimensione fissa di token vicini per ridurre il calcolo.

Una configurazione generativa in cui un generatore e un discriminatore si addestrano l'uno contro l'altro.

Quanto bene un modello si comporta su dati nuovi e invisibili al di fuori del set di training.

Un metodo di ottimizzazione che aggiorna i parametri nella direzione che riduce l'errore.