Quiz collegato alla guida · Medio Livello
Quiz sui programmi di riscaldamento e ricottura del coseno
Verifica il ruolo iniziale del riscaldamento, la transizione al decadimento del coseno e come leggere la rampa lineare e il punto finale del programma.
Domanda 1 di 8
Qual è lo scopo principale della fase di riscaldamento all'inizio dell'allenamento?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è lo scopo principale della fase di riscaldamento all'inizio dell'allenamento?
- Per stabilizzare l'allenamento iniziale quando i pesi sono casuali e i gradienti sono rumorosi
- Per aumentare gradualmente la dimensione del lotto
- Per congelare gli strati inferiori del modello
- Per comprimere il modello per un'inferenza più rapida
- La ricottura del coseno fa decadere la velocità di apprendimento seguendo quale forma?
- Una linea retta diagonale
- Una curva del coseno che inizia in alto, si attenua e si appiattisce vicino allo zero
- Una funzione a gradini che diminuisce in epoche fisse
- Un picco esponenziale al rialzo
- Quale ottimizzatore trae particolare vantaggio dal riscaldamento perché le sue stime di varianza sono inaffidabili nella fase iniziale?
- SGD semplici senza slancio
- Ricerca in griglia
- Adamo e le sue varianti
- K-significa
- Nella formula del coseno, cosa rappresenta T?
- La temperatura del modello per il campionamento
- Il numero di GPU utilizzate
- La dimensione del vocabolario del tokenizzatore
- Il numero totale di fasi di allenamento nella pianificazione
- Nel programma di riscaldamento più coseno della guida, cosa inizia dopo che il riscaldamento ha raggiunto il suo tasso target?
- Il decadimento del coseno inizia dal picco del tasso di apprendimento
- Tutti i pesi del modello vengono ripristinati
- Il programma passa a un tasso zero costante
- Lo slancio viene rimosso da ogni ottimizzatore
- Un riscaldamento lineare aumenta da zero alla velocità target in 200 passi. Quale tariffa viene utilizzata a metà?
- Il tasso obiettivo completo
- Circa la metà del tasso obiettivo
- Il tasso di apprendimento è esattamente zero
- Il doppio del tasso obiettivo
- All’orizzonte del coseno t = T, quale moltiplicatore produce la formula del coseno della guida?
- Uno
- La metà
- Zero
- Diventa negativo
- Perché utilizzare un decadimento graduale del coseno dopo il riscaldamento anziché impostare bruscamente la velocità a zero?
- Garantisce un minimo globale
- Aumenta il conteggio dei parametri del modello
- Elimina la necessità di controllare la perdita di allenamento
- Permette al tasso di diminuire in modo che l'ottimizzazione possa stabilizzarsi gradualmente