Gids-gekoppelde quiz · Middelmatig Niveau
Opwarm- en cosinus-gloeischema's Quiz
Test de rol van de warming-up in de vroege training, de overgang naar cosinusverval en hoe de lineaire helling en het eindpunt van het schema moeten worden gelezen.
Vraag 1 van 8
Wat is het hoofddoel van de opwarmfase aan het begin van de training?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het hoofddoel van de opwarmfase aan het begin van de training?
- Om de vroege training te stabiliseren wanneer de gewichten willekeurig zijn en de hellingen luidruchtig zijn
- Om de batchgrootte geleidelijk te vergroten
- Om de onderste lagen van het model te bevriezen
- Om het model te comprimeren voor snellere gevolgtrekkingen
- Cosinus-gloeien vervalt de leersnelheid volgens welke vorm?
- Een rechte diagonale lijn
- Een cosinuscurve die hoog begint, afneemt en vlak bij nul afvlakt
- Een stapfunctie die op vaste tijdstippen daalt
- Een exponentiële piek naar boven
- Welke optimizer profiteert vooral van opwarming omdat de variantieschattingen in een vroeg stadium onbetrouwbaar zijn?
- Gewoon SGD zonder momentum
- Raster zoeken
- Adam en zijn varianten
- K-betekent
- Wat vertegenwoordigt T in de cosinusformule?
- De temperatuur van het model voor bemonstering
- Het aantal gebruikte GPU's
- De woordenschatgrootte van de tokenizer
- Het totale aantal trainingsstappen in het schema
- Wat begint er in het opwarm-plus-cosinusschema van de gids nadat de opwarming zijn doelsnelheid heeft bereikt?
- Het cosinusverval begint vanaf de piekleersnelheid
- Alle modelgewichten worden gereset
- Het schema schakelt over naar een constant nultarief
- Het momentum wordt uit elke optimizer verwijderd
- Een lineaire opwarming stijgt in 200 stappen van nul naar de doelsnelheid. Welk tarief wordt ongeveer halverwege gehanteerd?
- Het volledige doeltarief
- Ongeveer de helft van het streefbedrag
- De leersnelheid is precies nul
- Tweemaal het streefbedrag
- Welke vermenigvuldiger levert de cosinusformule van de gids op bij de cosinushorizon t = T?
- Eén
- De helft
- Nul
- Het wordt een negatieve
- Waarom een geleidelijk cosinusverval na het opwarmen gebruiken in plaats van de snelheid abrupt op nul te zetten?
- Het garandeert een mondiaal minimum
- Het verhoogt het aantal parameters van het model
- Het elimineert de noodzaak om trainingsverlies te controleren
- Het laat de snelheid dalen, zodat de optimalisatie geleidelijk kan plaatsvinden