Gids-gekoppelde quiz · Middelmatig Niveau

Opwarm- en cosinus-gloeischema's Quiz

Test de rol van de warming-up in de vroege training, de overgang naar cosinusverval en hoe de lineaire helling en het eindpunt van het schema moeten worden gelezen.

Gerelateerde gidspadenOpwarm- en cosinus-gloeischema's
Vraag 1 van 8

Wat is het hoofddoel van de opwarmfase aan het begin van de training?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het hoofddoel van de opwarmfase aan het begin van de training?
    • Om de vroege training te stabiliseren wanneer de gewichten willekeurig zijn en de hellingen luidruchtig zijn
    • Om de batchgrootte geleidelijk te vergroten
    • Om de onderste lagen van het model te bevriezen
    • Om het model te comprimeren voor snellere gevolgtrekkingen
  2. Cosinus-gloeien vervalt de leersnelheid volgens welke vorm?
    • Een rechte diagonale lijn
    • Een cosinuscurve die hoog begint, afneemt en vlak bij nul afvlakt
    • Een stapfunctie die op vaste tijdstippen daalt
    • Een exponentiële piek naar boven
  3. Welke optimizer profiteert vooral van opwarming omdat de variantieschattingen in een vroeg stadium onbetrouwbaar zijn?
    • Gewoon SGD zonder momentum
    • Raster zoeken
    • Adam en zijn varianten
    • K-betekent
  4. Wat vertegenwoordigt T in de cosinusformule?
    • De temperatuur van het model voor bemonstering
    • Het aantal gebruikte GPU's
    • De woordenschatgrootte van de tokenizer
    • Het totale aantal trainingsstappen in het schema
  5. Wat begint er in het opwarm-plus-cosinusschema van de gids nadat de opwarming zijn doelsnelheid heeft bereikt?
    • Het cosinusverval begint vanaf de piekleersnelheid
    • Alle modelgewichten worden gereset
    • Het schema schakelt over naar een constant nultarief
    • Het momentum wordt uit elke optimizer verwijderd
  6. Een lineaire opwarming stijgt in 200 stappen van nul naar de doelsnelheid. Welk tarief wordt ongeveer halverwege gehanteerd?
    • Het volledige doeltarief
    • Ongeveer de helft van het streefbedrag
    • De leersnelheid is precies nul
    • Tweemaal het streefbedrag
  7. Welke vermenigvuldiger levert de cosinusformule van de gids op bij de cosinushorizon t = T?
    • Eén
    • De helft
    • Nul
    • Het wordt een negatieve
  8. Waarom een geleidelijk cosinusverval na het opwarmen gebruiken in plaats van de snelheid abrupt op nul te zetten?
    • Het garandeert een mondiaal minimum
    • Het verhoogt het aantal parameters van het model
    • Het elimineert de noodzaak om trainingsverlies te controleren
    • Het laat de snelheid dalen, zodat de optimalisatie geleidelijk kan plaatsvinden