Gids-gekoppelde quiz · Moeilijk Niveau

Lookahead en Lion Optimizers-quiz

Controleert de snelle en langzame gewichten van Lookahead, de op tekens gebaseerde momentumupdate van Lion en de implicaties voor de keuze van het geheugen en het leertempo.

Gerelateerde gidspadenLookahead en Lion Optimizers
Vraag 1 van 8

Wat is de bepalende rekenstap in de gewichtsupdate van de Lion Optimizer?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is de bepalende rekenstap in de gewichtsupdate van de Lion Optimizer?
    • Het teken nemen van een op momentum gebaseerde term
    • De gradiënt wordt gedeeld door het kwadraat van het lopende gemiddelde
    • Berekening van een Hessische benadering van de tweede orde
    • Middeling van gewichten over meerdere controlepunten
  2. Hoe structureert Lookahead de optimalisatie?
    • Er wordt gebruik gemaakt van een enkele set gewichten die tweemaal per stap wordt bijgewerkt
    • Het houdt 'snelle' gewichten bij die worden bijgewerkt door een basisoptimalisatie en 'langzame' gewichten die periodiek naar hen toe interpoleren
    • Het verwijdert het momentum volledig om geheugen te besparen
    • Het traint twee netwerken en berekent het gemiddelde van hun outputs
  3. Hoe werd de Lion-optimalisatie oorspronkelijk ontdekt?
    • Door het met de hand af te leiden uit de convexe optimalisatietheorie
    • Door de updates van SGD en Adam te middelen
    • Via geautomatiseerde symbolische programmazoekopdrachten via optimalisatie-algoritmen
    • Van een natuurkundige simulatie van deeltjesbeweging
  4. Wat is, vergeleken met Adam, een belangrijk geheugenvoordeel van Lion?
    • Het slaat helemaal geen staat op
    • Er wordt automatisch gebruik gemaakt van halve-precisiegewichten
    • Het deelt de status over alle lagen
    • Het behoudt slechts één momentumbuffer in plaats van de twee toestandstensoren van Adam
  5. Waarom heeft Lion doorgaans een kleiner leertempo nodig dan Adam?
    • Omdat de tekenbewerking de omvang van elke update uniform maakt, waardoor de stap effectief wordt geschaald
    • Omdat het geen momentum gebruikt
    • Omdat het grotere batches verwerkt
    • Omdat het gewichtsverval uitschakelt
  6. Een praktisch voordeel van Lookahead is dat het de neiging heeft om training:
    • Gevoeliger voor de keuze van hyperparameters
    • Stabieler en robuuster, met verminderde oscillatie
    • Per stap langzamer met een factor tien
    • Onverenigbaar met Adam of SGD
  7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
    • To 8, regardless of alpha
    • To −2, away from the fast weights
    • To 2, one quarter of the distance toward the fast weights
    • They remain at 0 because alpha only changes Lion
  8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
    • At the original random initialization
    • At the final validation predictions
    • At the previous slow weights before interpolation
    • At the updated slow-weight values for the next inner loop