Gids-gekoppelde quiz · Moeilijk Niveau
Lookahead en Lion Optimizers-quiz
Controleert de snelle en langzame gewichten van Lookahead, de op tekens gebaseerde momentumupdate van Lion en de implicaties voor de keuze van het geheugen en het leertempo.
Vraag 1 van 8
Wat is de bepalende rekenstap in de gewichtsupdate van de Lion Optimizer?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is de bepalende rekenstap in de gewichtsupdate van de Lion Optimizer?
- Het teken nemen van een op momentum gebaseerde term
- De gradiënt wordt gedeeld door het kwadraat van het lopende gemiddelde
- Berekening van een Hessische benadering van de tweede orde
- Middeling van gewichten over meerdere controlepunten
- Hoe structureert Lookahead de optimalisatie?
- Er wordt gebruik gemaakt van een enkele set gewichten die tweemaal per stap wordt bijgewerkt
- Het houdt 'snelle' gewichten bij die worden bijgewerkt door een basisoptimalisatie en 'langzame' gewichten die periodiek naar hen toe interpoleren
- Het verwijdert het momentum volledig om geheugen te besparen
- Het traint twee netwerken en berekent het gemiddelde van hun outputs
- Hoe werd de Lion-optimalisatie oorspronkelijk ontdekt?
- Door het met de hand af te leiden uit de convexe optimalisatietheorie
- Door de updates van SGD en Adam te middelen
- Via geautomatiseerde symbolische programmazoekopdrachten via optimalisatie-algoritmen
- Van een natuurkundige simulatie van deeltjesbeweging
- Wat is, vergeleken met Adam, een belangrijk geheugenvoordeel van Lion?
- Het slaat helemaal geen staat op
- Er wordt automatisch gebruik gemaakt van halve-precisiegewichten
- Het deelt de status over alle lagen
- Het behoudt slechts één momentumbuffer in plaats van de twee toestandstensoren van Adam
- Waarom heeft Lion doorgaans een kleiner leertempo nodig dan Adam?
- Omdat de tekenbewerking de omvang van elke update uniform maakt, waardoor de stap effectief wordt geschaald
- Omdat het geen momentum gebruikt
- Omdat het grotere batches verwerkt
- Omdat het gewichtsverval uitschakelt
- Een praktisch voordeel van Lookahead is dat het de neiging heeft om training:
- Gevoeliger voor de keuze van hyperparameters
- Stabieler en robuuster, met verminderde oscillatie
- Per stap langzamer met een factor tien
- Onverenigbaar met Adam of SGD
- Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
- To 8, regardless of alpha
- To −2, away from the fast weights
- To 2, one quarter of the distance toward the fast weights
- They remain at 0 because alpha only changes Lion
- After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
- At the original random initialization
- At the final validation predictions
- At the previous slow weights before interpolation
- At the updated slow-weight values for the next inner loop