Gids-gekoppelde quiz · Moeilijk Niveau
Tweede-orde-optimalisatie en Newton-methodenquiz
Test hoe kromming een optimalisatiestap verandert, wat quasi-Newton-methoden opslaan en wanneer het exacte Newton-gedrag afhangt van een kwadratisch doel.
Vraag 1 van 8
Welke informatie gebruikt de methode van Newton die bij een duidelijke gradiëntafdaling niet wordt gebruikt?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welke informatie gebruikt de methode van Newton die bij een duidelijke gradiëntafdaling niet wordt gebruikt?
- Kromming, via de tweede afgeleiden in de Hessische matrix
- De exacte locatie van het globale minimum
- Het leersnelheidschema
- Het aantal trainingsvoorbeelden
- Hoeveel stappen heeft de methode van Newton nodig om het minimum te bereiken voor een perfect kwadratisch doel?
- Precies tien stappen
- Eén stap
- Hetzelfde getal als gradiëntafdaling
- Het convergeert nooit
- Waarom is de volledige Newton-methode onpraktisch voor neurale netwerken met miljarden parameters?
- De gradiënt kan niet worden berekend
- Tweede afgeleiden zijn altijd nul in neurale netwerken
- De Hessiaan is N-voor-N, wat ongeveer N-kwadraat geheugen kost en N-cubed rekenkracht om te inverteren
- Het werkt alleen op afbeeldingen
- Wat doen quasi-Newton-methoden zoals BFGS om de kosten van de Hessiaan te vermijden?
- Ze negeren het verloop volledig
- Ze raden willekeurig de kromming
- Ze converteren het probleem naar een lineair probleem
- Ze bouwen een benadering van de inverse Hessiaan op basis van opeenvolgende gradiëntverschillen
- Hoe vermindert L-BFGS het geheugen in vergelijking met BFGS?
- Het slaat alleen de laatste paar gradiënt- en stapvectoren op in plaats van de volledige matrix
- Er wordt alleen gebruik gemaakt van drijvers met enkele precisie
- Het verwijdert de gradiënt na elke stap
- Het traint op minder parameters
- Welke moderne aanpak benadert de kromming om de training van grote neurale netwerken te versnellen?
- One-hot-codering
- Methoden met Kronecker-factor, zoals K-FAC en Shampoo
- Duidelijke stochastische gradiëntafdaling zonder aanpassingen
- Uitval
- On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
- The learning rate is reduced to zero before the update
- The Hessian is ignored and only a fixed scalar step is used
- The full Newton update uses the exact gradient and Hessian of that quadratic
- The objective is first converted to a linear function
- A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
- It guarantees the global minimum in one step
- It replaces the need to evaluate a gradient
- It makes every Hessian positive definite
- It approximates local curvature, so later iterations may be needed as the model changes