Gids-gekoppelde quiz · Moeilijk Niveau

Tweede-orde-optimalisatie en Newton-methodenquiz

Test hoe kromming een optimalisatiestap verandert, wat quasi-Newton-methoden opslaan en wanneer het exacte Newton-gedrag afhangt van een kwadratisch doel.

Vraag 1 van 8

Welke informatie gebruikt de methode van Newton die bij een duidelijke gradiëntafdaling niet wordt gebruikt?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welke informatie gebruikt de methode van Newton die bij een duidelijke gradiëntafdaling niet wordt gebruikt?
    • Kromming, via de tweede afgeleiden in de Hessische matrix
    • De exacte locatie van het globale minimum
    • Het leersnelheidschema
    • Het aantal trainingsvoorbeelden
  2. Hoeveel stappen heeft de methode van Newton nodig om het minimum te bereiken voor een perfect kwadratisch doel?
    • Precies tien stappen
    • Eén stap
    • Hetzelfde getal als gradiëntafdaling
    • Het convergeert nooit
  3. Waarom is de volledige Newton-methode onpraktisch voor neurale netwerken met miljarden parameters?
    • De gradiënt kan niet worden berekend
    • Tweede afgeleiden zijn altijd nul in neurale netwerken
    • De Hessiaan is N-voor-N, wat ongeveer N-kwadraat geheugen kost en N-cubed rekenkracht om te inverteren
    • Het werkt alleen op afbeeldingen
  4. Wat doen quasi-Newton-methoden zoals BFGS om de kosten van de Hessiaan te vermijden?
    • Ze negeren het verloop volledig
    • Ze raden willekeurig de kromming
    • Ze converteren het probleem naar een lineair probleem
    • Ze bouwen een benadering van de inverse Hessiaan op basis van opeenvolgende gradiëntverschillen
  5. Hoe vermindert L-BFGS het geheugen in vergelijking met BFGS?
    • Het slaat alleen de laatste paar gradiënt- en stapvectoren op in plaats van de volledige matrix
    • Er wordt alleen gebruik gemaakt van drijvers met enkele precisie
    • Het verwijdert de gradiënt na elke stap
    • Het traint op minder parameters
  6. Welke moderne aanpak benadert de kromming om de training van grote neurale netwerken te versnellen?
    • One-hot-codering
    • Methoden met Kronecker-factor, zoals K-FAC en Shampoo
    • Duidelijke stochastische gradiëntafdaling zonder aanpassingen
    • Uitval
  7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
    • The learning rate is reduced to zero before the update
    • The Hessian is ignored and only a fixed scalar step is used
    • The full Newton update uses the exact gradient and Hessian of that quadratic
    • The objective is first converted to a linear function
  8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
    • It guarantees the global minimum in one step
    • It replaces the need to evaluate a gradient
    • It makes every Hessian positive definite
    • It approximates local curvature, so later iterations may be needed as the model changes