Kvíz spojený s průvodcem · Těžko úroveň

Kvíz teorie jádra neurální tečny

Otestujte, jak jádro neurální tangenty spojuje trénování sítě s nekonečnou šířkou s metodami jádra a dynamikou funkčního prostoru v linearizovaném limitu.

Související vodicí cestyTeorie jádra neurální tangenty
Otázka 1 z 8

Jak se v limitu nekonečné šířky chová jádro nervové tangenty během tréninku?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jak se v limitu nekonečné šířky chová jádro nervové tangenty během tréninku?
    • Zůstává v podstatě konstantní
    • Rychle se mění na každém kroku
    • Stává se nulou
    • Roste exponenciálně
  2. Co je NTK matematicky?
    • Hessian ztráty
    • Vnitřní součin gradientů parametrů sítě pro dva vstupy
    • Softmax výstupů
    • Rozptyl vah
  3. Kdo představil jádro neurální tangenty?
    • Hinton a Salakhutdinov
    • LeCun a Bengio
    • Jacot, Gabriel a Hongler (2018)
    • Vaswani a kolegové
  4. Co je to režim „líného tréninku“?
    • Když je trénink pozastaven
    • Když optimalizátor nepoužívá žádnou hybnost
    • Když jsou data přiváděna pomalu
    • Když se parametry sotva pohnou od inicializace a síť se chová lineárně
  5. Klíčovým omezením teorie NTK pro skutečné sítě je, že postrádá:
    • Učení funkcí v sítích konečné šířky
    • Role gradientního klesání
    • Existence závaží
    • Využití tréninkových dat
  6. Protože NTK redukuje školení na regresi jádra, co je možné?
    • Eliminace potřeby jakýchkoli dat
    • Předpovídání natrénovaného výstupu bez úplného tréninku
    • Běžící modely bez parametrů
    • Vždy zaručuje nulovou chybu testu
  7. In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
    • Skrytý Markovův model
    • Soubor rozhodovacího stromu
    • A Gaussian process
    • A finite-state game controller
  8. For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
    • A discrete rule that randomly changes labels
    • A decision tree that grows one branch per epoch
    • A nonlinear search over audio frames
    • A linear differential equation in function space