Kvíz spojený s průvodcem · Těžko úroveň
Kvíz teorie jádra neurální tečny
Otestujte, jak jádro neurální tangenty spojuje trénování sítě s nekonečnou šířkou s metodami jádra a dynamikou funkčního prostoru v linearizovaném limitu.
Otázka 1 z 8
Jak se v limitu nekonečné šířky chová jádro nervové tangenty během tréninku?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jak se v limitu nekonečné šířky chová jádro nervové tangenty během tréninku?
- Zůstává v podstatě konstantní
- Rychle se mění na každém kroku
- Stává se nulou
- Roste exponenciálně
- Co je NTK matematicky?
- Hessian ztráty
- Vnitřní součin gradientů parametrů sítě pro dva vstupy
- Softmax výstupů
- Rozptyl vah
- Kdo představil jádro neurální tangenty?
- Hinton a Salakhutdinov
- LeCun a Bengio
- Jacot, Gabriel a Hongler (2018)
- Vaswani a kolegové
- Co je to režim „líného tréninku“?
- Když je trénink pozastaven
- Když optimalizátor nepoužívá žádnou hybnost
- Když jsou data přiváděna pomalu
- Když se parametry sotva pohnou od inicializace a síť se chová lineárně
- Klíčovým omezením teorie NTK pro skutečné sítě je, že postrádá:
- Učení funkcí v sítích konečné šířky
- Role gradientního klesání
- Existence závaží
- Využití tréninkových dat
- Protože NTK redukuje školení na regresi jádra, co je možné?
- Eliminace potřeby jakýchkoli dat
- Předpovídání natrénovaného výstupu bez úplného tréninku
- Běžící modely bez parametrů
- Vždy zaručuje nulovou chybu testu
- In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
- Skrytý Markovův model
- Soubor rozhodovacího stromu
- A Gaussian process
- A finite-state game controller
- For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
- A discrete rule that randomly changes labels
- A decision tree that grows one branch per epoch
- A nonlinear search over audio frames
- A linear differential equation in function space