Maswali yanayounganishwa na mwongozo · Ngumu Kiwango

Maswali ya Nadharia ya Neural Tangent Kernel

Jaribu jinsi Neural Tangent Kernel inavyounganisha mafunzo ya mtandao wa upana usio na kikomo kwa mbinu za kernel na mienendo ya nafasi ya utendakazi katika kikomo cha mstari.

Njia za mwongozo zinazohusianaNadharia ya Kernel ya Neural Tangent
Swali 1 ya 8

Katika kikomo cha upana usio na kikomo, Kernel ya Neural Tangent hufanyaje wakati wa mafunzo?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Katika kikomo cha upana usio na kikomo, Kernel ya Neural Tangent hufanyaje wakati wa mafunzo?
    • Inabakia kimsingi mara kwa mara
    • Inabadilika haraka kila hatua
    • Inakuwa sifuri
    • Inakua kwa kasi
  2. NTK ni nini kimahesabu?
    • Hessian ya hasara
    • Bidhaa ya ndani ya gradients ya parameta ya mtandao kwa pembejeo mbili
    • Upeo laini wa matokeo
    • Tofauti ya uzito
  3. Nani alianzisha Kernel ya Neural Tangent?
    • Hinton na Salakhutdinov
    • LeCun na Bengio
    • Jacot, Gabriel, na Hongler (2018)
    • Vaswani na wenzake
  4. Je! ni mfumo gani wa 'mafunzo ya uvivu'?
    • Wakati mafunzo yamesitishwa
    • Wakati kiboreshaji hakitumii kasi
    • Wakati data inalishwa polepole
    • Wakati vigezo havisogei kutoka kwa uanzishaji na mtandao unafanya kazi kwa mstari
  5. Kizuizi kikuu cha nadharia ya NTK kwa mitandao halisi ni kwamba inakosa:
    • Kujifunza kwa kipengele katika mitandao yenye upana-kikomo
    • Jukumu la kushuka kwa gradient
    • Uwepo wa uzito
    • Matumizi ya data ya mafunzo
  6. Kwa sababu NTK inapunguza mafunzo kwa urekebishaji wa kernel, nini kinawezekana?
    • Kuondoa hitaji la data yoyote
    • Kutabiri matokeo ya mafunzo bila mafunzo kamili
    • Kuendesha mifano bila vigezo
    • Kuhakikisha kosa la jaribio la sifuri kila wakati
  7. In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
    • Mfano wa siri wa Markov
    • Mkusanyiko wa mti wa maamuzi
    • A Gaussian process
    • A finite-state game controller
  8. For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
    • A discrete rule that randomly changes labels
    • A decision tree that grows one branch per epoch
    • A nonlinear search over audio frames
    • A linear differential equation in function space