ガイド連動クイズ · ハード レベル

ニューラル タンジェント カーネル理論クイズ

ニューラル タンジェント カーネルが無限幅のネットワーク トレーニングをカーネル メソッドおよび関数空間ダイナミクスにどのようにリンクするかを線形化された制限内でテストします。

関連するガイドパスニューラル タンジェント カーネル理論
質問 1 の 8

無限幅の制限では、ニューラル タンジェント カーネルはトレーニング中にどのように動作しますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 無限幅の制限では、ニューラル タンジェント カーネルはトレーニング中にどのように動作しますか?
    • 本質的に一定のままです
    • 一歩ごとに目まぐるしく変化する
    • ゼロになる
    • 指数関数的に成長します
  2. NTK は数学的には何ですか?
    • 損失のヘシアン
    • 2 つの入力に対するネットワークのパラメーター勾配の内積
    • 出力のソフトマックス
    • 重みの分散
  3. ニューラル タンジェント カーネルを導入したのは誰ですか?
    • ヒントンとサラクトディノフ
    • ルカンとベンジオ
    • ジャコット、ガブリエル、ホンラー (2018)
    • バスワニとその仲間たち
  4. 「怠惰なトレーニング」体制とは何ですか?
    • トレーニングを一時停止した場合
    • オプティマイザが勢いを使用しない場合
    • データの入力が遅い場合
    • パラメーターが初期化からほとんど変化せず、ネットワークが線形に動作する場合
  5. 実際のネットワークに対する NTK 理論の主な制限は、次の点が欠けていることです。
    • 有限幅ネットワークでの特徴学習
    • 勾配降下の役割
    • 重りの存在
    • トレーニングデータの使用
  6. NTK はトレーニングをカーネル回帰にまで削減するため、何が可能になるのでしょうか?
    • データの必要性を排除
    • 完全にトレーニングせずにトレーニングされた出力を予測する
    • パラメーターなしでモデルを実行する
    • テストエラーが常にゼロであることを保証
  7. In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
    • 隠れマルコフモデル
    • デシジョンツリーアンサンブル
    • A Gaussian process
    • A finite-state game controller
  8. For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
    • A discrete rule that randomly changes labels
    • A decision tree that grows one branch per epoch
    • A nonlinear search over audio frames
    • A linear differential equation in function space