重ね合わせと多意味性クイズ

クイズに答えると、答えと解説が表示されます。

1. ニューラル ネットワークにおける「重ね合わせ」とは何を指しますか?
   • ニューロンの方向を重ねることで、ニューロンの数よりも多くの特徴を表現します
   • 複数のモデルを積み重ねる
   • モデルを 2 回実行して平均化する
   • トレーニング中に入力にノイズを追加する
2. 特徴の干渉にもかかわらず重ね合わせがうまく機能する条件は何ですか?
   • 常に高密度でアクティブな機能
   • 機能がまばらなので、同時にアクティブになる機能はほとんどありません
   • ポジティブなアクティベーションのみを使用する
   • 特徴量よりも多くのニューロンを持つ
3. 「多意味」ニューロンとは何ですか?
   • 決して活性化しないニューロン
   • 出力層のみで使用されるニューロン
   • 多くの無関係な概念に反応するニューロン
   • 接続のないニューロン
4. 2022 年にこの現象の対照研究を紹介した Anthropic 論文はどれですか?
   • 必要なのは注意力だけです
   • Deep CNN による ImageNet 分類
   • Deep RL で Atari をプレイする
   • 重ね合わせの玩具モデル
5. レイヤーにサイズよりも多くのフィーチャを保存する必要がある場合、幾何学的に避けられないものは何でしょうか?
   • 一部のフィーチャは、重複する非直交方向を共有する必要があります
   • 特徴はすべて完全に直交を保つことができます
   • ネットワークがクラッシュするはずです
   • すべての機能が同一になる
6. 重ね合わせにより解釈が難しくなるのはなぜですか?
   • モデルの実行が遅くなります
   • 単一のニューロンが単一の概念に明確にマッピングされなくなりました
   • モデルからすべての機能が削除されます
   • 入力レイヤーにのみ影響します
7. Why does sparse feature activity reduce interference when more features than dimensions are represented?
   • Sparse activity makes all feature directions orthogonal
   • It increases the number of neurons automatically
   • Fewer features are active at the same time, so overlapping directions collide less often
   • It removes the need for nonlinear computation
8. What does an antipodal pair of feature directions look like geometrically?
   • Two vectors at a right angle in separate dimensions
   • Two vectors with identical directions and magnitudes
   • A vector with no coordinates
   • Two directions that point opposite ways along the same line