ガイド連動クイズ · ハード レベル
解釈可能性のためのスパース オートエンコーダに関するクイズ
スパースオートエンコーダの再構成とスパース性、アクティベーション特徴、幅拡張、特徴分割、および因果ステアリング実験をチェックします。
質問 1 の 8
モデルのアクティベーションに関してスパース オートエンコーダーをトレーニングする主な目的は何ですか?
すべての質問をプレビューする8 質問
クイズに答えると、答えと解説が表示されます。
- モデルのアクティベーションに関してスパース オートエンコーダーをトレーニングする主な目的は何ですか?
- 複雑なアクティベーションを解釈可能な、ほとんど分離された機能に分解する
- モデルを圧縮して高速に実行するには
- 言語間でテキストを翻訳するには
- ベンチマークでのモデルの精度を高めるには
- SAE のスパーシティ ペナルティは、隠れユニットのアクティベーションにどのような影響を与えますか?
- 各ユニットが正確に 1 つのコンセプトを表すことを保証します
- これは、より広い隠れ層の小さなサブセットのみが入力に対してアクティブになることを奨励します。
- すべての隠しユニットが均等にアクティブになります
- 再構築の目的が削除されます
- 2024 年に SAE を Claude 3 Sonnet に拡張する際に、Anthropic はおよそいくつの機能を抽出しましたか?
- 約500
- 約2,000
- 約3,400万
- 約1000億
- 「Golden Gate Claude」デモは何を示しましたか?
- SAE は画像上でのみトレーニングできること
- モデルがテキストを生成できなくなったこと
- その機能は出力に影響を与えません
- 単一の特徴を高くクランプすると、因果的にモデルの動作が制御される
- SAE の隠れ層は、通常、再構築される活性化よりもはるかに広いのはなぜですか?
- 概念は実際に必要な次元よりも少ない次元で重ね合わされているため、より多くのユニットが概念を解きほぐすのに役立ちます
- トレーニングを安くするために
- レイヤーが広いほど常に精度が高いため
- パラメータの数を減らすには
- 現在のスパース オートエンコーダの既知の制限はどれですか?
- 勾配降下法でトレーニングすることはできません
- 機能分割。1 つのコンセプトが多数の個別の機能に分割されます。
- 畳み込みネットワークでのみ動作します
- 人間によるラベル付けの必要がなくなります。
- スパース オートエンコーダーをトレーニングするときに一般的に組み合わせられる 2 つの目標はどれですか?
- 政策の勾配と価値の損失
- 次のトークンの損失と対照的な損失
- 再構築エラーと非表示のアクティベーションに対するペナルティ
- 校正誤差と分類精度
- TopK スパース オートエンコーダはスパース性を促進するために何をしますか?
- K 個の最大入力ピクセルを保持し、デコーダを破棄します
- すべてのエンコーダの重みをゼロに設定します
- K 個の異なるトークナイザーをトレーニングします
- 入力に対して最大 K 個の非表示アクティベーションのみを保持します