ガイド連動クイズ · ハード レベル

アクティベーションステアリングと表現エンジニアリングに関するクイズ

アクティベーション ステアリング ベクトルがどのように推定され、推論時に適用され、スケーリングされるか、プロンプト依存の一般化によるリスクとともにチェックします。

関連するガイドパスアクティベーションステアリングと表現エンジニアリング
質問 1 の 8

モデルの操作のどの時点でアクティベーション ステアリングが介入しますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. モデルの操作のどの時点でアクティベーション ステアリングが介入しますか?
    • 推論時に、非表示のアクティベーションを変更することにより
    • 事前トレーニング中のみ
    • データ収集中
    • 出力テキストが印刷された後のみ
  2. ステアリング ベクトルは一般的にどのように計算されますか?
    • 行列をランダムに初期化することによって
    • 対照的なポジティブプロンプトとネガティブプロンプトでのアクティベーション間の平均差として
    • モデルからレイヤーを削除する
    • プロンプト内のトークンをカウントすることによって
  3. アクティベーションステアリングが機能する理由の根底にある仮説はどれですか?
    • モデルはデータをプレーンテキストとして保存するという考え
    • すべてのニューロンは同一であるという信念
    • 線形表現仮説、多くのフィーチャはほぼ直線方向であるという仮説
    • モデルは概念を表現できないという主張
  4. ステアリング ベクトルのスケーリング係数は何を制御しますか?
    • モデルの語彙サイズ
    • モデル内のレイヤーの数
    • トレーニング学習率
    • 行動が選択した方向にどれだけ強く押し進められるか
  5. モデルを積極的に操作しすぎることの既知のリスクは何ですか?
    • 出力の一貫性と機能が低下する可能性がある
    • モデルは自動的にトレーニングします
    • ファイルサイズが制御不能に増大する
    • 重みを永続的に書き換えます
  6. クランプする解釈可能な特徴を見つけるためにステアリングと組み合わせられることが多いテクニックはどれですか?
    • JPEG圧縮
    • アクティベーションを機能に分解するスパース オートエンコーダー
    • ドメイン名の登録
    • ディスクのデフラグ
  7. How does activation steering differ from fine-tuning the model weights?
    • It retrains the model on a new labeled dataset
    • It changes the tokenizer vocabulary
    • It adds a vector to hidden activations during inference without updating the base weights
    • It replaces the attention layers with a classifier
  8. A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
    • The vector must be an optimizer state
    • Steering always requires fine-tuning
    • A residual stream contains no features
    • The direction found from one prompt set may not generalize to other contexts