引導式測驗 · 硬 等級

啟動指導和表示工程測驗

檢查如何估計激活引導向量,如何在推理和縮放中應用,以及依賴提示的泛化的風險。

相關引導路徑啟動指導和表示工程
問題 1 的 8

活化轉向在模型運作的哪個點進行幹預?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 活化轉向在模型運作的哪個點進行幹預?
    • 在推理時,透過修改隱藏激活
    • 僅在預訓練期間
    • 資料收集期間
    • 僅在列印輸出文字後
  2. 通常如何計算轉向向量?
    • 透過隨機初始化矩陣
    • 作為對比正面和負面提示的激活之間的平均差異
    • 透過從模型中刪除圖層
    • 透過計算提示中的標記
  3. 哪個假設是啟動轉向運作的基礎?
    • 模型將資料儲存為純文字的想法
    • 相信所有神經元都是相同的
    • 線性表示假設,許多特徵大致為線性方向
    • 模型不能代表概念的主張
  4. 轉向向量控制的比例係數是多少?
    • 模型的詞彙量大小
    • 模型中的層數
    • 訓練學習率
    • 將行為推向所選方向的強度有多大
  5. 過於激進操縱模式的已知風險是什麼?
    • 輸出一致性和能力可能會降低
    • 模型自動訓練
    • 檔案大小不受控制地成長
    • 它永久重寫權重
  6. 哪種技術通常與轉向結合使用來尋找可解釋的特徵來進行夾緊?
    • JPEG 壓縮
    • 將啟動分解為特徵的稀疏自動編碼器
    • 域名註冊
    • 磁碟碎片整理
  7. How does activation steering differ from fine-tuning the model weights?
    • It retrains the model on a new labeled dataset
    • It changes the tokenizer vocabulary
    • It adds a vector to hidden activations during inference without updating the base weights
    • It replaces the attention layers with a classifier
  8. A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
    • The vector must be an optimizer state
    • Steering always requires fine-tuning
    • A residual stream contains no features
    • The direction found from one prompt set may not generalize to other contexts