引導式測驗 · 硬 等級

幻覺檢測方法測驗

測試自一致性抽樣、針對來源的聲明級蘊涵、語意熵等不確定性訊號、驗證判斷模型。

相關引導路徑幻覺偵測方法
問題 1 的 8

什麼觀察是自我一致性方法(如 SelfCheckGPT)背後的基礎?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 什麼觀察是自我一致性方法(如 SelfCheckGPT)背後的基礎?
    • 當模型知道一個事實時,重複樣本往往會一致,而虛構細節則會變化
    • 模型對重複提問總是給出相同答案
    • 較長的答案總是更準確
    • 將溫度設為零可以消除所有幻覺
  2. 自一致性檢查的主要限制是什麼?
    • 它需要在使用前有大量標註資料集
    • 它只適用於圖像輸出
    • 它會錯過模型持續重複的錯誤,且需要額外的模型調用
    • 它無法在沒有檢索到的來源文件的情況下運行
  3. 來源依賴的蕴涵檢查實際測量的是什麼?
    • 模型的訓練截止日期
    • 對提供來源的忠實度,若來源錯誤則不等於真實
    • 模型回應的速度有多快
    • 文法與拼寫品質
  4. 語意熵與單純的 token 級別不確定性有何不同?
    • 它會計算每個答案的字數
    • 它僅依賴人工評分者
    • 它避免對多個答案進行抽樣
    • 它在測量不確定性前,先依意義將抽樣答案分組
  5. 為何指南建議要求驗證者引用支持的文字片段?
    • 它使輸出更短
    • 這使驗證具備可稽查性,且簡單的字串比對即可確認引用出現在來源中
    • 這讓驗證者更具創意
    • 它將驗證成本降至零
  6. 在偵測流程中,哪些檢查應該先執行?
    • 廉價的確定性檢查,例如確認引用的網址、ID 或案件編號是否存在
    • 對每一個答案進行完整的人類審核
    • 對被標記的答案進行模型微調
    • 對每個 token 進行語義熵計算
  7. 使用 LLM 作為判斷者時有什麼注意事項?
    • 法官無法閱讀原始文件
    • 法官僅以英文工作
    • 法官永遠正確
    • 法官有自己的偏見和錯誤率,因此應與人類標籤進行比對
  8. 僅僅詢問模型「你確定嗎?」為什麼是一種不可靠的偵測方法?
    • 模型無法閱讀後續問題
    • API 條款禁止此行為
    • 模型可能會放棄正確答案或為錯誤答案辯護
    • 它使上下文視窗大小加倍