引導式測驗 · 中等 等級

基準污染測驗

測試基準項目如何滲透訓練資料、n-gram 重疊和 Min-K% Prob 等檢測方法,以及金絲雀和時間分割等緩解措施。

相關引導路徑基準污染
問題 1 的 8

什麼是基準污染?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 什麼是基準污染?
    • 當基準測試包含不正確的答案時
    • 當模型測試的問題太少時
    • 當基準測試項目或其答案出現在模型的訓練資料中時
    • 當兩個基準衡量相同的技能時
  2. BIG-bench 任務中包含的金絲雀字串的用途是什麼?
    • 讓資料團隊從訓練資料中過濾這些文件並測試模型是否看到它們
    • 將答案加密
    • 標記哪些任務是最難的
    • 確定哪個模型產生每個答案
  3. GSM1k 研究顯示了什麼?
    • 所有模型在新問題上得分都更高
    • GSM8K沒有錯誤
    • 沒有訓練資料就無法測量污染
    • 某些型號在新的匹配問題上的得分明顯低於 GSM8K
  4. GPT-3 論文運行了哪些重疊分析?
    • 在完整文件中嵌入相似性
    • 基準和訓練資料之間有 13 克重疊
    • 對每個培訓文件進行人工審核
    • 每個基準的 Min-K% 機率
  5. Min-K% Prob 的核心思想是什麼?
    • 從訓練資料中刪除最不常見的 k% 單字
    • 訓練第二個模型對受污染的文本進行分類
    • 模型看到的文字往往很少有極低機率的標記
    • 測量模型答案的長度
  6. LiveCodeBench 中基於時間的分割如何幫助偵測污染?
    • 它比較模型訓練截止之前和之後發布的問題的性能
    • 它衡量模型需要多長時間才能回答
    • 它將模型分為較舊的層和較新的層
    • 它只計算在限定時間內回答的問題
  7. 為什麼沒有找到確切的重疊並不能證明基準是乾淨的?
    • 精確匹配運行速度太慢
    • 基準測試的答案會隨著時間的推移而改變
    • 模型永遠不會記住確切的文本
    • 釋義或翻譯的副本可能會跳過字串匹配
  8. 在 n 元去污中,如果 n 選擇太小會發生什麼事?
    • 錯過了帶有小編輯的接近副本
    • 標記了許多常見短語的誤報
    • 過濾器完全停止運作
    • 僅匹配答案,不匹配問題