引導式測驗 · 中等 等級
基準污染測驗
測試基準項目如何滲透訓練資料、n-gram 重疊和 Min-K% Prob 等檢測方法,以及金絲雀和時間分割等緩解措施。
問題 1 的 8
什麼是基準污染?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 什麼是基準污染?
- 當基準測試包含不正確的答案時
- 當模型測試的問題太少時
- 當基準測試項目或其答案出現在模型的訓練資料中時
- 當兩個基準衡量相同的技能時
- BIG-bench 任務中包含的金絲雀字串的用途是什麼?
- 讓資料團隊從訓練資料中過濾這些文件並測試模型是否看到它們
- 將答案加密
- 標記哪些任務是最難的
- 確定哪個模型產生每個答案
- GSM1k 研究顯示了什麼?
- 所有模型在新問題上得分都更高
- GSM8K沒有錯誤
- 沒有訓練資料就無法測量污染
- 某些型號在新的匹配問題上的得分明顯低於 GSM8K
- GPT-3 論文運行了哪些重疊分析?
- 在完整文件中嵌入相似性
- 基準和訓練資料之間有 13 克重疊
- 對每個培訓文件進行人工審核
- 每個基準的 Min-K% 機率
- Min-K% Prob 的核心思想是什麼?
- 從訓練資料中刪除最不常見的 k% 單字
- 訓練第二個模型對受污染的文本進行分類
- 模型看到的文字往往很少有極低機率的標記
- 測量模型答案的長度
- LiveCodeBench 中基於時間的分割如何幫助偵測污染?
- 它比較模型訓練截止之前和之後發布的問題的性能
- 它衡量模型需要多長時間才能回答
- 它將模型分為較舊的層和較新的層
- 它只計算在限定時間內回答的問題
- 為什麼沒有找到確切的重疊並不能證明基準是乾淨的?
- 精確匹配運行速度太慢
- 基準測試的答案會隨著時間的推移而改變
- 模型永遠不會記住確切的文本
- 釋義或翻譯的副本可能會跳過字串匹配
- 在 n 元去污中,如果 n 選擇太小會發生什麼事?
- 錯過了帶有小編輯的接近副本
- 標記了許多常見短語的誤報
- 過濾器完全停止運作
- 僅匹配答案,不匹配問題