基礎知識指南

基準污染

當評估基準中的問題或答案最終出現在模型的訓練資料中時,基準污染就會發生,因此高分可以反映記憶而不是真實能力。

聆聽此指南AI 語音敘述 · ~3 min

本頁4 分鐘閱讀
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 基準污染的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

這很重要,因為排行榜數字推動了研究主張和購買決策,而受污染的分數誇大了模型在解決從未見過的問題上的表現。

深入探討

大型語言模型是在網路規模文字上進行訓練的,其中包括 GitHub、arXiv 論文、論壇和教程網站。流行的基準在設計上是公開的,因此它們的問題、答案和討論會在網路上複製並被納入培訓數據中。污染可以是直接的,即出現確切的測試項目,也可以是間接的,透過釋義、翻譯、解決方案編寫或由看過基準的另一個模型產生的合成數據。如果指令資料集是從類似基準的來源組裝的,它也可以在微調期間進入。一個有用的區別是只看到問題和看到問題及其答案。第二個更具破壞性,因為模型可以回憶答案而不是計算出答案。結果是分數過高,並且不會轉移到新問題上。實驗室意識並不新鮮。 GPT-3 論文(2020)在其基準和訓練資料之間進行了 13-gram 重疊分析,並承認存在錯誤留下了一些重疊。當訓練資料可用時,重疊搜尋是最直接的檢查。如果不是,研究人員會使用間接方法:在測試項目開始時提示模型,看看它是否逐字完成其餘部分;成員推理方法,例如 Min-K% Prob(Shi 和同事,2023),它考察模型預測文本標記的信心程度;將原始項目的分數與重寫或新編寫的同等項目的分數進行比較;以及基於時間的信心程度;將原始項目的分數與重寫或新編寫的同等項目的分數進行比較;以及基於時間的問題截止,比較訓練之前和之後產生的問題截止。有兩種常見的誤解。首先,重疊並不總是能大幅提高分數;一些研究發現對某些任務的影響不大。其次,沒有找到確切的重疊並不能證明基準是乾淨的,因為釋義或翻譯的副本會忽略字串匹配。緩解措施包括私人保留的測試集、金絲雀字串、定期刷新的基準(例如 LiveBench 和 LiveCodeBench)、淨化過濾器以及發布污染分析和結果。

現實世界的實施

數學基準的問題被重新發佈到論壇上並提供有效的解決方案;網路爬行會收集這些頁面,隨後對其進行訓練的模型會重現準確的答案,包括原始措辭中的一個怪癖。

Scale AI 的研究人員編寫了 GSM1k,這是在風格和難度上與 GSM8K 相匹配的新小學數學問題,並發現一些模型在新設置上的得分明顯較低,這是過度擬合公共基準的跡象。

記錄每個問題日期的編碼基準顯示,模型在訓練截止之前解決的問題遠多於之後發布的問題,這就是 LiveCodeBench 旨在公開的模式。

BIG-bench 任務包括一個獨特的金絲雀字串,因此資料團隊可以從訓練語料庫中過濾出包含該字串的任何文檔,然後檢查模型是否可以重現它。

基準污染的未來

評估實踐正在轉向私有或部分私有的測試集、隨著時間的推移添加新專案的基準以及控制測試資料的第三方評估者。這與開放性產生了真正的緊張關係,因為公共基準很容易複製和檢查。訓練資料的更大透明度將使污染檢查變得更加容易,但許多模型開發人員不會發布完整的資料詳細資訊。讀者應謹慎對待任何單一靜態基準分數,並在得出強有力的結論之前尋找新數據或保留數據的結果。

付諸實踐

為什麼這很重要

  • 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
  • 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
  • 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。

留意

  • 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
  • 基準測試可能看起來很強大,但實際效能卻參差不齊。
  • 忽視數據品質和評估計劃通常會產生脆弱的結果。

後續步驟

  1. 從您需要的結果的簡單語言定義開始。
  2. 在測試之前選擇一種成功指標和一種失敗條件。
  3. 使用代表性資料運行小型試點,而不是完善的演示集。
  4. 記錄基準污染在哪些方面有幫助以及在哪些方面更簡單的方法更好。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加「基準污染」測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是基準污染?

當評估基準中的問題或答案最終出現在模型的訓練資料中時,基準污染就會發生,因此高分可以反映記憶而不是真實能力。這很重要,因為排行榜數字推動了研究主張和購買決策,而受污染的分數誇大了模型在解決從未見過的問題上的表現。

什麼是基準污染?

污染意味著模型在訓練過程中可能會看過測試材料,因此其分數可以反映記憶情況。

BIG-bench 任務中包含的金絲雀字串的用途是什麼?

唯一的標識符可以輕鬆地從語料庫中找到和刪除基準文本,並探測模型是否記住了它。

GSM1k 研究顯示了什麼?

風格和難度相符的新問題的下降表明過度擬合公共基準,而不是一般的數學技能。

GPT-3 論文運行了哪些重疊分析?

GPT-3 的作者檢查了 13-gram 重疊並承認存在一些未刪除的重疊的錯誤。

Min-K% Prob 的核心思想是什麼?

該方法對最低 k% 的標記對數機率進行平均;記憶的文本得分異常高,因為其中幾乎沒有什麼讓模型感到驚訝的。