引導式測驗 · 中等 等級

建構 LLM 評估資料集測驗

測試採購真實案例、黃金答案與評分標準、邊緣案例覆蓋率以及評估評估集的大小,以便分數差異有意義。

相關引導路徑建構 LLM 評估資料集
問題 1 的 8

該指南推薦什麼作為評估案例的最佳起始來源?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 該指南推薦什麼作為評估案例的最佳起始來源?
    • 僅由 LLM 產生的綜合問題
    • 公共基準排行榜
    • 從網路上隨機抓取的文字
    • 真實使用情況,例如日誌、支援票證和搜尋查詢
  2. 什麼時候一個標題比單一的黃金答案更適合?
    • 對於具有固定標籤的分類任務
    • 對於開放式任務,許多不同的措詞都可以是正確的
    • 用於提取準確的發票號碼
    • 標題再合適不過了
  3. 下列哪一項是寫出良好的評分標準?
    • 有幫助
    • 聽起來很自然
    • 提及退款期限
    • 是高品質
  4. 有 100 個通過/失敗案例,通過率接近 80%,指引對誤差幅度有何規定?
    • 大約是正負 8 個百分點,因此兩點的改進看起來像是噪音
    • 大約是正負0.1個百分點
    • 它恰好為零
    • 大約是正負50個百分點
  5. 回歸切片的目的是什麼?
    • 自動刪除過時的案例
    • 加快模型的反應速度
    • 將過去的故障保留在集合中,以便修復經過測試
    • 根據模型本身的錯誤來訓練模型
  6. 在信任法學碩士法官對評分標準項目進行評分之前,您應該做什麼?
    • 讓法官的溫度升高
    • 刪除標題,以便法官可以自由決定
    • 用一個案例來考驗法官
    • 讓人們給樣本貼上標籤並測量法官同意他們的頻率
  7. 為什麼要保留資料集的保留部分而不進行調整?
    • 避免過度擬合測試集的提示
    • 以節省儲存空間
    • 因為法規要求
    • 減少延遲
  8. 為什麼在比較兩個版本時,相同案例的配對比較很有用?
    • 他們不再需要任何評分者
    • 與比較獨立樣本相比,他們通常需要較少的例子
    • 他們消除了模型輸出中的所有不確定性
    • 他們保證滿分