引導式測驗 · 中等 等級
建構 LLM 評估資料集測驗
測試採購真實案例、黃金答案與評分標準、邊緣案例覆蓋率以及評估評估集的大小,以便分數差異有意義。
問題 1 的 8
該指南推薦什麼作為評估案例的最佳起始來源?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 該指南推薦什麼作為評估案例的最佳起始來源?
- 僅由 LLM 產生的綜合問題
- 公共基準排行榜
- 從網路上隨機抓取的文字
- 真實使用情況,例如日誌、支援票證和搜尋查詢
- 什麼時候一個標題比單一的黃金答案更適合?
- 對於具有固定標籤的分類任務
- 對於開放式任務,許多不同的措詞都可以是正確的
- 用於提取準確的發票號碼
- 標題再合適不過了
- 下列哪一項是寫出良好的評分標準?
- 有幫助
- 聽起來很自然
- 提及退款期限
- 是高品質
- 有 100 個通過/失敗案例,通過率接近 80%,指引對誤差幅度有何規定?
- 大約是正負 8 個百分點,因此兩點的改進看起來像是噪音
- 大約是正負0.1個百分點
- 它恰好為零
- 大約是正負50個百分點
- 回歸切片的目的是什麼?
- 自動刪除過時的案例
- 加快模型的反應速度
- 將過去的故障保留在集合中,以便修復經過測試
- 根據模型本身的錯誤來訓練模型
- 在信任法學碩士法官對評分標準項目進行評分之前,您應該做什麼?
- 讓法官的溫度升高
- 刪除標題,以便法官可以自由決定
- 用一個案例來考驗法官
- 讓人們給樣本貼上標籤並測量法官同意他們的頻率
- 為什麼要保留資料集的保留部分而不進行調整?
- 避免過度擬合測試集的提示
- 以節省儲存空間
- 因為法規要求
- 減少延遲
- 為什麼在比較兩個版本時,相同案例的配對比較很有用?
- 他們不再需要任何評分者
- 與比較獨立樣本相比,他們通常需要較少的例子
- 他們消除了模型輸出中的所有不確定性
- 他們保證滿分