引導式測驗 · 中等 等級
Berkeley Function Calling Leaderboard 測驗
按版本和任務類別解讀 BFCL,並區分基準工具呼叫準確度與完整應用程式可靠性。
問題 1 的 8
Berkeley Function Calling Leaderboard 主要評估什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- Berkeley Function Calling Leaderboard 主要評估什麼?
- 模型在基準任務上呼叫函數或工具的準確程度
- 所有使用者任務的一般語言品質
- 資料庫正常運行時間
- 每個最終回應的事實品質
- 目前的 BFCL V4 頁面列出了哪些更廣泛的類別?
- 僅拼字校正
- 僅影像分類
- 單輪、多輪和代理評估類別
- 僅人工客服調查
- BFCL 論文最初的群眾外包資料組包含什麼?
- 64,517 個部署的生產代理
- 在特定期間內收集的 64,517 個真實單輪使用者查詢
- 一百萬個多輪對話
- 僅合成工具結構描述
- 為什麼模型分數應與 BFCL 版本一起回報?
- 版本永不改變
- 模型分數編碼了每個應用程式設定
- 版本號碼僅為裝飾性
- 基準類別與方法論可能在不同版本間變更
- 強勁的 BFCL 表現是否證明代理在實際運作中可靠?
- 不;工具權限、API、狀態、錯誤與應用程式邏輯會帶來其他失敗模式
- 是,因為所有工具使用相同的 schema
- 是,若它排名第一
- 不,因為工具呼叫無法被基準測試
- AST 風格評分幫助評估什麼?
- 雲端伺服器是否在線
- 長篇論文聽起來多有幫助
- 使用者是否喜歡介面
- 結構化函式呼叫是否符合預期結構或參數
- 哪個部署測試能補充 BFCL?
- 僅檢查模型的訓練損失
- 比較排行榜標誌
- 測試應用程式自身的 schema、工具失敗、權限與副作用
- 移除所有驗證
- 比較兩個排行榜結果時應檢查什麼?
- 僅排名號碼
- 版本、任務類別、提示設定、模型識別碼與評分方法
- 僅供應商名稱
- 排行榜圖表的顏色