引導式測驗 · 中等 等級
特務腳手架和安全帶測驗
測試代理循環和工具調度、停止規則和錯誤處理,以及為什麼同一模型在不同的工具上得分不同。
問題 1 的 8
什麼是代理程式的 harness?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 什麼是代理程式的 harness?
- 模型的神經網路權重
- 圍繞模型運行迴圈、執行工具並決定何時停止的程式碼
- 用於訓練代理的資料集
- GPU 的一種
- 以下哪一項是停止規則的例子?
- 使用較大的模型
- 最大步數或成本預算
- 添加更多工具
- 更改輸出字體
- SWE-agent 專案強調了什麼?
- 模型不需要工具
- 為模型設計的代理‑電腦介面,具備簡潔的檢視器與即時回饋
- 更大的 GPU 能解決所有代理問題
- 完全移除迴圈
- 為什麼同一個模型在不同報告中的 SWE-bench 分數會不同?
- 基準測試每小時都會變動
- 分數反映的是模型加上 harness、工具、步驟限制與重試策略
- 模型在每次執行間會忘記訓練內容
- 分數是隨機分配的
- harness 通常應如何處理失敗的工具呼叫?
- 立即終止整個執行
- 將錯誤作為工具結果回傳給模型,讓其能夠回應
- 靜默忽略它
- 重新啟動電腦
- 限制工具輸出大小並標記截斷的目的為何?
- 隱藏資訊給使用者
- 保持上下文可管理,並讓模型知道需要搜尋或翻頁以取得更多資訊
- 讓工具在 GPU 上執行得更快
- 防止模型使用工具
- 在公平比較兩個模型作為代理時,應該保持哪些條件不變?
- 僅模型名稱
- 框架、提示、工具、步驟上限與重試政策
- 無;全部變動
- 僅測試日期
- 框架在大型退款工具呼叫前暫停,等待人工批准。這顯示了哪項設計原則?
- 上下文壓縮
- 以權限或確認來門控具有副作用的工具
- 平行功能呼叫
- 嵌入微調