引導式測驗 · 中等 等級

特務腳手架和安全帶測驗

測試代理循環和工具調度、停止規則和錯誤處理,以及為什麼同一模型在不同的工具上得分不同。

相關引導路徑代理腳手架和安全帶
問題 1 的 8

什麼是代理程式的 harness?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 什麼是代理程式的 harness?
    • 模型的神經網路權重
    • 圍繞模型運行迴圈、執行工具並決定何時停止的程式碼
    • 用於訓練代理的資料集
    • GPU 的一種
  2. 以下哪一項是停止規則的例子?
    • 使用較大的模型
    • 最大步數或成本預算
    • 添加更多工具
    • 更改輸出字體
  3. SWE-agent 專案強調了什麼?
    • 模型不需要工具
    • 為模型設計的代理‑電腦介面,具備簡潔的檢視器與即時回饋
    • 更大的 GPU 能解決所有代理問題
    • 完全移除迴圈
  4. 為什麼同一個模型在不同報告中的 SWE-bench 分數會不同?
    • 基準測試每小時都會變動
    • 分數反映的是模型加上 harness、工具、步驟限制與重試策略
    • 模型在每次執行間會忘記訓練內容
    • 分數是隨機分配的
  5. harness 通常應如何處理失敗的工具呼叫?
    • 立即終止整個執行
    • 將錯誤作為工具結果回傳給模型,讓其能夠回應
    • 靜默忽略它
    • 重新啟動電腦
  6. 限制工具輸出大小並標記截斷的目的為何?
    • 隱藏資訊給使用者
    • 保持上下文可管理,並讓模型知道需要搜尋或翻頁以取得更多資訊
    • 讓工具在 GPU 上執行得更快
    • 防止模型使用工具
  7. 在公平比較兩個模型作為代理時,應該保持哪些條件不變?
    • 僅模型名稱
    • 框架、提示、工具、步驟上限與重試政策
    • 無;全部變動
    • 僅測試日期
  8. 框架在大型退款工具呼叫前暫停,等待人工批准。這顯示了哪項設計原則?
    • 上下文壓縮
    • 以權限或確認來門控具有副作用的工具
    • 平行功能呼叫
    • 嵌入微調