Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Bài kiểm tra giàn giáo và dây nịt
Kiểm tra vòng lặp tác nhân và điều phối công cụ, quy tắc dừng và xử lý lỗi cũng như lý do tại sao cùng một mô hình lại đạt điểm khác nhau trên các bộ khai thác.
Câu hỏi 1 của 8
Khai thác đại lý là gì?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Khai thác đại lý là gì?
- The model's neural network weights
- The code around a model that runs the loop, executes tools and decides when to stop
- A dataset for training agents
- Một loại GPU
- Đâu là ví dụ về quy tắc dừng?
- Using a larger model
- A maximum number of steps or a cost budget
- Adding more tools
- Changing the font of outputs
- Dự án đại lý SWE đã nhấn mạnh điều gì?
- That models need no tools
- An agent-computer interface designed for models, with concise viewers and immediate feedback
- That bigger GPUs solve all agent problems
- Removing the loop entirely
- Tại sao cùng một mô hình có thể đạt điểm khác nhau trên băng ghế dự bị SWE trong các báo cáo khác nhau?
- The benchmark changes every hour
- Scores reflect the model plus harness, tools, step limits and retry policy
- Models forget their training between runs
- Scores are randomly assigned
- Dây nịt thường xử lý cuộc gọi công cụ không thành công như thế nào?
- Crash the entire run immediately
- Return the error to the model as a tool result it can react to
- Silently ignore it
- Restart the computer
- What is the purpose of capping tool output size and marking truncation?
- To hide information from users
- To keep context manageable and let the model know to search or page for more
- To make tools run faster on the GPU
- To prevent the model from using tools
- When fairly comparing two models as agents, what should you hold constant?
- Only the model's name
- The harness, prompt, tools, step limit and retry policy
- Nothing; vary everything
- The date of the test only
- A harness pauses before large refund tool calls for human approval. What design principle does this show?
- Context compaction
- Gating side-effecting tools with permissions or confirmation
- Parallel function calling
- Embedding fine-tuning