Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Câu đố đánh giá tác nhân AI

Kiểm tra cách nhân viên đánh giá ghi điểm thành công trong nhiệm vụ, quỹ đạo và cách sử dụng công cụ, lý do tại sao việc chấm điểm dựa trên môi trường và các lần thử lặp lại lại quan trọng cũng như sự đánh đổi của người chấm điểm.

Đường dẫn hướng dẫn liên quanĐánh giá các tác nhân AI
Câu hỏi 1 của 8

Tại sao việc kiểm tra một câu trả lời cuối cùng thường không đủ đối với các đại lý?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Tại sao việc kiểm tra một câu trả lời cuối cùng thường không đủ đối với các đại lý?
    • Đại lý không bao giờ đưa ra câu trả lời
    • Các tác nhân hành động qua nhiều bước và gây ra tác dụng phụ, vì vậy đường đi và trạng thái cuối cùng rất quan trọng.
    • Câu trả lời luôn đúng
    • Không thể viết câu trả lời tham khảo cho nhiệm vụ của tổng đài viên
  2. SWE-bench đánh giá liệu một nhân viên có giải quyết được vấn đề hay không?
    • Bằng cách chạy thử nghiệm kho lưu trữ sau bản vá của tác nhân
    • Bằng cách đếm dòng thay đổi
    • Bằng cách hỏi đại lý xem nó có thành công không
    • Bằng cách đo tốc độ phản hồi
  3. Số liệu kiểu pass^k đo lường điều gì?
    • Tốc độ trên k công cụ
    • Thành công ít nhất một trong k lần thử
    • Liệu tác nhân có thành công trong mỗi k lần thử lặp lại hay không
    • Số lượng token mỗi bước
  4. Yếu tố nào sẽ gắn cờ một nhân viên thành công nhưng phải thực hiện 50 bước cho một công việc gồm 5 bước?
    • Nhiệm vụ thành công
    • An toàn
    • Đặt tên công cụ
    • Chất lượng quỹ đạo
  5. Điểm yếu được biết đến của hệ thống chấm điểm dựa trên mô hình là gì?
    • Họ không thể đọc văn bản
    • Họ có thể thiên vị, chẳng hạn như đối với những câu trả lời dài hoặc tự tin, vì vậy họ cần kiểm tra các nhãn hiệu của con người
    • Chúng luôn chậm hơn con người
    • Chúng chỉ hoạt động trên hình ảnh
  6. Tại sao phải đặt lại môi trường về trạng thái đã biết trước mỗi lần chạy?
    • Vì vậy, kết quả có thể lặp lại và các lần chạy không thể ảnh hưởng lẫn nhau
    • Để tiết kiệm dung lượng ổ đĩa
    • Bởi vì các đại lý yêu cầu nó bắt đầu
    • Để làm cho nhiệm vụ khó khăn hơn
  7. Tại sao điểm số trên bảng xếp hạng công khai có thể đánh lừa một đội?
    • Chúng luôn bị làm giả
    • Bảng xếp hạng không bao giờ công bố số
    • Điểm chuẩn có thể rò rỉ vào dữ liệu đào tạo, bão hòa hoặc không phù hợp với khối lượng công việc của bạn
    • Họ chỉ đo lường chi phí
  8. Đánh giá an toàn nên xử lý như thế nào một lần chạy trong đó tác nhân đã hoàn thành nhiệm vụ nhưng tuân theo hướng dẫn đã được cài đặt để rò rỉ dữ liệu?
    • Như một sự thành công trọn vẹn
    • Là một thành công một phần có giá trị một nửa tín chỉ
    • Nó nên được bỏ qua
    • Như một sự thất bại