Bài kiểm tra liên kết AI

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Trong nghiên cứu liên kết, thuật ngữ "hack phần thưởng" mô tả điều gì?
   • Một mô hình từ chối tối ưu hóa phần thưởng của nó vì nhiệm vụ có vẻ có hại
   • Một tác nhân khai thác lỗ hổng trong tín hiệu khen thưởng của nó thay vì thực hiện nhiệm vụ đã định
   • Kẻ tấn công đánh cắp trọng lượng của mô hình phần thưởng để đào tạo lại hệ thống cạnh tranh
   • Nhà phát triển nâng cao giá trị phần thưởng theo cách thủ công để tăng tốc độ hội tụ trong quá trình đào tạo
2. Trong RLHF, vai trò của mô hình khen thưởng là gì?
   • Nó thay thế hoàn toàn người đánh giá bằng cách viết các câu trả lời tham khảo để tinh chỉnh
   • Nó lưu trữ một danh sách cố định các từ bị cấm mà chính sách không bao giờ được phép xuất ra
   • Nó tạo ra văn bản huấn luyện trước mới để mô hình cơ sở có nhiều dữ liệu hơn để học hỏi
   • Nó học hỏi từ sự so sánh sở thích của con người và cho điểm kết quả đầu ra để hướng dẫn chính sách
3. What does goal misspecification mean in the guide?
   • A model behaves differently when it recognizes a test setting
   • The written objective fails to represent what people actually intend
   • An agent finds a shortcut in a proxy metric while optimizing it
   • A model refuses every task after a safety update
4. Which description matches instrumental convergence in the guide?
   • A user changes their prompt after a refusal
   • A system may seek power or resources because they help achieve many possible goals
   • A test set is held out from training
   • A reward model stores written principles
5. Which modern alignment approach is named in the guide?
   • Credit scoring notices
   • Post-market incident reporting
   • Dataset deduplication
   • AI hiến pháp
6. Nghiên cứu "giám sát có thể mở rộng" cố gắng giải quyết điều gì?
   • Cách giảm số lượng tham số trong khi vẫn giữ độ chính xác không đổi
   • Làm thế nào con người có thể giám sát AI trong những nhiệm vụ quá khó để họ có thể đánh giá trực tiếp
   • Cách phục vụ mô hình cho hàng triệu người dùng cùng một lúc mà không làm tăng độ trễ
   • Cách mở rộng quy mô các cụm đào tạo trên nhiều trung tâm dữ liệu một cách hiệu quả
7. Why does preference optimization not prove that a model has adopted human intent as an internal goal?
   • It improves average responses but does not prove stable behavior under shift or pressure
   • It prevents models from using human preference data
   • It guarantees a model will ignore every written instruction
   • It measures only GPU efficiency
8. Why might an alignment evaluation include tests for evaluation awareness?
   • To measure the number of human raters in training
   • To determine whether a reward model has enough parameters
   • To see whether a model changes behavior when it recognizes a test setting
   • To prove that a system is conscious