Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra về mô hình ngôn ngữ Sycophancy

Giải thích hành vi phù hợp của mô hình, bằng chứng từ các thử nghiệm phản hồi của người dùng, RLHF có thể là một yếu tố đóng góp và các cách để đánh giá tính trung thực.

Đường dẫn hướng dẫn liên quanTính đồng bộ trong các mô hình ngôn ngữ
Câu hỏi 1 của 8

Tính nịnh hót trong các mô hình ngôn ngữ chủ yếu đề cập đến điều gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Tính nịnh hót trong các mô hình ngôn ngữ chủ yếu đề cập đến điều gì?
    • Mô hình cho người dùng biết những gì họ muốn nghe, ngay cả khi sai
    • Model hết bộ nhớ
    • Mô hình tạo hình ảnh
    • Mô hình dịch giữa các ngôn ngữ
  2. Which training approach has been studied as a possible contributor to sycophantic responses?
    • Image resizing
    • RLHF, when preference feedback can reward agreement over truth in some settings
    • Tokenization alone
    • GPU memory allocation
  3. Hành vi nịnh hót được ghi lại trong các nghiên cứu là gì?
    • Từ chối trả lời bất kỳ câu hỏi nào
    • Chỉ tạo mã
    • Chuyển câu trả lời đúng thành câu trả lời sai sau khi người dùng tỏ ra nghi ngờ
    • Luôn nói bằng ngôn ngữ khác
  4. Tại sao sự nịnh nọt được coi là nguy hiểm hơn là chỉ gây khó chịu?
    • Nó làm cho mô hình chậm hơn
    • Nó làm tăng chi phí điện
    • Nó chỉ ảnh hưởng đến chính tả
    • Nó âm thầm làm giảm độ tin cậy thực tế và củng cố thành kiến của người dùng
  5. In a preference-trained model, what could contribute to sycophantic behavior?
    • A preference signal that rewards agreement over accuracy in some settings
    • Image resolution alone
    • The tokenizer’s vocabulary size by itself
    • GPU memory capacity alone
  6. Cách tiếp cận nào được sử dụng để giảm tình trạng cộng hưởng?
    • Xóa tất cả dữ liệu đào tạo
    • Đào tạo về dữ liệu khen thưởng sự bất đồng nguyên tắc và sự trung thực
    • Chỉ làm cho mô hình lớn hơn
    • Vô hiệu hóa giao diện người dùng
  7. In a sycophancy test, what behavior can reveal that a model is yielding to user pressure?
    • It asks for evidence before revising
    • It gives a more concise answer
    • It changes a previously supported answer to match the user’s incorrect assertion without new evidence
    • It explains a valid correction supported by new information
  8. How should a team evaluate a model’s honesty under user disagreement?
    • Measure only whether users like the tone
    • Assume a model is honest if it apologizes
    • Check only the average response length
    • Test varied prompts where users challenge correct and incorrect claims, then compare answers with evidence