แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

การเรียนรู้การเสริมแรงจากแบบทดสอบคำติชมของมนุษย์

ฝึกใช้ข้อมูลการตั้งค่า RLHF การให้รางวัลผู้รับมอบฉันทะ และการทำให้การอ้างอิงเป็นมาตรฐาน รวมถึงเหตุใดการตัดสินที่เหมาะสมจึงไม่รับประกันความถูกต้องของข้อเท็จจริง

คำถาม 1 ของ 8

จุดประสงค์หลักของ RLHF สำหรับโมเดลภาษาคืออะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. จุดประสงค์หลักของ RLHF สำหรับโมเดลภาษาคืออะไร?
    • เพื่อปรับผลลัพธ์ให้สอดคล้องกับความชอบของมนุษย์ในด้านความช่วยเหลือและความปลอดภัย
    • เพื่อเพิ่มจำนวนพารามิเตอร์ของโมเดล
    • เพื่อบีบอัดโมเดลเพื่อการอนุมานที่รวดเร็วยิ่งขึ้น
    • เพื่อแปลโมเดลเป็นภาษาอื่น
  2. โมเดลการให้รางวัลใน RLHF เรียนรู้ที่ต้องทำจริง ๆ อย่างไร
    • สร้างการตอบกลับขั้นสุดท้ายให้กับผู้ใช้
    • แปลข้อความแจ้งเป็นสกุลเงินรางวัล
    • กำหนดคะแนนสเกลาร์เพื่อสะท้อนให้เห็นว่ามนุษย์ต้องการคำตอบที่ได้รับมากเพียงใด
    • ตัดสินใจเลือกอัตราการเรียนรู้ของแบบจำลอง
  3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
    • Every factual error with a complete correctness guarantee
    • How far the optimized policy departs from the reference
    • The tokenizer vocabulary’s spelling
    • The number of human annotators automatically
  4. โดยทั่วไปแล้วข้อมูลการตั้งค่าสำหรับโมเดลรางวัลจะถูกรวบรวมอย่างไร
    • มนุษย์เขียนคำตอบใหม่ๆ ตั้งแต่เริ่มต้น
    • โมเดลให้คะแนนความมั่นใจในตัวเอง
    • ป้ายกำกับแบบสุ่มจะถูกกำหนดโดยอัตโนมัติ
    • มนุษย์เปรียบเทียบการตอบสนองของแบบจำลองสองแบบกับข้อความเดียวกันและเลือกคำตอบที่ดีกว่า
  5. DPO (Direct Preference Optimization) มีข้อได้เปรียบเหนือไปป์ไลน์ RLHF แบบคลาสสิกอย่างไร
    • มันไม่จำเป็นต้องมีข้อมูลเลย
    • รับประกันว่ารุ่นจะไม่ผิดพลาด
    • ปรับนโยบายให้เหมาะสมโดยตรงจากคู่การตั้งค่า โดยข้ามรูปแบบรางวัลที่แยกจากกันและลูป PPO
    • ช่วยลดความจำเป็นในการฝึกล่วงหน้า
  6. ใน RLAIF และ Constitutional AI ผลตอบรับส่วนใหญ่มาจากไหน
    • จากโมเดล AI ที่สร้างหรือวิจารณ์การตอบสนอง ลดการติดฉลากโดยมนุษย์
    • จากผู้อธิบายประกอบที่เป็นมนุษย์ที่ได้รับค่าตอบแทนเท่านั้น
    • จากเครื่องกำเนิดตัวเลขสุ่ม
    • จากคลังข้อมูลการฝึกล่วงหน้าของโมเดลโดยตรง
  7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
    • High reward proves the claim is true
    • The response must have been generated without tokens
    • The reference model’s vocabulary disappeared
    • A preference-based reward is a proxy and can be mistaken
  8. Why should an RLHF team examine whose preference comparisons were collected?
    • Annotator identity determines the GPU clock rate
    • The judgments and task distribution shape what the model is rewarded for
    • Every population has identical response preferences
    • Preference data affect only file compression