แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการปรับแต่งคำสั่ง
ทบทวนการฝึกอบรมการตอบสนองต่อคำสั่งภายใต้การดูแล ขั้นตอนการตั้งค่าเพิ่มเติม ความหลากหลายของงาน การทดลอง LIMA และการประเมินคำสั่งใหม่
คำถาม 1 ของ 8
หากไม่มีการปรับแต่งคำสั่ง โมเดลพื้นฐานแบบดิบจะตอบสนองต่อข้อความแจ้งว่า 'เมืองหลวงของฝรั่งเศสคืออะไร' ได้อย่างไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- หากไม่มีการปรับแต่งคำสั่ง โมเดลพื้นฐานแบบดิบจะตอบสนองต่อข้อความแจ้งว่า 'เมืองหลวงของฝรั่งเศสคืออะไร' ได้อย่างไร
- มันมักจะปฏิเสธที่จะตอบ
- มันส่งคืนข้อผิดพลาด
- อาจถามคำถามหรือข้อความที่เกี่ยวข้องเพิ่มเติมแทนการตอบ
- มันตอบได้ลงตัวทุกครั้ง
- การปรับแต่งคำสั่งอธิบายได้ดีที่สุดดังนี้:
- การเรียนรู้การเสริมกำลังจากผลตอบรับของมนุษย์
- การฝึกอบรมเกี่ยวกับข้อความเว็บดิบ
- การปรับพารามิเตอร์อุณหภูมิ
- มีการควบคุมดูแลการปรับแต่งคู่คำสั่งและการตอบกลับอย่างละเอียด
- How does supervised instruction tuning differ from reward-model-based RLHF in the published InstructGPT recipe?
- It is exactly the same optimization stage
- It trains against reference responses, while the later preference stages use comparisons and a reward model
- It requires no training examples
- It only changes a sampling temperature
- Why do instruction-tuning researchers evaluate models on held-out tasks and instructions?
- To assess generalization beyond the examples used for training
- To prove that every unseen task will succeed
- To avoid checking any generated responses
- To guarantee the same accuracy for every task mixture
- ลำดับขั้นตอนการฝึกอบรมโดยทั่วไปสำหรับผู้ช่วยแชทยุคใหม่คืออะไร?
- RLHF จากนั้นจึงฝึกล่วงหน้า จากนั้นจึงปรับคำสั่ง
- การปรับคำสั่งแล้วจึงฝึกล่วงหน้า
- เป็นเพียงการฝึกฝนเท่านั้น ไม่มีอะไรอื่นอีก
- การฝึกล่วงหน้า จากนั้น การปรับคำสั่ง จากนั้น RLHF เสริม
- What does LIMA's curated-data experiment support as a research conclusion?
- Exactly 1,000 examples are enough for every model and task
- More data can never help any instruction-tuned model
- Carefully selected small datasets can be effective in an evaluated configuration
- Only synthetic examples can train an assistant
- Which training stage did the original LIMA experiment omit while using its 1,000 curated prompt-response pairs?
- Reinforcement learning and human preference modeling
- Supervised response loss
- A pretrained base model
- Prompt-response examples
- A tuned model follows the requested answer format. What does that behavior alone fail to establish?
- That an output format was requested
- That every factual statement in the answer is correct
- That the model produced a response
- That the response can be inspected