Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Hướng dẫn điều chỉnh bài kiểm tra
Xem lại quá trình đào tạo về phản hồi hướng dẫn có giám sát, các giai đoạn ưu tiên tùy chọn, tính đa dạng của nhiệm vụ, thử nghiệm LIMA và đánh giá các hướng dẫn mới.
Câu hỏi 1 của 8
Nếu không điều chỉnh lệnh, làm thế nào một mô hình cơ sở thô có thể phản ứng với lời nhắc 'Thủ đô của Pháp là gì?'
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Nếu không điều chỉnh lệnh, làm thế nào một mô hình cơ sở thô có thể phản ứng với lời nhắc 'Thủ đô của Pháp là gì?'
- Nó luôn từ chối trả lời
- Nó trả về một lỗi
- Nó có thể tiếp tục với nhiều câu hỏi hoặc văn bản liên quan hơn thay vì trả lời
- Nó trả lời hoàn hảo mọi lúc
- Điều chỉnh hướng dẫn được mô tả tốt nhất là:
- Học tăng cường từ phản hồi của con người
- Huấn luyện trước trên văn bản web thô
- Điều chỉnh thông số nhiệt độ
- Tinh chỉnh được giám sát trên các cặp hướng dẫn và phản hồi
- How does supervised instruction tuning differ from reward-model-based RLHF in the published InstructGPT recipe?
- It is exactly the same optimization stage
- It trains against reference responses, while the later preference stages use comparisons and a reward model
- It requires no training examples
- It only changes a sampling temperature
- Why do instruction-tuning researchers evaluate models on held-out tasks and instructions?
- To assess generalization beyond the examples used for training
- To prove that every unseen task will succeed
- To avoid checking any generated responses
- To guarantee the same accuracy for every task mixture
- Thứ tự điển hình của các giai đoạn đào tạo dành cho trợ lý trò chuyện hiện đại là gì?
- RLHF, sau đó huấn luyện trước, sau đó điều chỉnh hướng dẫn
- Điều chỉnh hướng dẫn, sau đó huấn luyện trước
- Chỉ là đào tạo trước, không có gì khác
- Huấn luyện trước, sau đó điều chỉnh hướng dẫn, sau đó là RLHF tùy chọn
- What does LIMA's curated-data experiment support as a research conclusion?
- Exactly 1,000 examples are enough for every model and task
- More data can never help any instruction-tuned model
- Carefully selected small datasets can be effective in an evaluated configuration
- Only synthetic examples can train an assistant
- Which training stage did the original LIMA experiment omit while using its 1,000 curated prompt-response pairs?
- Reinforcement learning and human preference modeling
- Supervised response loss
- A pretrained base model
- Prompt-response examples
- A tuned model follows the requested answer format. What does that behavior alone fail to establish?
- That an output format was requested
- That every factual statement in the answer is correct
- That the model produced a response
- That the response can be inspected