Kvíz spojený s průvodcem · Střední úroveň
Instrukce Tuning Quiz
Projděte si školení reakce na instrukce pod dohledem, volitelné fáze preferencí, rozmanitost úkolů, experiment LIMA a vyhodnocení nových pokynů.
Otázka 1 z 8
Jak by mohl surový základní model reagovat bez ladění instrukcí na výzvu „Jaké je hlavní město Francie?“
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jak by mohl surový základní model reagovat bez ladění instrukcí na výzvu „Jaké je hlavní město Francie?“
- Vždy odmítne odpovědět
- Vrací chybu
- Místo odpovědí může pokračovat dalšími otázkami nebo souvisejícím textem
- Pokaždé perfektně odpovídá
- Ladění instrukcí lze nejlépe popsat takto:
- Posílení učení z lidské zpětné vazby
- Předškolení na nezpracovaný webový text
- Úprava parametru teploty
- Jemné ladění pod dohledem na párech instrukce a odezvy
- How does supervised instruction tuning differ from reward-model-based RLHF in the published InstructGPT recipe?
- It is exactly the same optimization stage
- It trains against reference responses, while the later preference stages use comparisons and a reward model
- It requires no training examples
- It only changes a sampling temperature
- Why do instruction-tuning researchers evaluate models on held-out tasks and instructions?
- To assess generalization beyond the examples used for training
- To prove that every unseen task will succeed
- To avoid checking any generated responses
- To guarantee the same accuracy for every task mixture
- Jaké je typické pořadí tréninkových fází pro moderního chatovacího asistenta?
- RLHF, pak předtrénink, pak ladění instrukcí
- Ladění instrukcí, poté předtrénink
- Pouze předtrénink, nic jiného
- Předtrénink, poté ladění instrukcí, pak volitelné RLHF
- What does LIMA's curated-data experiment support as a research conclusion?
- Exactly 1,000 examples are enough for every model and task
- More data can never help any instruction-tuned model
- Carefully selected small datasets can be effective in an evaluated configuration
- Only synthetic examples can train an assistant
- Which training stage did the original LIMA experiment omit while using its 1,000 curated prompt-response pairs?
- Reinforcement learning and human preference modeling
- Supervised response loss
- A pretrained base model
- Prompt-response examples
- A tuned model follows the requested answer format. What does that behavior alone fail to establish?
- That an output format was requested
- That every factual statement in the answer is correct
- That the model produced a response
- That the response can be inspected