Kvíz spojený s průvodcem · Střední úroveň

Instrukce Tuning Quiz

Projděte si školení reakce na instrukce pod dohledem, volitelné fáze preferencí, rozmanitost úkolů, experiment LIMA a vyhodnocení nových pokynů.

Související vodicí cestyLadění instrukcí
Otázka 1 z 8

Jak by mohl surový základní model reagovat bez ladění instrukcí na výzvu „Jaké je hlavní město Francie?“

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jak by mohl surový základní model reagovat bez ladění instrukcí na výzvu „Jaké je hlavní město Francie?“
    • Vždy odmítne odpovědět
    • Vrací chybu
    • Místo odpovědí může pokračovat dalšími otázkami nebo souvisejícím textem
    • Pokaždé perfektně odpovídá
  2. Ladění instrukcí lze nejlépe popsat takto:
    • Posílení učení z lidské zpětné vazby
    • Předškolení na nezpracovaný webový text
    • Úprava parametru teploty
    • Jemné ladění pod dohledem na párech instrukce a odezvy
  3. How does supervised instruction tuning differ from reward-model-based RLHF in the published InstructGPT recipe?
    • It is exactly the same optimization stage
    • It trains against reference responses, while the later preference stages use comparisons and a reward model
    • It requires no training examples
    • It only changes a sampling temperature
  4. Why do instruction-tuning researchers evaluate models on held-out tasks and instructions?
    • To assess generalization beyond the examples used for training
    • To prove that every unseen task will succeed
    • To avoid checking any generated responses
    • To guarantee the same accuracy for every task mixture
  5. Jaké je typické pořadí tréninkových fází pro moderního chatovacího asistenta?
    • RLHF, pak předtrénink, pak ladění instrukcí
    • Ladění instrukcí, poté předtrénink
    • Pouze předtrénink, nic jiného
    • Předtrénink, poté ladění instrukcí, pak volitelné RLHF
  6. What does LIMA's curated-data experiment support as a research conclusion?
    • Exactly 1,000 examples are enough for every model and task
    • More data can never help any instruction-tuned model
    • Carefully selected small datasets can be effective in an evaluated configuration
    • Only synthetic examples can train an assistant
  7. Which training stage did the original LIMA experiment omit while using its 1,000 curated prompt-response pairs?
    • Reinforcement learning and human preference modeling
    • Supervised response loss
    • A pretrained base model
    • Prompt-response examples
  8. A tuned model follows the requested answer format. What does that behavior alone fail to establish?
    • That an output format was requested
    • That every factual statement in the answer is correct
    • That the model produced a response
    • That the response can be inspected