Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Utasítás Tuning Quiz
Review supervised instruction-response training, optional preference stages, task diversity, the LIMA experiment, and evaluation of new instructions.
kérdés 1 -ból 8
Utasítások hangolása nélkül hogyan reagálna egy nyers alapmodell a „Mi Franciaország fővárosa?” kérdésre.
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Utasítások hangolása nélkül hogyan reagálna egy nyers alapmodell a „Mi Franciaország fővárosa?” kérdésre.
- Mindig nem hajlandó válaszolni
- Hibát ad vissza
- Válasz helyett további kérdésekkel vagy kapcsolódó szövegekkel folytatódhat
- Minden alkalommal tökéletesen válaszol
- Az utasítások hangolása leginkább a következőképpen írható le:
- Az emberi visszajelzésekből való tanulás megerősítése
- Előképzés a nyers webszövegről
- A hőmérsékleti paraméter beállítása
- Felügyelt finomhangolás az utasítás-válasz párokon
- How does supervised instruction tuning differ from reward-model-based RLHF in the published InstructGPT recipe?
- It is exactly the same optimization stage
- It trains against reference responses, while the later preference stages use comparisons and a reward model
- It requires no training examples
- It only changes a sampling temperature
- Why do instruction-tuning researchers evaluate models on held-out tasks and instructions?
- To assess generalization beyond the examples used for training
- To prove that every unseen task will succeed
- To avoid checking any generated responses
- To guarantee the same accuracy for every task mixture
- Mi a tipikus képzési szakaszok sorrendje egy modern chat-asszisztens számára?
- RLHF, majd előképzés, majd utasításhangolás
- Utasítás hangolás, majd előképzés
- Csak előképzés, semmi más
- Előképzés, majd utasításhangolás, majd opcionális RLHF
- What does LIMA's curated-data experiment support as a research conclusion?
- Exactly 1,000 examples are enough for every model and task
- More data can never help any instruction-tuned model
- Carefully selected small datasets can be effective in an evaluated configuration
- Only synthetic examples can train an assistant
- Which training stage did the original LIMA experiment omit while using its 1,000 curated prompt-response pairs?
- Reinforcement learning and human preference modeling
- Supervised response loss
- A pretrained base model
- Prompt-response examples
- A tuned model follows the requested answer format. What does that behavior alone fail to establish?
- That an output format was requested
- That every factual statement in the answer is correct
- That the model produced a response
- That the response can be inspected