Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Utasítás Tuning Quiz

Review supervised instruction-response training, optional preference stages, task diversity, the LIMA experiment, and evaluation of new instructions.

Kapcsolódó útmutató utakUtasítás hangolás
kérdés 1 -ból 8

Utasítások hangolása nélkül hogyan reagálna egy nyers alapmodell a „Mi Franciaország fővárosa?” kérdésre.

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Utasítások hangolása nélkül hogyan reagálna egy nyers alapmodell a „Mi Franciaország fővárosa?” kérdésre.
    • Mindig nem hajlandó válaszolni
    • Hibát ad vissza
    • Válasz helyett további kérdésekkel vagy kapcsolódó szövegekkel folytatódhat
    • Minden alkalommal tökéletesen válaszol
  2. Az utasítások hangolása leginkább a következőképpen írható le:
    • Az emberi visszajelzésekből való tanulás megerősítése
    • Előképzés a nyers webszövegről
    • A hőmérsékleti paraméter beállítása
    • Felügyelt finomhangolás az utasítás-válasz párokon
  3. How does supervised instruction tuning differ from reward-model-based RLHF in the published InstructGPT recipe?
    • It is exactly the same optimization stage
    • It trains against reference responses, while the later preference stages use comparisons and a reward model
    • It requires no training examples
    • It only changes a sampling temperature
  4. Why do instruction-tuning researchers evaluate models on held-out tasks and instructions?
    • To assess generalization beyond the examples used for training
    • To prove that every unseen task will succeed
    • To avoid checking any generated responses
    • To guarantee the same accuracy for every task mixture
  5. Mi a tipikus képzési szakaszok sorrendje egy modern chat-asszisztens számára?
    • RLHF, majd előképzés, majd utasításhangolás
    • Utasítás hangolás, majd előképzés
    • Csak előképzés, semmi más
    • Előképzés, majd utasításhangolás, majd opcionális RLHF
  6. What does LIMA's curated-data experiment support as a research conclusion?
    • Exactly 1,000 examples are enough for every model and task
    • More data can never help any instruction-tuned model
    • Carefully selected small datasets can be effective in an evaluated configuration
    • Only synthetic examples can train an assistant
  7. Which training stage did the original LIMA experiment omit while using its 1,000 curated prompt-response pairs?
    • Reinforcement learning and human preference modeling
    • Supervised response loss
    • A pretrained base model
    • Prompt-response examples
  8. A tuned model follows the requested answer format. What does that behavior alone fail to establish?
    • That an output format was requested
    • That every factual statement in the answer is correct
    • That the model produced a response
    • That the response can be inspected