Gids-gekoppelde quiz · Middelmatig Niveau

Instructie Tuning Quiz

Bekijk de begeleide instructie-responstraining, optionele voorkeurstrappen, taakdiversiteit, het LIMA-experiment en evaluatie van nieuwe instructies.

Gerelateerde gidspadenInstructie afstemmen
Vraag 1 van 8

Hoe zou een onbewerkt basismodel zonder afstemming van instructies kunnen reageren op de vraag 'Wat is de hoofdstad van Frankrijk?'

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Hoe zou een onbewerkt basismodel zonder afstemming van instructies kunnen reageren op de vraag 'Wat is de hoofdstad van Frankrijk?'
    • Het weigert altijd te antwoorden
    • Er wordt een fout geretourneerd
    • Het kan doorgaan met meer vragen of gerelateerde tekst in plaats van antwoorden
    • Het antwoordt elke keer perfect
  2. Instructieafstemming kan het beste worden omschreven als:
    • Versterk het leren van menselijke feedback
    • Voortraining op ruwe webtekst
    • De temperatuurparameter aanpassen
    • Begeleiding van de fijnafstemming van instructie-en-antwoordparen
  3. How does supervised instruction tuning differ from reward-model-based RLHF in the published InstructGPT recipe?
    • It is exactly the same optimization stage
    • It trains against reference responses, while the later preference stages use comparisons and a reward model
    • It requires no training examples
    • It only changes a sampling temperature
  4. Why do instruction-tuning researchers evaluate models on held-out tasks and instructions?
    • To assess generalization beyond the examples used for training
    • To prove that every unseen task will succeed
    • To avoid checking any generated responses
    • To guarantee the same accuracy for every task mixture
  5. Wat is de typische volgorde van de trainingsfasen voor een moderne chatassistent?
    • RLHF, dan voortraining en dan instructieafstemming
    • Instructie afstemmen, daarna voortraining
    • Alleen voortraining, verder niets
    • Voortraining, daarna instructie-afstemming, daarna optionele RLHF
  6. What does LIMA's curated-data experiment support as a research conclusion?
    • Exactly 1,000 examples are enough for every model and task
    • More data can never help any instruction-tuned model
    • Carefully selected small datasets can be effective in an evaluated configuration
    • Only synthetic examples can train an assistant
  7. Which training stage did the original LIMA experiment omit while using its 1,000 curated prompt-response pairs?
    • Reinforcement learning and human preference modeling
    • Supervised response loss
    • A pretrained base model
    • Prompt-response examples
  8. A tuned model follows the requested answer format. What does that behavior alone fail to establish?
    • That an output format was requested
    • That every factual statement in the answer is correct
    • That the model produced a response
    • That the response can be inspected