Questionário vinculado ao guia · Médio Nível

Questionário de ajuste de instrução

Revise o treinamento supervisionado de resposta à instrução, estágios de preferência opcionais, diversidade de tarefas, o experimento LIMA e avaliação de novas instruções.

Caminhos de guia relacionadosAjuste de instrução
Pergunta 1 de 8

Sem ajuste de instrução, como um modelo básico bruto poderia responder à pergunta 'Qual é a capital da França?'

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Sem ajuste de instrução, como um modelo básico bruto poderia responder à pergunta 'Qual é a capital da França?'
    • Ele sempre se recusa a responder
    • Ele retorna um erro
    • Pode continuar com mais perguntas ou texto relacionado em vez de responder
    • Ele responde perfeitamente sempre
  2. O ajuste de instrução é melhor descrito como:
    • Aprendizagem por reforço com feedback humano
    • Pré-treinamento em texto bruto da web
    • Ajustando o parâmetro de temperatura
    • Ajuste fino supervisionado em pares de instrução e resposta
  3. How does supervised instruction tuning differ from reward-model-based RLHF in the published InstructGPT recipe?
    • It is exactly the same optimization stage
    • It trains against reference responses, while the later preference stages use comparisons and a reward model
    • It requires no training examples
    • It only changes a sampling temperature
  4. Why do instruction-tuning researchers evaluate models on held-out tasks and instructions?
    • To assess generalization beyond the examples used for training
    • To prove that every unseen task will succeed
    • To avoid checking any generated responses
    • To guarantee the same accuracy for every task mixture
  5. Qual é a ordem típica das etapas de treinamento de um assistente de chat moderno?
    • RLHF, depois pré-treinamento e depois ajuste de instrução
    • Ajuste de instrução e, em seguida, pré-treinamento
    • Apenas pré-treinamento, nada mais
    • Pré-treinamento, depois ajuste de instrução e RLHF opcional
  6. What does LIMA's curated-data experiment support as a research conclusion?
    • Exactly 1,000 examples are enough for every model and task
    • More data can never help any instruction-tuned model
    • Carefully selected small datasets can be effective in an evaluated configuration
    • Only synthetic examples can train an assistant
  7. Which training stage did the original LIMA experiment omit while using its 1,000 curated prompt-response pairs?
    • Reinforcement learning and human preference modeling
    • Supervised response loss
    • A pretrained base model
    • Prompt-response examples
  8. A tuned model follows the requested answer format. What does that behavior alone fail to establish?
    • That an output format was requested
    • That every factual statement in the answer is correct
    • That the model produced a response
    • That the response can be inspected