Quiz collegato alla guida · Medio Livello
Quiz di ottimizzazione delle istruzioni
Esaminare la formazione istruzione-risposta supervisionata, le fasi di preferenza facoltative, la diversità dei compiti, l'esperimento LIMA e la valutazione di nuove istruzioni.
Domanda 1 di 8
Senza l'ottimizzazione delle istruzioni, come potrebbe rispondere un modello base grezzo alla domanda "Qual è la capitale della Francia?"
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Senza l'ottimizzazione delle istruzioni, come potrebbe rispondere un modello base grezzo alla domanda "Qual è la capitale della Francia?"
- Si rifiuta sempre di rispondere
- Restituisce un errore
- Potrebbe continuare con più domande o testo correlato invece di rispondere
- Risponde perfettamente ogni volta
- L'ottimizzazione delle istruzioni è meglio descritta come:
- Apprendimento per rinforzo dal feedback umano
- Preformazione sul testo web grezzo
- Regolazione del parametro di temperatura
- Messa a punto supervisionata delle coppie istruzione-risposta
- How does supervised instruction tuning differ from reward-model-based RLHF in the published InstructGPT recipe?
- It is exactly the same optimization stage
- It trains against reference responses, while the later preference stages use comparisons and a reward model
- It requires no training examples
- It only changes a sampling temperature
- Why do instruction-tuning researchers evaluate models on held-out tasks and instructions?
- To assess generalization beyond the examples used for training
- To prove that every unseen task will succeed
- To avoid checking any generated responses
- To guarantee the same accuracy for every task mixture
- Qual è l'ordine tipico delle fasi formative per un moderno assistente di chat?
- RLHF, quindi pre-addestramento, quindi ottimizzazione delle istruzioni
- Messa a punto delle istruzioni, quindi pre-allenamento
- Solo pre-allenamento, nient'altro
- Pre-addestramento, quindi ottimizzazione delle istruzioni, quindi RLHF opzionale
- What does LIMA's curated-data experiment support as a research conclusion?
- Exactly 1,000 examples are enough for every model and task
- More data can never help any instruction-tuned model
- Carefully selected small datasets can be effective in an evaluated configuration
- Only synthetic examples can train an assistant
- Which training stage did the original LIMA experiment omit while using its 1,000 curated prompt-response pairs?
- Reinforcement learning and human preference modeling
- Supervised response loss
- A pretrained base model
- Prompt-response examples
- A tuned model follows the requested answer format. What does that behavior alone fail to establish?
- That an output format was requested
- That every factual statement in the answer is correct
- That the model produced a response
- That the response can be inspected