Gids-gekoppelde quiz · Middelmatig Niveau
Vervolg quiz voor voortraining versus verfijning
Test de gegevens en objectieve verschillen tussen voortgezette voortraining en verfijning, catastrofaal vergeten en opnieuw afspelen, en wanneer het terughalen beter past.
Vraag 1 van 8
Wat is het belangrijkste verschil in gegevens tussen voortgezette vooropleiding en verfijnde afstemming onder toezicht?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het belangrijkste verschil in gegevens tussen voortgezette vooropleiding en verfijnde afstemming onder toezicht?
- Both use only labeled question and answer pairs
- Continued pretraining uses raw domain text; fine-tuning uses curated labeled examples
- Fine-tuning uses more data than continued pretraining
- Continued pretraining uses only images
- Waar wordt bij fijnafstelling onder toezicht gewoonlijk het verlies berekend?
- On every token including the prompt
- Only on the prompt tokens
- On randomly chosen tokens
- Only on the response tokens
- Wat is herhaling bij voortgezette voortraining?
- Mixing some general data into training to limit forgetting
- Running the same batch twice
- Restarting training from scratch
- Replaying user conversations at inference time
- Hoe is code Llama gebouwd?
- From scratch on code only
- By prompt engineering Llama 2
- By continuing to train Llama 2 on a large code corpus
- By fine-tuning on a few hundred coding questions
- Welke aanpak suggereert de gids voor feiten die vaak veranderen, dat deze vaak beter is dan verfijning?
- Continued pretraining every day
- Retrieval of up-to-date documents
- Het verhogen van de bemonsteringstemperatuur
- Training a larger tokenizer
- Which statement about BloombergGPT is correct according to the guide?
- It was continued pretraining of Llama 2
- It was created only with LoRA
- It was a prompt-engineered GPT-3
- It was trained from scratch on financial and general data
- What did the 2020 paper Don't Stop Pretraining show?
- A second phase of pretraining on in-domain text improved RoBERTa on domain tasks
- Pretraining should always stop after one epoch
- Fine-tuning is useless for classification
- Domain text harms every model
- Why re-warm the learning rate at the start of continued pretraining?
- To reset the tokenizer
- To freeze the base weights
- Resuming at a high rate destabilizes training while too low a rate learns little
- To skip the need for domain data