Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra tiếp tục về đào tạo trước và tinh chỉnh

Kiểm tra sự khác biệt về dữ liệu và khách quan giữa việc tiếp tục đào tạo trước và tinh chỉnh, việc quên và phát lại thảm khốc cũng như khi khả năng truy xuất phù hợp hơn.

Đường dẫn hướng dẫn liên quanTiếp tục đào tạo trước và tinh chỉnh
Câu hỏi 1 của 8

Sự khác biệt chính về dữ liệu giữa việc tiếp tục đào tạo trước và tinh chỉnh có giám sát là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Sự khác biệt chính về dữ liệu giữa việc tiếp tục đào tạo trước và tinh chỉnh có giám sát là gì?
    • Both use only labeled question and answer pairs
    • Continued pretraining uses raw domain text; fine-tuning uses curated labeled examples
    • Fine-tuning uses more data than continued pretraining
    • Continued pretraining uses only images
  2. Trong tinh chỉnh có giám sát, tổn thất thường được tính ở đâu?
    • On every token including the prompt
    • Only on the prompt tokens
    • On randomly chosen tokens
    • Only on the response tokens
  3. Phát lại trong quá trình đào tạo trước liên tục là gì?
    • Mixing some general data into training to limit forgetting
    • Running the same batch twice
    • Restarting training from scratch
    • Replaying user conversations at inference time
  4. Code Llama được xây dựng như thế nào?
    • From scratch on code only
    • By prompt engineering Llama 2
    • By continuing to train Llama 2 on a large code corpus
    • By fine-tuning on a few hundred coding questions
  5. Đối với những thông tin thực tế thường xuyên thay đổi, cách tiếp cận nào mà hướng dẫn đề xuất thường tốt hơn việc tinh chỉnh?
    • Continued pretraining every day
    • Retrieval of up-to-date documents
    • Raising the sampling temperature
    • Training a larger tokenizer
  6. Which statement about BloombergGPT is correct according to the guide?
    • It was continued pretraining of Llama 2
    • It was created only with LoRA
    • It was a prompt-engineered GPT-3
    • It was trained from scratch on financial and general data
  7. What did the 2020 paper Don't Stop Pretraining show?
    • A second phase of pretraining on in-domain text improved RoBERTa on domain tasks
    • Pretraining should always stop after one epoch
    • Fine-tuning is useless for classification
    • Domain text harms every model
  8. Why re-warm the learning rate at the start of continued pretraining?
    • To reset the tokenizer
    • To freeze the base weights
    • Resuming at a high rate destabilizes training while too low a rate learns little
    • To skip the need for domain data