แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการฝึกอบรมล่วงหน้าและการปรับแต่งแบบต่อเนื่อง

ทดสอบข้อมูลและความแตกต่างของวัตถุประสงค์ระหว่างการฝึกล่วงหน้าอย่างต่อเนื่องและการปรับแต่งอย่างละเอียด การลืมและการเล่นซ้ำที่เป็นหายนะ และเมื่อการดึงกลับเหมาะสมกว่า

คำถาม 1 ของ 8

อะไรคือความแตกต่างระหว่างข้อมูลหลักระหว่างการฝึกล่วงหน้าอย่างต่อเนื่องและการปรับแต่งแบบละเอียดภายใต้การดูแล?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. อะไรคือความแตกต่างระหว่างข้อมูลหลักระหว่างการฝึกล่วงหน้าอย่างต่อเนื่องและการปรับแต่งแบบละเอียดภายใต้การดูแล?
    • Both use only labeled question and answer pairs
    • Continued pretraining uses raw domain text; fine-tuning uses curated labeled examples
    • Fine-tuning uses more data than continued pretraining
    • Continued pretraining uses only images
  2. ในการปรับแต่งแบบละเอียดภายใต้การดูแล โดยปกติแล้วการสูญเสียจะคำนวณที่ไหน?
    • On every token including the prompt
    • Only on the prompt tokens
    • On randomly chosen tokens
    • Only on the response tokens
  3. การเล่นซ้ำในการฝึกล่วงหน้าอย่างต่อเนื่องคืออะไร?
    • Mixing some general data into training to limit forgetting
    • Running the same batch twice
    • Restarting training from scratch
    • Replaying user conversations at inference time
  4. รหัส Llama ถูกสร้างขึ้นมาอย่างไร
    • From scratch on code only
    • By prompt engineering Llama 2
    • By continuing to train Llama 2 on a large code corpus
    • By fine-tuning on a few hundred coding questions
  5. สำหรับข้อเท็จจริงที่เปลี่ยนแปลงบ่อยครั้ง คู่มือแนะนำว่าแนวทางใดมักจะดีกว่าการปรับแต่งอย่างละเอียด
    • Continued pretraining every day
    • Retrieval of up-to-date documents
    • Raising the sampling temperature
    • Training a larger tokenizer
  6. Which statement about BloombergGPT is correct according to the guide?
    • It was continued pretraining of Llama 2
    • It was created only with LoRA
    • It was a prompt-engineered GPT-3
    • It was trained from scratch on financial and general data
  7. What did the 2020 paper Don't Stop Pretraining show?
    • A second phase of pretraining on in-domain text improved RoBERTa on domain tasks
    • Pretraining should always stop after one epoch
    • Fine-tuning is useless for classification
    • Domain text harms every model
  8. Why re-warm the learning rate at the start of continued pretraining?
    • To reset the tokenizer
    • To freeze the base weights
    • Resuming at a high rate destabilizes training while too low a rate learns little
    • To skip the need for domain data