แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการฝึกอบรมล่วงหน้าและการปรับแต่งแบบต่อเนื่อง
ทดสอบข้อมูลและความแตกต่างของวัตถุประสงค์ระหว่างการฝึกล่วงหน้าอย่างต่อเนื่องและการปรับแต่งอย่างละเอียด การลืมและการเล่นซ้ำที่เป็นหายนะ และเมื่อการดึงกลับเหมาะสมกว่า
คำถาม 1 ของ 8
อะไรคือความแตกต่างระหว่างข้อมูลหลักระหว่างการฝึกล่วงหน้าอย่างต่อเนื่องและการปรับแต่งแบบละเอียดภายใต้การดูแล?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- อะไรคือความแตกต่างระหว่างข้อมูลหลักระหว่างการฝึกล่วงหน้าอย่างต่อเนื่องและการปรับแต่งแบบละเอียดภายใต้การดูแล?
- Both use only labeled question and answer pairs
- Continued pretraining uses raw domain text; fine-tuning uses curated labeled examples
- Fine-tuning uses more data than continued pretraining
- Continued pretraining uses only images
- ในการปรับแต่งแบบละเอียดภายใต้การดูแล โดยปกติแล้วการสูญเสียจะคำนวณที่ไหน?
- On every token including the prompt
- Only on the prompt tokens
- On randomly chosen tokens
- Only on the response tokens
- การเล่นซ้ำในการฝึกล่วงหน้าอย่างต่อเนื่องคืออะไร?
- Mixing some general data into training to limit forgetting
- Running the same batch twice
- Restarting training from scratch
- Replaying user conversations at inference time
- รหัส Llama ถูกสร้างขึ้นมาอย่างไร
- From scratch on code only
- By prompt engineering Llama 2
- By continuing to train Llama 2 on a large code corpus
- By fine-tuning on a few hundred coding questions
- สำหรับข้อเท็จจริงที่เปลี่ยนแปลงบ่อยครั้ง คู่มือแนะนำว่าแนวทางใดมักจะดีกว่าการปรับแต่งอย่างละเอียด
- Continued pretraining every day
- Retrieval of up-to-date documents
- Raising the sampling temperature
- Training a larger tokenizer
- Which statement about BloombergGPT is correct according to the guide?
- It was continued pretraining of Llama 2
- It was created only with LoRA
- It was a prompt-engineered GPT-3
- It was trained from scratch on financial and general data
- What did the 2020 paper Don't Stop Pretraining show?
- A second phase of pretraining on in-domain text improved RoBERTa on domain tasks
- Pretraining should always stop after one epoch
- Fine-tuning is useless for classification
- Domain text harms every model
- Why re-warm the learning rate at the start of continued pretraining?
- To reset the tokenizer
- To freeze the base weights
- Resuming at a high rate destabilizes training while too low a rate learns little
- To skip the need for domain data