แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
ครูบังคับแบบทดสอบแบบจำลองลำดับ
ตรวจสอบว่าคำนำหน้าความจริงภาคพื้นดินฝึกตัวถอดรหัสลำดับอย่างไร มาสก์เชิงสาเหตุสนับสนุนการฝึกแบบคู่ขนานอย่างไร และเหตุใดการอนุมานจึงแตกต่างกัน
คำถาม 1 ของ 8
ในระหว่างการบังคับครู อะไรจะถูกป้อนเป็นอินพุตในแต่ละขั้นตอนการถอดรหัส
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ในระหว่างการบังคับครู อะไรจะถูกป้อนเป็นอินพุตในแต่ละขั้นตอนการถอดรหัส
- โทเค็นก่อนหน้าที่เป็นความจริง
- การทำนายก่อนหน้าของตัวแบบเอง
- โทเค็นแบบสุ่ม
- โทเค็นเอาต์พุตสุดท้าย
- During teacher-forced training, what target is paired with decoder input y_(t−1)?
- The previous ground-truth token
- The next target token y_t
- A token sampled from the validation set
- The maximum-probability output from an earlier training run
- ความไม่ตรงกันของการทดสอบรถไฟที่เกิดจากการบังคับครูเรียกว่า:
- การไล่ระดับสีที่หายไป
- โหมดล่มสลาย
- อคติจากการสัมผัส
- ฉลากรั่ว
- ในตัวถอดรหัส Transformer กลไกใดที่ทำให้การฝึกอบรมแบบบังคับครูดำเนินการขนานกันข้ามตำแหน่ง
- การออกกลางคัน
- การทำให้เป็นมาตรฐานแบบแบตช์
- ค้นหาบีม
- หน้ากากความสนใจเชิงสาเหตุ (มองไปข้างหน้า)
- ตอนอนุมานเหตุใดครูบังคับใช้ไม่ได้?
- ไม่มีโทเค็นในอนาคตที่เป็นความจริงให้ป้อน
- ฟังก์ชันการสูญเสียไม่พร้อมใช้งาน
- GPU ช้าเกินไป
- มาสก์เตือนถูกปิดใช้งาน
- โดยทั่วไปจะใช้การสูญเสียใดในแต่ละขั้นตอนระหว่างการฝึกอบรมแบบบังคับครู
- ข้อผิดพลาดกำลังสองเฉลี่ยในบันทึกดิบ
- เอนโทรปีข้ามระหว่างการแจกแจงที่คาดการณ์ไว้และโทเค็นถัดไปที่แท้จริง
- การสูญเสียบานพับในการฝัง
- การสูญเสียความคล้ายคลึงโคไซน์
- The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
- The model’s prediction for “green”
- The future token after “green”
- The ground-truth previous token “blue”
- A randomly sampled vocabulary item
- At decoder position t, which tokens must a causal attention mask block?
- The source sequence
- All earlier target tokens
- The current position’s own input
- Target tokens at positions later than t