แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการสร้างแบบจำลองการเรียงสับเปลี่ยน XLNet
ตรวจสอบการแยกตัวประกอบการเรียงสับเปลี่ยน, ความสนใจแบบสองสตรีม, การเกิดซ้ำของ Transformer-XL และวิธีที่การอ้างสิทธิ์ในการวัดประสิทธิภาพขึ้นอยู่กับการตั้งค่าที่เทียบเคียงได้
คำถาม 1 ของ 8
XLNet ใช้วัตถุประสงค์ในการฝึกอบรมล่วงหน้าอะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- XLNet ใช้วัตถุประสงค์ในการฝึกอบรมล่วงหน้าอะไร
- การสร้างแบบจำลองภาษาการเรียงสับเปลี่ยน
- การสร้างแบบจำลองภาษามาสก์
- แทนที่การตรวจจับโทเค็น
- การทำนายประโยคถัดไป
- จุดอ่อนของ BERT ข้อใดที่ XLNet ออกแบบมาโดยเฉพาะเพื่อแก้ไข
- เบิร์ตตัวเล็กเกินไป
- โทเค็น [MASK] ทำให้เกิดการฝึกล่วงหน้า/การปรับแต่งที่ไม่ตรงกัน และถือว่าโทเค็นที่สวมหน้ากากมีความเป็นอิสระ
- BERT ไม่สามารถจัดการกับประโยคสั้นๆ ได้
- BERT ขาดการเข้ารหัสตำแหน่ง
- การเอาใจใส่ตนเองแบบสองสตรีมของ XLNet แยกจากอะไร?
- ชั้นตัวเข้ารหัสและตัวถอดรหัส
- กราฟการฝึกอบรมและการอนุมาน
- สตรีมเนื้อหาและสตรีมแบบสอบถาม
- การฝังโทเค็นและประโยค
- XLNet สับเปลี่ยนคำในประโยคหรือไม่?
- ใช่ มันจะสุ่มเรียงลำดับโทเค็นจริงใหม่
- ใช่ แต่เฉพาะระหว่างการปรับแต่งเท่านั้น
- ไม่ มันไม่เคยเปลี่ยนแปลงลำดับใดๆ เลย
- ไม่ มันจะเปลี่ยนลำดับการแยกตัวประกอบโดยใช้มาสก์ความสนใจในขณะที่รักษาตำแหน่งไว้
- สถาปัตยกรรมใดที่ทำหน้าที่เป็นแกนหลักของ XLNet สำหรับบริบทระยะไกล
- หม้อแปลง-XL
- แอลเอสทีเอ็ม
- หม้อแปลงวานิลลาดั้งเดิม
- เครือข่ายแบบหมุนวน
- How does XLNet combine bidirectional context with autoregressive prediction?
- It predicts all tokens independently with no attention mask
- It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
- It physically shuffles the sentence before every prediction
- It replaces autoregressive prediction with a denoising autoencoder
- For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
- The tokens A and B must always be provided first
- Only the next sentence is available
- No earlier tokens in that sampled order, although C remains at its original input position
- The input sequence is physically reordered to C A B
- How does XLNet prevent the target token from leaking into its own prediction query?
- It removes the target from the entire training sequence
- It uses the target’s label as an input embedding
- It replaces the token with a [MASK] symbol
- The query stream represents the target position without its token content