แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบสถาปัตยกรรมตัวเข้ารหัส-ตัวถอดรหัส

ตรวจสอบส่วนประกอบของโมเดลตัวเข้ารหัส-ตัวถอดรหัส ความสนใจจากต้นทางถึงเป้าหมาย และการใช้ข้อความเป็นข้อความในงานการแปลและภาษา

เส้นทางแนะนำที่เกี่ยวข้องสถาปัตยกรรมตัวเข้ารหัสตัวถอดรหัส
คำถาม 1 ของ 8

งานหลักของตัวเข้ารหัสในโมเดลตัวเข้ารหัส-ตัวถอดรหัสคืออะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. งานหลักของตัวเข้ารหัสในโมเดลตัวเข้ารหัส-ตัวถอดรหัสคืออะไร?
    • เพื่ออ่านอินพุตและเปลี่ยนให้เป็นตัวแทนภายในที่หลากหลาย
    • เพื่อสร้างเอาต์พุตทีละโทเค็น
    • เพื่อจัดอันดับผลลัพธ์ของผู้สมัครตามความน่าจะเป็น
    • เพื่อเก็บข้อมูลการฝึกของโมเดล
  2. เหตุใดตัวถอดรหัสจึงใช้การเอาใจใส่ตนเองแบบปกปิด (เชิงสาเหตุ)
    • เพื่อซ่อนอินพุตจากตัวเข้ารหัส
    • เพื่อป้องกันไม่ให้แต่ละตำแหน่งเห็นโทเค็นในอนาคตระหว่างการสร้าง
    • เพื่อบีบอัดเอาต์พุตให้เป็นโทเค็นน้อยลง
    • เพื่อสุ่มวางโทเค็นเพื่อทำให้เป็นมาตรฐาน
  3. กลไกใดที่เชื่อมต่อตัวถอดรหัสกับตัวแทนของตัวเข้ารหัส?
    • การออกกลางคัน
    • การทำให้เป็นมาตรฐานแบบแบตช์
    • ความสนใจข้าม
    • การเข้ารหัสตำแหน่ง
  4. โมเดลใดต่อไปนี้เป็นสถาปัตยกรรมตัวเข้ารหัส-ตัวถอดรหัส (ลำดับต่อลำดับ)
    • GPT-3
    • เบิร์ต
    • Word2Vec
    • T5
  5. เหตุใดการออกแบบตัวเข้ารหัส-ตัวถอดรหัสจึงเหมาะสมอย่างเป็นธรรมชาติสำหรับการแปล
    • เนื่องจากอินพุตและเอาท์พุตมีลำดับที่แตกต่างกัน จึงต้องอาศัยความเข้าใจอย่างถ่องแท้จึงสร้างใหม่
    • เพราะอินพุตและเอาท์พุตมีความยาวเท่ากันเสมอ
    • เพราะมันไม่จำเป็นต้องสร้างข้อความใหม่
    • เพราะมันหลีกเลี่ยงการใช้ความสนใจโดยสิ้นเชิง
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text