แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบความสนใจข้าม

ทำความเข้าใจว่าการให้ความสนใจข้ามกันช่วยให้สามารถแสดงลำดับหรือแบบสอบถามแบบกิริยาจากลำดับหรือรูปแบบอื่นในแบบจำลองหม้อแปลงได้อย่างไร

เส้นทางแนะนำที่เกี่ยวข้องข้ามความสนใจ
คำถาม 1 ของ 8

ความแตกต่างที่สำคัญระหว่างการเอาใจใส่ตนเองและการเอาใจใส่ข้ามคืออะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ความแตกต่างที่สำคัญระหว่างการเอาใจใส่ตนเองและการเอาใจใส่ข้ามคืออะไร?
    • ในการให้ความสนใจข้ามกัน ข้อความค้นหาจะมาจากลำดับหนึ่งและคีย์/ค่ามาจากอีกลำดับหนึ่ง
    • การสนใจข้ามไม่ใช้ซอฟต์แม็กซ์
    • การเอาใจใส่ตนเองใช้ได้กับรูปภาพเท่านั้น
    • การสนใจข้ามไม่สามารถฝึกด้วยการไล่ระดับลงได้
  2. ใน Transformer ตัวเข้ารหัส-ตัวถอดรหัส คำค้นหาสำหรับความสนใจแบบข้ามมาจากไหน
    • เอาต์พุตของตัวเข้ารหัส
    • สถานะปัจจุบันของตัวถอดรหัส
    • การฝังอินพุตดิบเท่านั้น
    • เมทริกซ์สุ่มที่แยกจากกัน
  3. เหตุใดทั้งสองลำดับในการสนใจข้ามจึงสามารถมีความยาวหรือรูปแบบที่แตกต่างกันได้
    • เนื่องจากความสนใจต้องใช้อินพุตที่มีความยาวเท่ากัน
    • เพราะมันละเว้นลำดับใดลำดับหนึ่งโดยสิ้นเชิง
    • เนื่องจากข้อความค้นหาและคีย์มาจากแหล่งที่มาที่แตกต่างกันและเป็นอิสระ
    • เพราะมันแพดทุกอย่างให้มีขนาดคงที่ก่อน
  4. Stable Diffusion ใช้การสนใจข้ามสายอย่างไร
    • เพื่อบีบอัดรูปภาพให้เป็นไฟล์ขนาดเล็ก
    • เพื่อแปลข้อความระหว่างภาษา
    • เพื่อขจัดเสียงรบกวนออกจากเสียง
    • เพื่อกำหนดเงื่อนไขขอบเขตรูปภาพที่สร้างขึ้นในข้อความแจ้ง
  5. การดำเนินการทางคณิตศาสตร์แบบใดที่การสนใจข้ามมีร่วมกับการเอาใจใส่ตนเอง
    • ปรับขนาดความสนใจดอทโปรดัคด้วย softmax
    • การบิดงอมากกว่าพิกเซล
    • การอัปเดตสถานะที่เกิดซ้ำ
    • ตารางการค้นหาแบบฮาร์ดโค้ด
  6. What gate does Flamingo use to control information flow through its cross-attention layers?
    • A hard threshold initialized to one
    • A tanh gate initialized to zero
    • A fixed residual weight of 0.5
    • A learned vocabulary lookup table
  7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
    • Only one image followed by a fixed-length label
    • Only text tokens with no visual inputs
    • Visual and textual data interleaved in arbitrary sequences
    • Only video frames with no text
  8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
    • It replaces all text tokens with pixels
    • It prevents any information from passing between modalities
    • It performs only image resizing
    • It lets language-model layers incorporate visual features from image/video inputs