แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบความสนใจข้าม
ทำความเข้าใจว่าการให้ความสนใจข้ามกันช่วยให้สามารถแสดงลำดับหรือแบบสอบถามแบบกิริยาจากลำดับหรือรูปแบบอื่นในแบบจำลองหม้อแปลงได้อย่างไร
คำถาม 1 ของ 8
ความแตกต่างที่สำคัญระหว่างการเอาใจใส่ตนเองและการเอาใจใส่ข้ามคืออะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ความแตกต่างที่สำคัญระหว่างการเอาใจใส่ตนเองและการเอาใจใส่ข้ามคืออะไร?
- ในการให้ความสนใจข้ามกัน ข้อความค้นหาจะมาจากลำดับหนึ่งและคีย์/ค่ามาจากอีกลำดับหนึ่ง
- การสนใจข้ามไม่ใช้ซอฟต์แม็กซ์
- การเอาใจใส่ตนเองใช้ได้กับรูปภาพเท่านั้น
- การสนใจข้ามไม่สามารถฝึกด้วยการไล่ระดับลงได้
- ใน Transformer ตัวเข้ารหัส-ตัวถอดรหัส คำค้นหาสำหรับความสนใจแบบข้ามมาจากไหน
- เอาต์พุตของตัวเข้ารหัส
- สถานะปัจจุบันของตัวถอดรหัส
- การฝังอินพุตดิบเท่านั้น
- เมทริกซ์สุ่มที่แยกจากกัน
- เหตุใดทั้งสองลำดับในการสนใจข้ามจึงสามารถมีความยาวหรือรูปแบบที่แตกต่างกันได้
- เนื่องจากความสนใจต้องใช้อินพุตที่มีความยาวเท่ากัน
- เพราะมันละเว้นลำดับใดลำดับหนึ่งโดยสิ้นเชิง
- เนื่องจากข้อความค้นหาและคีย์มาจากแหล่งที่มาที่แตกต่างกันและเป็นอิสระ
- เพราะมันแพดทุกอย่างให้มีขนาดคงที่ก่อน
- Stable Diffusion ใช้การสนใจข้ามสายอย่างไร
- เพื่อบีบอัดรูปภาพให้เป็นไฟล์ขนาดเล็ก
- เพื่อแปลข้อความระหว่างภาษา
- เพื่อขจัดเสียงรบกวนออกจากเสียง
- เพื่อกำหนดเงื่อนไขขอบเขตรูปภาพที่สร้างขึ้นในข้อความแจ้ง
- การดำเนินการทางคณิตศาสตร์แบบใดที่การสนใจข้ามมีร่วมกับการเอาใจใส่ตนเอง
- ปรับขนาดความสนใจดอทโปรดัคด้วย softmax
- การบิดงอมากกว่าพิกเซล
- การอัปเดตสถานะที่เกิดซ้ำ
- ตารางการค้นหาแบบฮาร์ดโค้ด
- What gate does Flamingo use to control information flow through its cross-attention layers?
- A hard threshold initialized to one
- A tanh gate initialized to zero
- A fixed residual weight of 0.5
- A learned vocabulary lookup table
- What input sequence structure does Flamingo’s paper say its visual-language model can handle?
- Only one image followed by a fixed-length label
- Only text tokens with no visual inputs
- Visual and textual data interleaved in arbitrary sequences
- Only video frames with no text
- What is one purpose of cross-attention in Flamingo’s visual-language architecture?
- It replaces all text tokens with pixels
- It prevents any information from passing between modalities
- It performs only image resizing
- It lets language-model layers incorporate visual features from image/video inputs