แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบความสนใจแฟลช

ทดสอบการเรียงต่อกันที่รับรู้ IO ของ FlashAttention, ซอฟต์แม็กซ์ออนไลน์, ความใส่ใจที่แน่นอน, การปรับขนาดลำดับ และความแตกต่างระหว่างการรับส่งข้อมูลหน่วยความจำและการคำนวณ

เส้นทางแนะนำที่เกี่ยวข้องความสนใจแบบแฟลช
คำถาม 1 ของ 8

ปัญหาคอขวดหลักที่ Flash Attention กำหนดเป้าหมายคืออะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ปัญหาคอขวดหลักที่ Flash Attention กำหนดเป้าหมายคืออะไร
    • การอ่านและการเขียนเมทริกซ์ความสนใจขนาดใหญ่เพื่อทำให้หน่วยความจำ GPU ช้าลง
    • จำนวนการคูณจุดลอยตัวที่ต้องสนใจ
    • ค่าใช้จ่ายในการโหลดตุ้มน้ำหนักโมเดลจากดิสก์
    • เวลาแฝงของเครือข่ายระหว่าง GPU หลายตัว
  2. Flash Attention หลีกเลี่ยงการจัดเก็บเมทริกซ์ความสนใจแบบ N-by-N แบบเต็มได้อย่างไร
    • มันประมาณความสนใจด้วยการฉายภาพแบบสุ่ม
    • โดยจะประมวลผลคำค้นหา คีย์ และค่าต่างๆ ในรูปแบบไทล์ขนาดเล็กและรวมผลลัพธ์บางส่วนเข้าด้วยกัน
    • มันข้ามคู่โทเค็นส่วนใหญ่ไปโดยสิ้นเชิง
    • มันบีบอัดเมทริกซ์ด้วยการหาปริมาณ
  3. เทคนิคใดที่ทำให้ Flash Attention คำนวณ softmax ได้อย่างถูกต้องโดยไม่ต้องดูทั้งแถวในคราวเดียว
    • ตารางการค้นหาเลขชี้กำลังที่คำนวณไว้ล่วงหน้า
    • การปล่อยซอฟต์แม็กซ์และใช้การประมาณเชิงเส้น
    • ซอฟต์แม็กซ์ที่กำลังวิ่ง (ออนไลน์) ที่ติดตามค่าสูงสุดและผลรวมของการรัน
    • การเรียงลำดับคะแนนก่อนที่จะทำให้เป็นมาตรฐาน
  4. เมื่อเปรียบเทียบกับความสนใจมาตรฐาน ผลลัพธ์ของ Flash Attention คือ:
    • การประมาณคร่าวๆ ที่แลกความแม่นยำกับความเร็ว
    • แม่นยำยิ่งขึ้นเนื่องจากมีความแม่นยำสูงกว่า
    • ใช้ได้กับลำดับสั้นเท่านั้น
    • เหมือนกันทางคณิตศาสตร์ เพียงแต่คำนวณอย่างมีประสิทธิภาพมากขึ้น
  5. เหตุใด Flash Attention จึงช่วยได้มากที่สุดกับลำดับที่ยาว
    • เนื่องจากหน่วยความจำความสนใจเพิ่มขึ้นเป็นกำลังสองตามความยาวของลำดับ
    • เพราะลำดับที่ยาวกว่านั้นต้องการเลเยอร์น้อยกว่า
    • เนื่องจาก softmax ไม่จำเป็นสำหรับการป้อนข้อมูลแบบยาว
    • เนื่องจาก GPU ทำงานช้าลงในลำดับสั้นๆ
  6. การออกแบบ 'IO-aware' ของ Flash Attention จัดลำดับความสำคัญในการลดขนาดให้เหลือน้อยที่สุดอย่างไร
    • จำนวนพารามิเตอร์รุ่น
    • หน่วยความจำอ่านและเขียนระหว่าง SRAM และ HBM
    • ความลึกของโครงข่ายประสาทเทียม
    • ขนาดคำศัพท์ของโทเค็นไนเซอร์
  7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
    • The number of model layers must double
    • Every token is compared with only one other token
    • The number of query-key pair interactions grows with the square of sequence length
    • The number of model parameters becomes zero
  8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
    • It intentionally drops all long-distance tokens
    • It changes the model weights during inference
    • It replaces softmax with a random sample
    • Floating-point operations can occur in a different order during tiled accumulation