คู่มือทางเทคนิค
ความสนใจแบบแฟลช
FlashAttention is an IO-aware way to compute exact attention without materializing the full attention matrix in high-bandwidth memory.
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
It uses tiling and online softmax to reduce memory traffic; speed and memory gains depend on sequence length, hardware and implementation.
เจาะลึก
Standard attention compares every token to every other token, producing an N-by-N score matrix that grows quadratically with sequence length. Naively, that matrix is written to and read back from GPU high-bandwidth memory (HBM), and that shuttling — not the multiplications — is the real bottleneck. Flash Attention, introduced by Tri Dao and colleagues in 2022, reorganizes the computation so the matrix is never fully stored. It processes queries, keys, and values in small tiles that fit in fast on-chip SRAM, computes partial results, and stitches them together using an online running-softmax trick. The algorithm computes the same attention operation while reducing high-bandwidth-memory traffic and intermediate storage. It can be faster, especially on long sequences, but measured gains depend on GPU, sequence length, dtype and implementation.
การใช้งานจริงในโลกแห่งความเป็นจริง
การฝึกอบรมโมเดลภาษาขนาดใหญ่ เช่น Llama และระบบคลาส GPT ด้วยหน้าต่างบริบทที่ยาวขึ้นโดยมีต้นทุนหน่วยความจำต่ำกว่า
ให้บริการผู้ช่วยแชทเร็วขึ้นโดยเร่งขั้นตอนการกรอกข้อมูลล่วงหน้าซึ่งข้อความแจ้งที่ยาวจะถูกอ่านครั้งแรก
เปิดใช้งานเครื่องมือวิเคราะห์เอกสารที่นำเข้าหนังสือทั้งหมดหรือโค้ดเบสโดยทำให้ความสนใจในลำดับยาวเป็นไปได้บน GPU ตัวเดียว
ขับเคลื่อน Transformers ด้านการมองเห็นและเสียงโดยที่อินพุตความละเอียดสูงสร้างลำดับโทเค็นที่ยาวมาก
อนาคตของความสนใจแบบแฟลช
FlashAttention-2 and FlashAttention-3 research explores improved work partitioning, asynchronous execution, and hardware-specific low-precision paths. Results depend on the GPU, sequence length, dtype and implementation. These algorithms can reduce memory traffic for dense attention, but they do not remove the underlying query-key pair computations. Benchmark the exact training or serving workload before assuming a speedup.
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Flash Attention quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is Flash Attention?
FlashAttention is an IO-aware way to compute exact attention without materializing the full attention matrix in high-bandwidth memory. It uses tiling and online softmax to reduce memory traffic; speed and memory gains depend on sequence length, hardware and implementation.
ปัญหาคอขวดหลักที่ Flash Attention กำหนดเป้าหมายคืออะไร
Flash Attention รับรู้ถึง IO: โดยจะลดการรับส่งข้อมูลระหว่าง SRAM บนชิปที่รวดเร็วและหน่วยความจำแบนด์วิธสูงที่ช้า ซึ่งเป็นคอขวดที่แท้จริงแทนที่จะเป็นตัวเลขคณิต
Flash Attention หลีกเลี่ยงการจัดเก็บเมทริกซ์ความสนใจแบบ N-by-N แบบเต็มได้อย่างไร
โดยแยกการคำนวณเพื่อให้แต่ละบล็อกพอดีกับ SRAM ที่รวดเร็ว คำนวณและสะสมเอาต์พุตบางส่วนโดยไม่ต้องสร้างเมทริกซ์ทั้งหมดใน HBM
เทคนิคใดที่ทำให้ Flash Attention คำนวณ softmax ได้อย่างถูกต้องโดยไม่ต้องดูทั้งแถวในคราวเดียว
ซอฟต์แม็กซ์ออนไลน์จะรักษาค่าสูงสุดและตัวหารรันขณะสตรีมไทล์ โดยปรับขนาดเอาต์พุตบางส่วนก่อนหน้านี้เพื่อให้การทำให้เป็นมาตรฐานขั้นสุดท้ายถูกต้องแม่นยำ
เหตุใด Flash Attention จึงช่วยได้มากที่สุดกับลำดับที่ยาว
เมทริกซ์ความสนใจแบบไร้เดียงสาจะปรับขนาดเป็น N-squared ในหน่วยความจำ ดังนั้นการหลีกเลี่ยงพื้นที่จัดเก็บเต็มรูปแบบจะช่วยประหยัดได้มากที่สุดเมื่อลำดับมีความยาว
การออกแบบ 'IO-aware' ของ Flash Attention จัดลำดับความสำคัญในการลดขนาดให้เหลือน้อยที่สุดอย่างไร
IO-aware หมายถึงอัลกอริธึมได้รับการออกแบบโดยคำนึงถึงต้นทุนในการย้ายข้อมูลในลำดับชั้นหน่วยความจำ ช่วยลดการรับส่งข้อมูล HBM แทนที่จะดำเนินการทางคณิตศาสตร์
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้