คู่มือทางเทคนิค
Block-Sparse และ Native Sparse Attention
ความสนใจแบบกระจายแบบบล็อกและแบบกระจายดั้งเดิมช่วยให้หม้อแปลงสามารถดูแลเฉพาะส่วนที่เกี่ยวข้องมากที่สุดของลำดับแบบยาว แทนที่จะเป็นโทเค็นทุกตัว ซึ่งช่วยลดต้นทุนกำลังสองของความสนใจแบบมาตรฐาน
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
นี่คือสิ่งที่ทําให้โมเดลบริบทยาวที่มีประสิทธิภาพใช้งานได้จริงบนฮาร์ดแวร์จริง
เจาะลึก
การใส่ใจในตนเองแบบมาตรฐานจะเปรียบเทียบทุกโทเค็นกับโทเค็นอื่นๆ ดังนั้นต้นทุนจึงเพิ่มขึ้นแบบกำลังสองตามความยาวของลำดับ กลายเป็นสิ่งต้องห้ามสำหรับเอกสารที่ยาวมาก ความสนใจที่กระจัดกระจายจะจำกัดแต่ละโทเค็นให้อยู่เพียงชุดย่อยของโทเค็นอื่นๆ วิธีการบล็อกแบบกระจายจะแบ่งลำดับออกเป็นบล็อกและคำนวณความสนใจเฉพาะสำหรับคู่บล็อกที่เลือก ซึ่งจะแมปบนเทนเซอร์คอร์ของ GPU อย่างมีประสิทธิภาพ Native Sparse Attention (NSA) จาก DeepSeek ก้าวไปอีกขั้น: สามารถฝึกได้ตั้งแต่ต้นทางถึงปลายทางและปรับด้วยฮาร์ดแวร์ โดยรวมสามสาขา การบีบอัดโทเค็นแบบหยาบ การเลือกบล็อกที่สำคัญที่สุดอย่างละเอียด และหน้าต่างแบบเลื่อนสำหรับบริบทเฉพาะที่ เนื่องจากมีการเรียนรู้รูปแบบความกระจัดกระจายระหว่างการฝึกล่วงหน้า แทนที่จะยึดติดในภายหลัง NSA จึงรักษาความแม่นยำในขณะเดียวกันก็ทำการเร่งความเร็วจำนวนมากในลำดับที่ยาว
การใช้งานจริงในโลกแห่งความเป็นจริง
การรันโมเดลบนโค้ดเบสทั้งหมดหรือสัญญาทางกฎหมายระยะยาวซึ่งการเอาใจใส่อย่างเต็มที่จะทำให้หน่วยความจำ GPU หมดลง
NSA ของ DeepSeek เร่งทั้งการฝึกล่วงหน้าและการอนุมานบริบทแบบยาว ขณะเดียวกันก็จับคู่หรือเอาชนะความแม่นยำในการตั้งใจฟังเต็มที่
สรุปเอกสารขนาดเท่าหนังสือโดยเข้าร่วมสรุปบล็อกที่บีบอัดพร้อมข้อความที่เกี่ยวข้องในท้องถิ่น
เร่งความเร็วผู้ช่วยแชทในบริบทยาวที่มีขั้นตอนการถอดรหัสถูกผูกไว้กับหน่วยความจำโดยการจำกัดโทเค็นแต่ละรายการไว้ที่บล็อกที่มีอันดับสูงสุด
อนาคตของความสนใจแบบเบาบางแบบบล็อกและแบบพื้นเมือง
ความกระจัดกระจายที่รับรู้ถึงฮาร์ดแวร์ที่สามารถฝึกอบรมได้กำลังกลายเป็นเส้นทางสู่บริบทล้านโทเค็นโดยไม่ต้องเสียค่าใช้จ่ายมากนัก คาดหวังว่าความสนใจเพียงเล็กน้อยจะได้รับการออกแบบร่วมกับเคอร์เนลและตัวเร่งความเร็ว ผสมผสานกับแนวคิดความสนใจเชิงเส้นและอวกาศของรัฐ และนำมาใช้ในแบบจำลองบริบทและการใช้เหตุผลแบบชายแดน เมื่อรูปแบบสามารถเรียนรู้ได้และเป็นแบบไดนามิก โมเดลจะจัดสรรงบประมาณความสนใจตามการสืบค้น และเกณฑ์มาตรฐานจะวัดปริมาณงานการถอดรหัสในลำดับที่ยาวมากขึ้น ไม่ใช่แค่คุณภาพดิบเท่านั้น
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Block-Sparse and Native Sparse Attention quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
Block-Sparse และ Native Sparse Attention คืออะไร?
ความสนใจแบบกระจายแบบบล็อกและแบบกระจายดั้งเดิมช่วยให้หม้อแปลงสามารถดูแลเฉพาะส่วนที่เกี่ยวข้องมากที่สุดของลำดับแบบยาว แทนที่จะเป็นโทเค็นทุกตัว ซึ่งช่วยลดต้นทุนกำลังสองของความสนใจแบบมาตรฐาน นี่คือสิ่งที่ทำให้โมเดลบริบทแบบยาวที่มีประสิทธิภาพใช้งานได้จริงกับฮาร์ดแวร์จริง
เหตุใดการเอาใจใส่ตนเองแบบมาตรฐานจึงมีราคาแพงสำหรับลำดับที่ยาวนาน
โทเค็นทุกอันเชื่อมโยงกับโทเค็นอื่น ๆ ดังนั้นให้คำนวณและปรับขนาดหน่วยความจำด้วยกำลังสองของความยาวของลำดับ
แนวคิดหลักของความสนใจแบบบล็อกกระจัดกระจายคืออะไร?
ลำดับจะถูกแบ่งออกเป็นบล็อกต่างๆ และความสนใจจะถูกคำนวณสำหรับคู่บล็อกที่เลือกเท่านั้น ซึ่งแม็ปกับเทนเซอร์คอร์ของ GPU ได้ดีเช่นกัน
อะไรทำให้ Native Sparse Attention (NSA) แตกต่างจากวิธีการกระจัดกระจายก่อนหน้านี้หลายวิธี
NSA เรียนรู้รูปแบบความกระจัดกระจายในระหว่างการฝึกล่วงหน้า และได้รับการออกแบบให้สอดคล้องกับฮาร์ดแวร์ ดังนั้นจึงรักษาความแม่นยำในขณะวิ่งอย่างรวดเร็ว
NSA สามสาขาใดรวมกันเป็นคีย์และค่าของมัน
NSA ผสานการบีบอัดโทเค็นแบบหยาบ การเลือกบล็อกแบบละเอียด และหน้าต่างเลื่อนภายในโดยใช้เกทที่เรียนรู้
เหตุใด NSA จึงใช้การดำเนินการระดับบล็อกมากกว่าการกระจายระดับโทเค็นโดยพลการ
รูปแบบการเข้าถึงระดับบล็อกเหมาะกับฮาร์ดแวร์ GPU ดังนั้นการประหยัด FLOP ตามทฤษฎีจึงกลายเป็นการเร่งความเร็วนาฬิกาแขวนได้จริง
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้