คู่มือทางเทคนิค

Block-Sparse และ Native Sparse Attention

ความสนใจแบบกระจายแบบบล็อกและแบบกระจายดั้งเดิมช่วยให้หม้อแปลงสามารถดูแลเฉพาะส่วนที่เกี่ยวข้องมากที่สุดของลำดับแบบยาว แทนที่จะเป็นโทเค็นทุกตัว ซึ่งช่วยลดต้นทุนกำลังสองของความสนใจแบบมาตรฐาน

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของความสนใจแบบเบาบางแบบบล็อกและแบบพื้นเมือง
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

นี่คือสิ่งที่ทําให้โมเดลบริบทยาวที่มีประสิทธิภาพใช้งานได้จริงบนฮาร์ดแวร์จริง

เจาะลึก

การใส่ใจในตนเองแบบมาตรฐานจะเปรียบเทียบทุกโทเค็นกับโทเค็นอื่นๆ ดังนั้นต้นทุนจึงเพิ่มขึ้นแบบกำลังสองตามความยาวของลำดับ กลายเป็นสิ่งต้องห้ามสำหรับเอกสารที่ยาวมาก ความสนใจที่กระจัดกระจายจะจำกัดแต่ละโทเค็นให้อยู่เพียงชุดย่อยของโทเค็นอื่นๆ วิธีการบล็อกแบบกระจายจะแบ่งลำดับออกเป็นบล็อกและคำนวณความสนใจเฉพาะสำหรับคู่บล็อกที่เลือก ซึ่งจะแมปบนเทนเซอร์คอร์ของ GPU อย่างมีประสิทธิภาพ Native Sparse Attention (NSA) จาก DeepSeek ก้าวไปอีกขั้น: สามารถฝึกได้ตั้งแต่ต้นทางถึงปลายทางและปรับด้วยฮาร์ดแวร์ โดยรวมสามสาขา การบีบอัดโทเค็นแบบหยาบ การเลือกบล็อกที่สำคัญที่สุดอย่างละเอียด และหน้าต่างแบบเลื่อนสำหรับบริบทเฉพาะที่ เนื่องจากมีการเรียนรู้รูปแบบความกระจัดกระจายระหว่างการฝึกล่วงหน้า แทนที่จะยึดติดในภายหลัง NSA จึงรักษาความแม่นยำในขณะเดียวกันก็ทำการเร่งความเร็วจำนวนมากในลำดับที่ยาว

การใช้งานจริงในโลกแห่งความเป็นจริง

การรันโมเดลบนโค้ดเบสทั้งหมดหรือสัญญาทางกฎหมายระยะยาวซึ่งการเอาใจใส่อย่างเต็มที่จะทำให้หน่วยความจำ GPU หมดลง

NSA ของ DeepSeek เร่งทั้งการฝึกล่วงหน้าและการอนุมานบริบทแบบยาว ขณะเดียวกันก็จับคู่หรือเอาชนะความแม่นยำในการตั้งใจฟังเต็มที่

สรุปเอกสารขนาดเท่าหนังสือโดยเข้าร่วมสรุปบล็อกที่บีบอัดพร้อมข้อความที่เกี่ยวข้องในท้องถิ่น

เร่งความเร็วผู้ช่วยแชทในบริบทยาวที่มีขั้นตอนการถอดรหัสถูกผูกไว้กับหน่วยความจำโดยการจำกัดโทเค็นแต่ละรายการไว้ที่บล็อกที่มีอันดับสูงสุด

อนาคตของความสนใจแบบเบาบางแบบบล็อกและแบบพื้นเมือง

ความกระจัดกระจายที่รับรู้ถึงฮาร์ดแวร์ที่สามารถฝึกอบรมได้กำลังกลายเป็นเส้นทางสู่บริบทล้านโทเค็นโดยไม่ต้องเสียค่าใช้จ่ายมากนัก คาดหวังว่าความสนใจเพียงเล็กน้อยจะได้รับการออกแบบร่วมกับเคอร์เนลและตัวเร่งความเร็ว ผสมผสานกับแนวคิดความสนใจเชิงเส้นและอวกาศของรัฐ และนำมาใช้ในแบบจำลองบริบทและการใช้เหตุผลแบบชายแดน เมื่อรูปแบบสามารถเรียนรู้ได้และเป็นแบบไดนามิก โมเดลจะจัดสรรงบประมาณความสนใจตามการสืบค้น และเกณฑ์มาตรฐานจะวัดปริมาณงานการถอดรหัสในลำดับที่ยาวมากขึ้น ไม่ใช่แค่คุณภาพดิบเท่านั้น

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Block-Sparse and Native Sparse Attention quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

Block-Sparse และ Native Sparse Attention คืออะไร?

ความสนใจแบบกระจายแบบบล็อกและแบบกระจายดั้งเดิมช่วยให้หม้อแปลงสามารถดูแลเฉพาะส่วนที่เกี่ยวข้องมากที่สุดของลำดับแบบยาว แทนที่จะเป็นโทเค็นทุกตัว ซึ่งช่วยลดต้นทุนกำลังสองของความสนใจแบบมาตรฐาน นี่คือสิ่งที่ทำให้โมเดลบริบทแบบยาวที่มีประสิทธิภาพใช้งานได้จริงกับฮาร์ดแวร์จริง

เหตุใดการเอาใจใส่ตนเองแบบมาตรฐานจึงมีราคาแพงสำหรับลำดับที่ยาวนาน

โทเค็นทุกอันเชื่อมโยงกับโทเค็นอื่น ๆ ดังนั้นให้คำนวณและปรับขนาดหน่วยความจำด้วยกำลังสองของความยาวของลำดับ

แนวคิดหลักของความสนใจแบบบล็อกกระจัดกระจายคืออะไร?

ลำดับจะถูกแบ่งออกเป็นบล็อกต่างๆ และความสนใจจะถูกคำนวณสำหรับคู่บล็อกที่เลือกเท่านั้น ซึ่งแม็ปกับเทนเซอร์คอร์ของ GPU ได้ดีเช่นกัน

อะไรทำให้ Native Sparse Attention (NSA) แตกต่างจากวิธีการกระจัดกระจายก่อนหน้านี้หลายวิธี

NSA เรียนรู้รูปแบบความกระจัดกระจายในระหว่างการฝึกล่วงหน้า และได้รับการออกแบบให้สอดคล้องกับฮาร์ดแวร์ ดังนั้นจึงรักษาความแม่นยำในขณะวิ่งอย่างรวดเร็ว

NSA สามสาขาใดรวมกันเป็นคีย์และค่าของมัน

NSA ผสานการบีบอัดโทเค็นแบบหยาบ การเลือกบล็อกแบบละเอียด และหน้าต่างเลื่อนภายในโดยใช้เกทที่เรียนรู้

เหตุใด NSA จึงใช้การดำเนินการระดับบล็อกมากกว่าการกระจายระดับโทเค็นโดยพลการ

รูปแบบการเข้าถึงระดับบล็อกเหมาะกับฮาร์ดแวร์ GPU ดังนั้นการประหยัด FLOP ตามทฤษฎีจึงกลายเป็นการเร่งความเร็วนาฬิกาแขวนได้จริง

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →