ต่อไปคำแนะนำต่อไป
Block-Sparse และ Native Sparse Attention
เทคนิค
คู่มือ AI ภาษา
ความสนใจที่เบาบางทำให้ Transformers ราคาถูกลงโดยปล่อยให้แต่ละโทเค็นเข้าร่วมกับชุดย่อยของโทเค็นอื่น ๆ ที่เลือกสรรมาอย่างดีเท่านั้น แทนที่จะสนใจทั้งหมด
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
นี่เป็นการแลกเปลี่ยนการเข้าถึงทั่วโลกเล็กน้อยเพื่อประหยัดหน่วยความจำและการประมวลผลในลำดับยาว
การเอาใจใส่ในตนเองอย่างเต็มที่จะเปรียบเทียบทุกโทเค็นกับโทเค็นอื่นๆ ดังนั้นต้นทุนจึงเพิ่มขึ้นตามความยาวลำดับกำลังสอง ซึ่งจะกลายเป็นปัญหาสำหรับเอกสารขนาดยาว ความสนใจที่เบาบางจะเข้ามาแทนที่รูปแบบที่หนาแน่นด้วยรูปแบบที่มีโครงสร้าง การออกแบบทั่วไปรวมถึงหน้าต่างบานเลื่อน (ท้องถิ่น) โดยที่แต่ละโทเค็นจะเห็นเฉพาะเพื่อนบ้านใกล้เคียง รูปแบบการก้าวหรือขยายที่ข้ามไปข้างหน้าเพื่อเข้าถึงบริบทที่ห่างไกลในราคาถูก และโทเค็นระดับโลก ตำแหน่งพิเศษสองสามตำแหน่งที่ดูแลทุกสิ่งและทุกสิ่งสนใจ โดยทำหน้าที่เป็นศูนย์กลางข้อมูล โมเดลต่างๆ เช่น Longformer, BigBird และ Sparse Transformer รวมสิ่งเหล่านี้เข้าด้วยกัน ดังนั้นจำนวนการเชื่อมต่อทั้งหมดจะเพิ่มขึ้นเป็นเส้นตรงแทนที่จะเป็นแบบกำลังสอง ทำให้มีบริบทตั้งแต่หลายพันถึงหมื่นโทเค็น
Longformer ประมวลผลเอกสารทางวิทยาศาสตร์หรือเอกสารทางกฎหมายทั้งหมดในการผ่านครั้งเดียวโดยใช้หน้าต่างบานเลื่อนที่ได้รับความสนใจจากทั่วโลก
BigBird จัดการการตอบคำถามเอกสารยาวและลำดับจีโนมพร้อมความสนใจแบบปรับขนาดเชิงเส้น
การสรุปข้อความขนาดหนังสือโดยที่ความสนใจอย่างเต็มที่จะทำให้หน่วยความจำ GPU หมด
ระบบแชทแบบดึงข้อมูลและบริบทแบบยาวที่ใช้โทเค็นฮับส่วนกลางเพื่อกำหนดเส้นทางข้อมูลสำคัญไปยังโทเค็นนับพัน
ความสนใจแบบกระจายยังคงเป็นศูนย์กลางของการสร้างแบบจำลองบริบทแบบยาว โดยจับคู่กับเคอร์เนลที่ได้รับการปรับปรุงประสิทธิภาพมากขึ้น เช่น FlashAttention และกับความกระจัดกระจายแบบเรียนรู้หรือไดนามิกที่จะเลือกโทเค็นที่จะดูแลต่ออินพุต เมื่อหน้าต่างบริบทขยายออกไปสู่โทเค็นนับล้าน สแต็กแบบไฮบริดจะผสมเลเยอร์ที่กระจัดกระจาย หนาแน่น และสถานะพื้นที่เข้าด้วยกัน คาดว่าจะมีเคอร์เนลกระจัดกระจายที่รับรู้ถึงฮาร์ดแวร์และความสนใจตามการกำหนดเส้นทางเพื่อลดค่าใช้จ่ายในการอ่านอินพุตที่ยาวมาก
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
ความสนใจที่เบาบางทำให้ Transformers ราคาถูกลงโดยปล่อยให้แต่ละโทเค็นเข้าร่วมกับชุดย่อยของโทเค็นอื่น ๆ ที่เลือกสรรมาอย่างดีเท่านั้น แทนที่จะสนใจทั้งหมด นี่เป็นการแลกเปลี่ยนการเข้าถึงทั่วโลกเพียงเล็กน้อยเพื่อการประหยัดหน่วยความจำได้มาก และการคำนวณในลำดับที่ยาว
ความสนใจอย่างเต็มที่จะเปรียบเทียบทุกโทเค็นกับโทเค็นอื่นๆ ทำให้ O(N กำลังสอง) มีค่าใช้จ่ายในด้านเวลาและหน่วยความจำ
ความสนใจในท้องถิ่นจะจำกัดมุมมองของโทเค็นแต่ละรายการให้เหลือเพียงหน้าต่างคงที่ของโทเค็นโดยรอบ ซึ่งช่วยลดต้นทุนได้อย่างมาก
โทเค็นส่วนกลางบางส่วนเชื่อมต่อกับทุกตำแหน่ง ทำให้ข้อมูลไหลผ่านลำดับทั้งหมดได้ในราคาถูก
BigBird แสดงให้เห็นว่ารูปแบบกระจัดกระจายของมันเป็นตัวประมาณสากลของฟังก์ชันลำดับในขณะที่ปรับขนาดเป็นเส้นตรง
ด้วยการจำกัดการเชื่อมต่อไปยังหน้าต่างภายในเครื่องบวกกับลิงก์ร่วมบางส่วน การเชื่อมต่อทั้งหมดจะเพิ่มขึ้นเป็นเส้นตรง
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
Block-Sparse และ Native Sparse Attention
เทคนิค