คู่มือทางเทคนิค
ความสนใจเชิงเส้นและเคอร์เนลของนักแสดง
ความสนใจเชิงเส้นจะแทนที่ความสนใจซอฟต์แม็กซ์กำลังสองใน Transformers ด้วยเคล็ดลับทางคณิตศาสตร์ที่ปรับขนาดเชิงเส้นตามความยาวของลำดับ
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
Performer is a landmark method that approximates softmax using random feature kernels, making very long sequences computationally affordable.
เจาะลึก
ความสนใจของ Transformer มาตรฐานจะคำนวณคะแนนระหว่างโทเค็นทุกคู่ การเสียเวลาและหน่วยความจำที่เพิ่มขึ้นตามกำลังสองของความยาวของลำดับ (O(n^2)) ความสนใจเชิงเส้นจะเขียนการคำนวณใหม่ ดังนั้นต้นทุนจึงเพิ่มขึ้นเชิงเส้นเท่านั้น (O(n)) แนวคิดหลัก: ความสนใจของ softmax คือ softmax(QK^T)V แต่ถ้าคุณแทนที่ softmax ด้วย map phi คุณลักษณะเคอร์เนล คุณจะได้ phi(Q)(phi(K)^T V) เนื่องจากการคูณเมทริกซ์เป็นแบบเชื่อมโยง คุณจึงคำนวณ phi(K)^T V ก่อน (เมทริกซ์ขนาด d-by-d ขนาดเล็ก) โดยหลีกเลี่ยงเมทริกซ์คะแนนขนาดยักษ์ n-by-n ทั้งหมด นักแสดงจาก Google ในปี 2020 ทำให้นี่เป็นการประมาณค่าซอฟต์แม็กซ์ที่แท้จริงอย่างเที่ยงตรงโดยใช้ FAVOR+ (ความสนใจอย่างรวดเร็วผ่านฟีเจอร์สุ่มมุมฉากเชิงบวก) วาดเส้นโครงแบบสุ่มที่ทำให้เคอร์เนลประมาณการไม่ลำเอียงและเสถียร
การใช้งานจริงในโลกแห่งความเป็นจริง
การประมวลผลลำดับจีโนมหรือโปรตีนขนาดยาวโดยที่ความสนใจในกำลังสองเต็มจะทำให้หน่วยความจำ GPU หมดลง
การสรุประดับเอกสารในรายงานที่ยาวมากโดยไม่ทำให้เป็นก้อน โดยใช้แกนหลักสไตล์นักแสดง
การสร้างแบบจำลองเสียงหรืออนุกรมเวลาแบบยาวที่มีประสิทธิภาพ โดยที่ลำดับต่างๆ ครอบคลุมขั้นตอนนับหมื่นขั้นตอน
ลดต้นทุนการอนุมานในโมเดลการแชทที่มีบริบทยาวโดยการแทนที่เลเยอร์ softmax บางส่วนด้วยรูปแบบการเอาใจใส่เชิงเส้น
อนาคตของความสนใจเชิงเส้นและเคอร์เนลของนักแสดง
ความสนใจเชิงเส้นตรงมักจะติดตามคุณภาพแบบ softmax ดังนั้นสาขานี้จึงมาบรรจบกันที่แบบผสม: แบบจำลองพื้นที่รัฐ (Mamba) ความสนใจเชิงเส้นแบบมีรั้วรอบขอบชิด และสถาปัตยกรรมที่ผสมเลเยอร์ความสนใจเต็มรูปแบบสองสามเลเยอร์เข้ากับเลเยอร์เชิงเส้นจำนวนมาก เนื่องจากหน้าต่างบริบทผลักดันไปยังโทเค็นนับล้าน กลไกเชิงเส้นและกำลังสองย่อยจึงน่าดึงดูดใจมากขึ้นในด้านต้นทุน และความสนใจเชิงเส้นแบบที่เกิดซ้ำกำลังได้รับการทบทวนอีกครั้งเพื่อการอนุมานสตรีมมิ่งที่มีประสิทธิภาพและโมเดลบนอุปกรณ์
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Linear Attention and Performer Kernels quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is Linear Attention and Performer Kernels?
ความสนใจเชิงเส้นจะแทนที่ความสนใจซอฟต์แม็กซ์กำลังสองใน Transformers ด้วยเคล็ดลับทางคณิตศาสตร์ที่ปรับขนาดเชิงเส้นตามความยาวของลำดับ นักแสดงเป็นวิธีการหลักที่ประมาณซอฟต์แม็กซ์โดยใช้เคอร์เนลฟีเจอร์แบบสุ่ม ซึ่งทำให้ลำดับที่ยาวมากมีราคาไม่แพงในการคำนวณ
เหตุใดระดับความสนใจของ softmax มาตรฐานจึงไม่ดีตามความยาวของลำดับ
Softmax Attention จะเปรียบเทียบโทเค็นทุกคู่ โดยสร้างเมทริกซ์คะแนนแบบ n-by-n ดังนั้นต้นทุนจึงเพิ่มขึ้นเมื่อ O(n^2)
คุณสมบัติทางคณิตศาสตร์ข้อใดที่ทำให้ความสนใจเชิงเส้นหลีกเลี่ยงเมทริกซ์ขนาด n-by-n ได้
เนื่องจากการคูณเมทริกซ์เป็นแบบเชื่อมโยง คุณจึงสามารถคำนวณ phi(K)^T V ก่อน ซึ่งเป็นเมทริกซ์ขนาด d คูณ d แทนที่จะเป็น phi(Q)phi(K)^T
กลไก FAVOR+ ของนักแสดงประมาณค่าอะไร
FAVOR+ ใช้คุณลักษณะสุ่มมุมฉากเชิงบวกเพื่อประมาณเคอร์เนล softmax เอ็กซ์โพเนนเชียล โดยไม่สร้างเมทริกซ์ความสนใจแบบเต็ม
เหตุใดนักแสดงจึงใช้คุณสมบัติสุ่มเชิงบวกมากกว่าคุณสมบัติตรีโกณมิติก่อนหน้า
คุณสมบัติเชิงบวกทำให้การประมาณค่าเคอร์เนลไม่เป็นลบ หลีกเลี่ยงความไม่เสถียรและค่าลบที่รบกวนแผนที่ฟีเจอร์ sin/cos ก่อนหน้านี้
ความซับซ้อนโดยประมาณของความสนใจเชิงเส้นแบบนักแสดงในความยาวลำดับ n คืออะไร?
ด้วยการเรียงลำดับการคำนวณใหม่และไม่สร้างเมทริกซ์แบบ n-by-n ต้นทุนจะปรับขนาดเป็นเส้นตรงตามความยาวของลำดับ
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้