أنماط الاهتمام المتفرقة
الاهتمام المتناثر يجعل المحولات أرخص من خلال السماح لكل رمز بالاهتمام فقط بمجموعة فرعية مختارة بعناية من الرموز الأخرى بدلاً من جميعها.
نظرة عامة
This trades a little global reach for big savings in memory and compute on long sequences.
الغوص العميق
يقارن الاهتمام الذاتي الكامل كل رمز مميز بكل رمز مميز آخر، وبالتالي فإن التكلفة تنمو مع مربع طول التسلسل، الأمر الذي يصبح مؤلمًا بالنسبة للمستندات الطويلة. يستبدل الاهتمام المتناثر النمط الكثيف بنمط منظم. تتضمن التصميمات الشائعة الاهتمام بالنافذة المنزلقة (المحلية)، حيث يرى كل رمز جيرانًا مجاورين فقط؛ الأنماط المتعرجة أو المتوسعة التي تتخطى للأمام للوصول إلى سياق بعيد بسعر رخيص؛ والرموز العالمية، وعدد قليل من المواقف الخاصة التي تهتم بكل شيء والتي يهتم بها كل شيء، وتعمل كمراكز معلومات. تجمع النماذج مثل Longformer وBigBird وSparse Transformer بين هذه العناصر بحيث ينمو العدد الإجمالي للاتصالات بشكل خطي تقريبًا بدلاً من التربيعي، مما يتيح سياقات من الآلاف إلى عشرات الآلاف من الرموز المميزة.
البصيرة الفنية
بدلاً من مصفوفة انتباه N-by-N الكاملة، يحسب الاهتمام المتناثر الإدخالات المحددة فقط، وغالبًا ما يكون ذلك عبارة عن اتحاد لنافذة محلية وحفنة من الصفوف والأعمدة العالمية. لقد أثبت BigBird أن الجمع بين الاتصالات العشوائية والنافذة والعالمية يحافظ على التعبير النظري للانتباه الكامل مع تقليل التعقيد من O(N تربيع) إلى O(N). تتخطى النواة الفعالة الإدخالات المقنعة بالكامل بدلاً من حسابها ثم تصفيرها.
التأثير الاستراتيجي
السرعة والحجم
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
الوصول والوصول
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
قرارات أوضح
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
مستقبل أنماط الانتباه المتناثر
يظل الاهتمام المتناثر أمرًا أساسيًا في نمذجة السياق الطويل، حيث يقترن بشكل متزايد بنواة محسّنة مثل FlashAttention ومع التناثر المتعلم أو الديناميكي الذي يختار الرموز المميزة التي يجب حضورها لكل إدخال. مع امتداد نوافذ السياق نحو ملايين الرموز المميزة، تمزج الأكوام الهجينة بين الطبقات المتناثرة والكثيفة وطبقات مساحة الحالة. توقع أن تعمل النوى المتفرقة المدركة للأجهزة والاهتمام القائم على التوجيه على تقليل تكلفة قراءة المدخلات الطويلة جدًا.
التنفيذ في العالم الحقيقي
تقوم شركة Longformer بمعالجة الأوراق العلمية أو المستندات القانونية بأكملها في مسار واحد باستخدام النافذة المنزلقة بالإضافة إلى الاهتمام العالمي
تتعامل BigBird مع الإجابة على أسئلة المستندات الطويلة وتسلسلات علم الجينوم مع الاهتمام بالقياس الخطي
تلخيص نص بطول الكتاب حيث يؤدي الاهتمام الكامل إلى استنفاد ذاكرة وحدة معالجة الرسومات
أنظمة الاسترجاع والدردشة ذات السياق الطويل التي تستخدم الرموز المميزة للمركز العالمي لتوجيه المعلومات الأساسية عبر آلاف الرموز المميزة
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sparse Attention Patterns quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
كتلة متفرقة والانتباه المتناثر الأصلي
الأسئلة المتداولة
What is Sparse Attention Patterns?
الاهتمام المتناثر يجعل المحولات أرخص من خلال السماح لكل رمز بالاهتمام فقط بمجموعة فرعية مختارة بعناية من الرموز الأخرى بدلاً من جميعها. يؤدي هذا إلى تحقيق القليل من الوصول العالمي لتحقيق وفورات كبيرة في الذاكرة والحساب على تسلسلات طويلة.
لماذا يكون الاهتمام الذاتي الكامل باهظ الثمن في التسلسلات الطويلة؟
يقارن الاهتمام الكامل كل رمز مميز بكل رمز مميز آخر، مما يعطي تكلفة O(N تربيع) في الوقت والذاكرة.
ما هو الاهتمام بالنافذة المنزلقة (المحلية)؟
يقيد الاهتمام المحلي عرض كل رمز مميز بنافذة ثابتة من الرموز المميزة المحيطة، مما يقلل التكلفة بشكل كبير.
ما هو الغرض من "الرموز العالمية" في الاهتمام المتناثر؟
ترتبط بعض الرموز العالمية بجميع المواقف، مما يسمح بتدفق المعلومات عبر التسلسل بأكمله بتكلفة زهيدة.
ما النموذج الذي أثبت أن الجمع بين الاهتمام العشوائي والنافذة والعالمية يحافظ على تعبير الانتباه الكامل؟
أظهرت BigBird أن نمطها المتناثر هو تقريب عالمي لوظائف التسلسل أثناء القياس الخطي تقريبًا.
كيف يتم تقريبًا قياس عدد الاتصالات في الاهتمام المتناثر المصمم جيدًا؟
من خلال تقييد الاتصالات بالنوافذ المحلية بالإضافة إلى عدد قليل من الارتباطات العالمية، ينمو إجمالي الاتصالات بشكل خطي.