التاليالدليل التالي
كتلة متفرقة والانتباه المتناثر الأصلي
التقنية
دليل اللغة AI
أنماط الاهتمام المتفرقة
الاهتمام المتناثر يجعل المحولات أرخص من خلال السماح لكل رمز بالاهتمام فقط بمجموعة فرعية مختارة بعناية من الرموز الأخرى بدلاً من جميعها.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
This trades a little global reach for big savings in memory and compute on long sequences.
الغوص العميق
يقارن الاهتمام الذاتي الكامل كل رمز مميز بكل رمز مميز آخر، وبالتالي فإن التكلفة تنمو مع مربع طول التسلسل، الأمر الذي يصبح مؤلمًا بالنسبة للمستندات الطويلة. يستبدل الاهتمام المتناثر النمط الكثيف بنمط منظم. تتضمن التصميمات الشائعة الاهتمام بالنافذة المنزلقة (المحلية)، حيث يرى كل رمز جيرانًا مجاورين فقط؛ الأنماط المتعرجة أو المتوسعة التي تتخطى للأمام للوصول إلى سياق بعيد بسعر رخيص؛ والرموز العالمية، وعدد قليل من المواقف الخاصة التي تهتم بكل شيء والتي يهتم بها كل شيء، وتعمل كمراكز معلومات. تجمع النماذج مثل Longformer وBigBird وSparse Transformer بين هذه العناصر بحيث ينمو العدد الإجمالي للاتصالات بشكل خطي تقريبًا بدلاً من التربيعي، مما يتيح سياقات من الآلاف إلى عشرات الآلاف من الرموز المميزة.
التنفيذ في العالم الحقيقي
تقوم شركة Longformer بمعالجة الأوراق العلمية أو المستندات القانونية بأكملها في مسار واحد باستخدام النافذة المنزلقة بالإضافة إلى الاهتمام العالمي
تتعامل BigBird مع الإجابة على أسئلة المستندات الطويلة وتسلسلات علم الجينوم مع الاهتمام بالقياس الخطي
تلخيص نص بطول الكتاب حيث يؤدي الاهتمام الكامل إلى استنفاد ذاكرة وحدة معالجة الرسومات
أنظمة الاسترجاع والدردشة ذات السياق الطويل التي تستخدم الرموز المميزة للمركز العالمي لتوجيه المعلومات الأساسية عبر آلاف الرموز المميزة
مستقبل أنماط الانتباه المتناثر
يظل الاهتمام المتناثر أمرًا أساسيًا في نمذجة السياق الطويل، حيث يقترن بشكل متزايد بنواة محسّنة مثل FlashAttention ومع التناثر المتعلم أو الديناميكي الذي يختار الرموز المميزة التي يجب حضورها لكل إدخال. مع امتداد نوافذ السياق نحو ملايين الرموز المميزة، تمزج الأكوام الهجينة بين الطبقات المتناثرة والكثيفة وطبقات مساحة الحالة. توقع أن تعمل النوى المتفرقة المدركة للأجهزة والاهتمام القائم على التوجيه على تقليل تكلفة قراءة المدخلات الطويلة جدًا.
وضعها موضع التنفيذ
لماذا يهم
- السرعة والحجم. يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
- الوصول والوصول. فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
- قرارات أوضح. يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
احترس من
- يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
- يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
- قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
الخطوات التالية
- حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
- استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
- احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
- تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Sparse Attention Patterns quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Sparse Attention Patterns?
الاهتمام المتناثر يجعل المحولات أرخص من خلال السماح لكل رمز بالاهتمام فقط بمجموعة فرعية مختارة بعناية من الرموز الأخرى بدلاً من جميعها. يؤدي هذا إلى تحقيق القليل من الوصول العالمي لتحقيق وفورات كبيرة في الذاكرة والحساب على تسلسلات طويلة.
لماذا يكون الاهتمام الذاتي الكامل باهظ الثمن في التسلسلات الطويلة؟
يقارن الاهتمام الكامل كل رمز مميز بكل رمز مميز آخر، مما يعطي تكلفة O(N تربيع) في الوقت والذاكرة.
ما هو الاهتمام بالنافذة المنزلقة (المحلية)؟
يقيد الاهتمام المحلي عرض كل رمز مميز بنافذة ثابتة من الرموز المميزة المحيطة، مما يقلل التكلفة بشكل كبير.
ما هو الغرض من "الرموز العالمية" في الاهتمام المتناثر؟
ترتبط بعض الرموز العالمية بجميع المواقف، مما يسمح بتدفق المعلومات عبر التسلسل بأكمله بتكلفة زهيدة.
ما النموذج الذي أثبت أن الجمع بين الاهتمام العشوائي والنافذة والعالمية يحافظ على تعبير الانتباه الكامل؟
أظهرت BigBird أن نمطها المتناثر هو تقريب عالمي لوظائف التسلسل أثناء القياس الخطي تقريبًا.
كيف يتم تقريبًا قياس عدد الاتصالات في الاهتمام المتناثر المصمم جيدًا؟
من خلال تقييد الاتصالات بالنوافذ المحلية بالإضافة إلى عدد قليل من الارتباطات العالمية، ينمو إجمالي الاتصالات بشكل خطي.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع