التاليالدليل التالي
أنماط الاهتمام المتفرقة
لغة الذكاء الاصطناعي
الدليل الفني
كتلة متفرقة والانتباه المتناثر الأصلي
يتيح الاهتمام المتناثر والكتلة المتفرقة للمحولات الاهتمام فقط بالأجزاء الأكثر صلة بالتسلسل الطويل بدلاً من كل رمز مميز، مما يخفض التكلفة التربيعية للانتباه القياسي.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
وهذا ما يجعل النماذج الفعالة ذات السياق الطويل عملية على الأجهزة الحقيقية.
الغوص العميق
يقارن الاهتمام الذاتي القياسي كل رمز مميز بكل رمز مميز آخر، وبالتالي فإن التكلفة تنمو بشكل تربيعي مع طول التسلسل، مما يصبح محظورًا بالنسبة للمستندات الطويلة جدًا. يقيد الاهتمام المتناثر كل رمز مميز بمجموعة فرعية من الرموز الأخرى. تقسم أساليب الكتل المتفرقة التسلسل إلى كتل وتحسب الانتباه فقط لأزواج الكتل المحددة، والتي يتم تعيينها بكفاءة على نوى موتر وحدة معالجة الرسومات. يذهب Native Sparse Attention (NSA)، من DeepSeek، إلى أبعد من ذلك: فهو قابل للتدريب من طرف إلى طرف ومتوافق مع الأجهزة، ويجمع بين ثلاثة فروع، وضغط رمزي خشن، واختيار دقيق للكتل الأكثر أهمية، ونافذة منزلقة للسياق المحلي. ونظرًا لأن نمط التفرق يتم تعلمه أثناء التدريب المسبق بدلاً من تثبيته بعد ذلك، فإن NSA تحافظ على الدقة مع توفير سرعات كبيرة في تسلسلات طويلة.
التنفيذ في العالم الحقيقي
تشغيل نموذج على قاعدة تعليمات برمجية كاملة أو عقد قانوني طويل حيث يؤدي الاهتمام الكامل إلى استنفاد ذاكرة وحدة معالجة الرسومات.
تعمل NSA الخاصة بـ DeepSeek على تسريع كل من التدريب المسبق واستدلال السياق الطويل مع مطابقة دقة الانتباه الكامل أو التغلب عليها.
تلخيص المستندات بطول الكتاب من خلال الاطلاع على ملخصات الكتل المضغوطة بالإضافة إلى المقاطع ذات الصلة محليًا.
تسريع مساعدي الدردشة ذات السياق الطويل الذين تكون خطوة فك التشفير الخاصة بهم مرتبطة بالذاكرة عن طريق قصر كل رمز مميز على الكتل ذات التصنيف الأعلى.
مستقبل الكتلة المتناثرة والانتباه المتناثر الأصلي
أصبح التشتت القابل للتدريب والمدرك للأجهزة هو الطريق إلى سياق مليون رمز دون تكلفة باهظة. توقع أن يتم تصميم الاهتمام المتناثر بشكل مشترك مع النوى والمسرعات، ومزجه مع الاهتمام الخطي وأفكار مساحة الحالة، واعتماده في نماذج الحدود الطويلة والسياق والاستدلال. عندما تصبح الأنماط قابلة للتعلم وديناميكية، ستقوم النماذج بتخصيص ميزانية الاهتمام بشكل تكيفي لكل استعلام، وسوف تقيس المعايير بشكل متزايد إنتاجية فك التشفير على تسلسلات طويلة، وليس فقط الجودة الأولية.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Block-Sparse and Native Sparse Attention quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو الانتباه المتناثر والكتلة المتفرقة الأصلية؟
يتيح الاهتمام المتناثر والكتلة المتفرقة للمحولات الاهتمام فقط بالأجزاء الأكثر صلة بالتسلسل الطويل بدلاً من كل رمز مميز، مما يخفض التكلفة التربيعية للانتباه القياسي. وهذا ما يجعل النماذج ذات السياق الطويل الفعالة عملية على الأجهزة الحقيقية.
لماذا يعد الاهتمام الذاتي القياسي مكلفًا للتسلسلات الطويلة؟
يهتم كل رمز بكل رمز مميز آخر، لذا قم بقياس الحساب والذاكرة بمربع طول التسلسل.
ما هي الفكرة الأساسية للاهتمام المتناثر؟
يتم تقسيم التسلسل إلى كتل ويتم حساب الانتباه فقط لأزواج الكتل المختارة، والتي يتم أيضًا تعيينها جيدًا على نوى موتر وحدة معالجة الرسومات.
ما الذي يجعل الانتباه المتفرق الأصلي (NSA) مختلفًا عن العديد من الأساليب المتفرقة السابقة؟
تتعلم NSA نمطها المتفرق أثناء التدريب المسبق وهي مصممة للتوافق مع الأجهزة، لذلك تحافظ على الدقة أثناء التشغيل السريع.
ما هي الفروع الثلاثة التي تجمعها وكالة الأمن القومي لمفاتيحها وقيمها؟
تقوم NSA بدمج ضغط الرمز المميز واختيار الكتل الدقيقة والنافذة المنزلقة المحلية باستخدام البوابات المستفادة.
لماذا تستخدم وكالة الأمن القومي العمليات على مستوى الكتلة بدلاً من التشتت التعسفي على مستوى الرمز المميز؟
تتناسب أنماط الوصول على مستوى الكتلة مع أجهزة وحدة معالجة الرسومات، لذا تصبح مدخرات FLOP النظرية عمليات تسريع فعلية لساعة الحائط.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع