نظرة عامة
يؤدي انتباه النافذة المنزلقة إلى تقييد كل رمز مميز للانتباه فقط إلى حي ذي حجم ثابت من الرموز المميزة القريبة بدلاً من التسلسل بأكمله. يؤدي هذا إلى خفض التكلفة التربيعية للانتباه القياسي إلى تكلفة خطية، مما يجعل تشغيل نماذج السياق الطويل أرخص بكثير.
يعد Sliding Window Attention جزءًا من حزمة لغة الذكاء الاصطناعي المستخدمة لقراءة النص والكلام وإنشاءه وتصنيفه وتحويله على نطاق واسع.
الغوص العميق
يقارن الاهتمام الذاتي القياسي كل رمز مميز بكل رمز مميز آخر، لذا فإن تسلسل الطول N يتطلب مقارنات مربعة N تقريبًا. يعمل انتباه النافذة المنزلقة على إصلاح ذلك من خلال منح كل رمز نافذة بحجم W (على سبيل المثال 4096 رمزًا) والاهتمام فقط بالجيران داخل تلك النافذة. تنمو التكلفة بمقدار N مرات W بدلاً من N-squared. والأهم من ذلك، أن تكديس العديد من الطبقات ذات النوافذ يوسع مجال الاستقبال الفعال: بعد طبقات L، يمكن أن تنتشر المعلومات عبر رموز L تقريبًا W، مثل مجال الاستقبال المتنامي لشبكة CNN. قامت ميسترال 7B بنشر هذا من خلال نافذة تحتوي على 4096 رمزًا مميزًا عبر 32 طبقة، لتصل إلى نطاق نظري يبلغ 131 ألف رمز مميز. غالبًا ما تمزج النماذج الطبقات ذات النوافذ مع طبقات الاهتمام الكامل العرضية للحفاظ على الروابط طويلة المدى.
البصيرة الفنية
في قناع الانتباه، يُسمح للاستعلام في الموضع i فقط برؤية المفاتيح من المواضع i ناقص W بالإضافة إلى 1 إلى i (حالة سببية). يعني هذا القناع المتناثر أن ذاكرة التخزين المؤقت KV تحتاج فقط إلى رموز W الأخيرة لكل طبقة، مما يؤدي إلى خفض الذاكرة أثناء الإنشاء. نظرًا لأن النافذة تتغير مع كل رمز مميز جديد، فإنها تقترن بشكل طبيعي مع ذاكرة تخزين مؤقت متجددة تقوم بالكتابة فوق الإدخالات الأقدم بدلاً من النمو إلى الأبد.
إتقان الاهتمام بالنافذة المنزلقة
يؤدي انتباه النافذة المنزلقة إلى تقييد كل رمز مميز للانتباه فقط إلى حي ذي حجم ثابت من الرموز المميزة القريبة بدلاً من التسلسل بأكمله. يؤدي هذا إلى خفض التكلفة التربيعية للانتباه القياسي إلى تكلفة خطية، مما يجعل تشغيل نماذج السياق الطويل أرخص بكثير. يعد Sliding Window Attention جزءًا من حزمة لغة الذكاء الاصطناعي المستخدمة لقراءة النص والكلام وإنشائه وتصنيفه وتحويله على نطاق واسع. لبناء فهم عميق، تعامل مع Sliding Window Attention كنموذج تشغيل، وليس كميزة واحدة: حدد النتائج المرغوبة، ووضح الافتراضات، وفصل ما يمكن للنظام القيام به بشكل موثوق عما لا يزال يتطلب حكم الخبراء.
من الناحية العملية، تستخدم الفرق القوية نظام Sliding Window Attention للمطالبات والاسترجاع والمراجعة كنظام اتصال متكامل واحد. وهي تقوم بتوثيق معايير نجاح واضحة، واختبارها مقابل بيانات واقعية وسير العمل، والتكرار بناءً على أنماط الفشل الملحوظة بدلاً من الانتصارات المعيارية لمرة واحدة. وهذا هو المكان الذي يتحول فيه الفهم النظري إلى قدرة دائمة عبر المنتج والسياسة والعمليات.
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق. وفي الوقت نفسه، يمكن للحقائق المهلوسة أن تدخل التقارير أو التدفقات الداعمة أو مخرجات البحث بهدوء. ويتمثل النهج الأكثر مرونة في الجمع بين سرعة التجريب وانضباط الحوكمة: تشغيل البرامج التجريبية، والتقاط الأدلة، ونشر سجلات القرارات، وتحديث الضمانات بشكل مستمر مع تطور سلوك النموذج، وتوقعات المستخدم، والمتطلبات التنظيمية.
التأثير الاستراتيجي
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
فهو يوسع الوصول عبر اللغات وأنماط الاتصال. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
التنفيذ في العالم الحقيقي
يستخدم Mistral 7B نافذة منزلقة مكونة من 4096 رمزًا مميزًا عبر طبقاته للتعامل مع المطالبات الطويلة بسعر رخيص على وحدات معالجة الرسومات الاستهلاكية.
يطبق Longformer انتباه النوافذ بالإضافة إلى عدد قليل من الرموز العالمية لتصنيف وتلخيص المستندات متعددة الصفحات.
تقوم Gemma 2 بتبديل طبقات النافذة المنزلقة المحلية مع طبقات الاهتمام العالمي لتحقيق التوازن بين السرعة والاستدعاء بعيد المدى.
تحتفظ ذاكرة التخزين المؤقت KV ذات المخزن المؤقت المتداول في مساعدي الدردشة فقط بأحدث نافذة من الرموز المميزة، مما يؤدي إلى تحديد سقف للذاكرة أثناء المحادثات الطويلة.
أنماط التنفيذ
انزلاق النافذة الانتباه في الممارسة العملية
يستخدم Mistral 7B نافذة منزلقة مكونة من 4096 رمزًا مميزًا عبر طبقاته للتعامل مع المطالبات الطويلة بسعر رخيص على وحدات معالجة الرسومات الاستهلاكية.
يستخدم Mistral 7B نافذة منزلقة مكونة من 4,096 رمزًا مميزًا عبر طبقاته للتعامل مع المطالبات الطويلة بتكلفة زهيدة على وحدات معالجة الرسومات الاستهلاكية. عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد عتبات الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
انزلاق النافذة الانتباه في الممارسة العملية
يطبق Longformer انتباه النوافذ بالإضافة إلى عدد قليل من الرموز العالمية لتصنيف وتلخيص المستندات متعددة الصفحات.
يطبق Longformer الاهتمام على النوافذ بالإضافة إلى عدد قليل من الرموز العالمية لتصنيف وتلخيص المستندات متعددة الصفحات، وعادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
انزلاق النافذة الانتباه في الممارسة العملية
تقوم Gemma 2 بتبديل طبقات النافذة المنزلقة المحلية مع طبقات الاهتمام العالمي لتحقيق التوازن بين السرعة والاستدعاء بعيد المدى.
تقوم Gemma 2 بتبديل طبقات النافذة المنزلقة المحلية مع طبقات الاهتمام العالمي لتحقيق التوازن بين السرعة والاستدعاء بعيد المدى. عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد عتبات الجودة مقدمًا، وتحافظ على مسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
انزلاق النافذة الانتباه في الممارسة العملية
تحتفظ ذاكرة التخزين المؤقت KV ذات المخزن المؤقت المتداول في مساعدي الدردشة فقط بأحدث نافذة من الرموز المميزة، مما يؤدي إلى تحديد سقف للذاكرة أثناء المحادثات الطويلة.
تحتفظ ذاكرة التخزين المؤقت KV المخزنة مؤقتًا في مساعدي الدردشة فقط بأحدث نافذة من الرموز المميزة، وتحدد الذاكرة أثناء المحادثات الطويلة، وعادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.