التحيز لموقف عليبي
يعد ALiBi (الانتباه إلى التحيزات الخطية) طريقة ذكية لمنح المحولات إحساسًا بترتيب الكلمات دون تضمين الموضع التقليدي.
نظرة عامة
It lets a model trained on short text handle much longer inputs at inference time.
الغوص العميق
لا تحتوي المحولات على فكرة مدمجة لترتيب الكلمات، لذا فهي بحاجة إلى طريقة لتشفير الموضع. يضيف النهج الكلاسيكي التضمينات الموضعية إلى المتجهات المميزة. ALiBi، الذي قدمته Press وSmith وLewis في عام 2021، يستبعد هؤلاء تمامًا. وبدلاً من ذلك، فإنه يحفز درجات الانتباه مباشرة: عندما ينظر رمز الاستعلام إلى رمز مميز، فإن ALiBi يطرح عقوبة تتناسب مع المسافة بينهما. الرموز المميزة المتباعدة تحصل على عقوبة أكبر، لذلك يفضل النموذج بشكل طبيعي السياق القريب. يحصل كل رأس انتباه على منحدر جزاء ثابت خاص به، لذا فإن بعض الرؤوس تنظر محليًا بينما يرى البعض الآخر أبعد. ولأن الانحياز هو مجرد دالة للمسافة، يقوم ALiBi باستقراء تسلسلات أطول بكثير من تلك التي شوهدت في التدريب.
البصيرة الفنية
بالنسبة للاستعلام في الموضع i والمفتاح في الموضع j، يضيف ALiBi m * (j - i) إلى درجة الانتباه الأولية قبل softmax، حيث m هو ثابت خاص بالرأس (تشكل المنحدرات تسلسلًا هندسيًا مثل 1/2، 1/4، 1/8). نظرًا لأن j أقل من أو يساوي i في الاهتمام السببي، فإن هذا المصطلح هو صفر أو سلبي، مما يعاقب الرموز البعيدة. لا تتم إضافة أي معلمات تم تعلمها أو تضمينات، وبالتالي فإن الحمل الوحيد هو مصفوفة التحيز المحسوبة مسبقًا.
التأثير الاستراتيجي
السرعة والحجم
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
الوصول والوصول
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
قرارات أوضح
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
مستقبل التحيز لموقف AliBi
أثبت ALiBi أن التحيزات النسبية القائمة على المسافة تغلبت على تضمينات الموضع المطلق لتعميم الطول، وتتغلغل هذه الفكرة الآن في التصميم الحديث للسياق الطويل. تفضل بعض النماذج الحديثة التضمين الدوار (RoPE) بدلاً من ذلك، لكن ALiBi يظل شائعًا حيث يكون الاستقراء الشديد مهمًا وقد تم استخدامه في نماذج مثل BLOOM وMPT. توقع استمرار التجارب المختلطة، التي تجمع بين التحيزات عن بعد وقياس RoPE، حيث تدفع المعامل نوافذ السياق نحو ملايين الرموز المميزة دون إعادة التدريب من الصفر.
التنفيذ في العالم الحقيقي
تدريب روبوت المحادثة على 1024 نموذجًا مميزًا ونشره على 4096 مستندًا مميزًا دون إعادة التدريب، بالاعتماد على استقراء ALiBi.
نموذج BLOOM 176B متعدد اللغات، الذي اعتمد ALiBi في التعامل مع موضعه.
نماذج MPT الخاصة بـ MosaicML، والتي استخدمت ALiBi للإعلان بشكل فعال عن طول سياق غير محدود عند الاستدلال.
تلخيص العقود القانونية الطويلة التي تتجاوز مدة التدريب الأصلية للنموذج، حيث يحافظ تحيز السياق القريب على تماسك الاهتمام.
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ALiBi Position Bias quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
استيفاء الموضع لتمديد السياق
الأسئلة المتداولة
What is ALiBi Position Bias?
يعد ALiBi (الانتباه إلى التحيزات الخطية) طريقة ذكية لمنح المحولات إحساسًا بترتيب الكلمات دون تضمين الموضع التقليدي. فهو يتيح للنموذج الذي تم تدريبه على النص القصير التعامل مع مدخلات أطول بكثير في وقت الاستدلال.
ما الذي يمثله ALiBi؟
ALiBi هو اختصار لكلمة Attention with Linear Biases، وقد سُميت نسبة إلى العقوبة الخطية التي تضيفها إلى درجات الانتباه.
كيف يعاقب ALiBi الرموز البعيدة؟
يقوم ALiBi بطرح قيمة تتناسب مع مسافة مفتاح الاستعلام من درجة الانتباه، بحيث تحصل الرموز المميزة الأبعد على وزن أقل.
ما هي الميزة العملية الأكثر شهرة لـ ALiBi؟
ونظرًا لأن الانحياز يعتمد فقط على المسافة، فإن النماذج المدربة على تسلسلات قصيرة يمكنها التعامل مع التسلسلات الأطول بكثير في وقت الاستدلال.
ما هو المختلف في الانحياز الخطي عبر رؤوس الانتباه؟
يعين ALiBi لكل رأس منحدرًا ثابتًا ومميزًا (على سبيل المثال، 1/2، 1/4، 1/8)، لذلك تحضر الرؤوس المختلفة في نطاقات مختلفة.
بالمقارنة مع التضمينات الموضعية التقليدية، كم عدد المعلمات التي تم تعلمها من ALiBi؟
لا يقدم ALiBi أي معلمات جديدة مكتسبة؛ المنحدرات لكل رأس هي ثوابت محددة مسبقًا.