نمذجة السياق الطويل
تتيح نمذجة السياق الطويل لنموذج اللغة القراءة والتفكير في مدخلات كبيرة جدًا في وقت واحد، من مئات الصفحات إلى قواعد التعليمات البرمجية بأكملها.
نظرة عامة
الأمر مهم لأن نافذة السياق الأكبر تغير ما هو ممكن دون الاسترجاع أو الضبط الدقيق أو تقسيم المستندات.
الغوص العميق
نافذة سياق النموذج هي الحد الأقصى لعدد الرموز المميزة التي يمكنه الوصول إليها في مسار واحد. تعاملت النماذج المبكرة مع بضعة آلاف من الرموز المميزة؛ الأنظمة الحديثة تصل إلى مئات الآلاف أو حتى الملايين. وتتمثل العقبة الأساسية في أن تكاليف الاهتمام الذاتي القياسية تنمو بشكل تربيعي مع طول التسلسل، وبالتالي فإن مضاعفة المدخلات تؤدي إلى مضاعفة العمل أربع مرات تقريبًا. يحارب المهندسون هذه المشكلة باستخدام ترميزات أكثر ذكاءً للمواضع مثل RoPE وحيل القياس الخاصة بها، ومتغيرات الانتباه مثل النافذة المنزلقة وFlashAttention، وإدارة الذاكرة الذكية. لكن النافذة الأطول ليست تلقائيًا أفضل. تُظهر مشكلة "الضياع في المنتصف" أن النماذج غالبًا ما تستدعي المعلومات في بداية ونهاية إدخال طويل بشكل أكثر موثوقية من الحقائق المدفونة في المنتصف، لذلك يجب أن يقترن الطول الأولي باستدعاء حقيقي قابل للاستخدام.
البصيرة الفنية
يقارن الاهتمام الذاتي كل رمز مميز بكل رمز مميز آخر، مما يعطي O(n تربيع) حسابًا وذاكرة في طول التسلسل n. هذا القياس التربيعي هو سبب ارتفاع تكلفة السياقات الطويلة. يعمل FlashAttention على تقليل عنق الزجاجة في الذاكرة من خلال حساب متجانب مدرك للإدخال والإخراج يتجنب كتابة مصفوفة الانتباه الكاملة إلى الذاكرة، بينما يحد انتباه النافذة المنزلقة من كل رمز مميز إلى حي محلي. تتيح عمليات تضمين الموضع الدوار (RoPE)، غالبًا مع الاستيفاء، تعميم النماذج على أطوال تسلسلية أطول مما تم تدريبها عليه.
التأثير الاستراتيجي
السرعة والحجم
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
الوصول والوصول
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
قرارات أوضح
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
مستقبل نمذجة السياق الطويل
ستستمر نوافذ السياق في النمو، لكن الحدود ستتحول من الطول الكامل إلى الاستخدام الفعال لها: استرجاع أفضل للسياق الأوسط، وتكلفة أقل لكل رمز مميز، واستدلال موثوق به عبر النافذة بأكملها. توقع تكاملًا أكثر إحكامًا مع الاسترجاع بحيث تسحب النماذج ما يهم فقط، بالإضافة إلى التخزين المؤقت الفوري الذي يعيد استخدام سياق ثابت طويل بتكلفة زهيدة عبر العديد من الاستعلامات. تهدف البنى التي تمزج الانتباه مع نماذج مساحة الحالة مثل Mamba إلى التعامل مع تسلسلات طويلة جدًا بمقياس شبه خطي.
التنفيذ في العالم الحقيقي
لصق عقد كامل مكون من 100 صفحة في موجه واحد ومطالبة النموذج بوضع علامة على كل بند يتعارض مع سياسة معينة.
تحميل قاعدة تعليمات برمجية كاملة أو وحدة كبيرة حتى يتمكن النموذج من تتبع الخلل عبر العديد من الملفات دون استرجاع يدوي لكل ملف على حدة.
تلخيص كتاب كامل أو نص اجتماع طويل في مسار واحد مع الحفاظ على اتساق المراجع طوال الوقت.
تغذية العديد من تذاكر الدعم السابقة مرة واحدة حتى يجيب النموذج على تذكرة جديدة مع عرض السجل الكامل.
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long-Context Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
الاستيفاء الموضعي للسياق الطويل
الأسئلة المتداولة
ما هي النمذجة ذات السياق الطويل؟
تتيح نمذجة السياق الطويل لنموذج اللغة القراءة والتفكير في مدخلات كبيرة جدًا في وقت واحد، من مئات الصفحات إلى قواعد التعليمات البرمجية بأكملها. إنه أمر مهم لأن نافذة السياق الأكبر تغير ما هو ممكن دون استرجاع المستندات أو ضبطها أو تقسيمها.
ما الذي تشير إليه "نافذة السياق" الخاصة بالنموذج؟
نافذة السياق هي ميزانية الرمز المميز التي يمكن للنموذج قراءتها والتفكير فيها في وقت واحد في تمريرة أمامية واحدة.
لماذا يصبح الاهتمام الذاتي القياسي مكلفًا بالنسبة للمدخلات الطويلة؟
يقارن الاهتمام الذاتي كل رمز مميز بكل رمز مميز آخر، لذا فإن مقاييس التكلفة مثل O(n تربيع) في طول التسلسل n.
ما هي مشكلة "الضياع في المنتصف"؟
تظهر الدراسات انخفاضًا في دقة الاسترجاع للمحتوى الموجود في منتصف سياق طويل، لذا فإن الطول وحده لا يضمن التذكر.
ما الذي يحسّنه FlashAttention بشكل أساسي؟
يحسب FlashAttention الانتباه في المربعات دون تحقيق مصفوفة الانتباه الكاملة في الذاكرة، مما يخفف من تكلفة الذاكرة للتسلسلات الطويلة.
ما هو الدور الذي تلعبه عمليات تضمين الموضع الدوار (RoPE) في نماذج السياق الطويل؟
يقوم RoPE بتشفير معلومات الموقع النسبية ويمكن استيفاءها بحيث يتعامل النموذج مع تسلسلات أطول من طول التدريب الخاص به.