اختبار مرتبط بالدليل · متوسط المستوى

اختبار نمذجة السياق الطويل

مراجعة نوافذ السياق، وتكاليف الانتباه، والاسترجاع الحساس للموضع، وFlashAttention، وتقييمات الاستخدام الفعال للسياق.

مسارات الدليل ذات الصلةنمذجة السياق الطويل
سؤال 1 من 8

ما الذي تشير إليه "نافذة السياق" الخاصة بالنموذج؟

معاينة كل سؤال8 أسئلة

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

  1. ما الذي تشير إليه "نافذة السياق" الخاصة بالنموذج؟
    • الحد الأقصى لعدد الرموز التي يمكن أن يحضرها في تمريرة واحدة
    • حجم شاشة واجهة الدردشة
    • عدد المستخدمين المسموح به في وقت واحد
    • كم من الوقت تم تدريب النموذج
  2. لماذا يصبح الاهتمام الذاتي القياسي مكلفًا بالنسبة للمدخلات الطويلة؟
    • ينمو خطيًا ورخيصًا دائمًا
    • ينمو حسابها وذاكرتها بشكل تربيعي مع طول التسلسل
    • لا يمكنه قراءة أكثر من رمز واحد
    • إنه يعمل فقط على الصور
  3. ما هي مشكلة "الضياع في المنتصف"؟
    • تنسى العارضات تدريبهن بالكامل
    • يمكن للنماذج قراءة منتصف المستند فقط
    • تتذكر النماذج المعلومات الموجودة في بداية ونهاية المدخلات الطويلة بشكل أفضل من الحقائق المدفونة في المنتصف
    • نماذج تترجم الوسط إلى لغة أخرى
  4. ما الذي يحسّنه FlashAttention بشكل أساسي؟
    • فهو يجعل إخراج النموذج نصًا أطول
    • ويضيف المزيد من بيانات التدريب تلقائيا
    • فهو يزيل الحاجة إلى أي اهتمام
    • إنه يقلل من عنق الزجاجة في الذاكرة من خلال حساب متجانب مدرك للإدخال
  5. ما هو الدور الذي تلعبه عمليات تضمين الموضع الدوار (RoPE) في نماذج السياق الطويل؟
    • فهي تقوم بتشفير مواضع الرمز، ومع الاستيفاء، تساعد في التعميم على تسلسلات أطول
    • يقومون بحذف الرموز المميزة من الإدخال
    • يترجمون النص بين اللغات
    • يقومون بتخزين أوزان النموذج
  6. What does prompt-cache research reuse across compatible requests?
    • The final answer regardless of the new query
    • Computed attention state for reusable prompt segments
    • A fixed set of token IDs without model computation
    • The model’s training data
  7. What does the RULER benchmark add beyond locating one isolated “needle” fact?
    • تصنيف الصور فقط
    • Audio transcription from waveforms
    • Tasks such as multi-hop tracing and aggregation over long contexts
    • GPU memory allocation benchmarks
  8. Why test several task types when measuring a model’s effective context length?
    • Every task uses the same computation
    • The advertised window guarantees all tasks work
    • Task type never affects context use
    • A model may handle simple retrieval yet fail to combine or track information across a long input