اختبار مرتبط بالدليل · متوسط المستوى
اختبار قياس الحوسبة في وقت الاختبار
قم بمراجعة حساب وقت الاستدلال، والبحث عن المرشحين، والتخصيص التكيفي، ومقايضات التكلفة وزمن الوصول التي تم قياسها في دراسات وقت الاختبار.
سؤال 1 من 8
ما الذي يشير إليه "حساب وقت الاختبار"؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما الذي يشير إليه "حساب وقت الاختبار"؟
- تم حساب الحساب في تدريب النموذج على البيانات
- الوقت المستغرق لتنزيل النموذج
- يتم إجراء الحساب عندما يجيب النموذج على استعلام عند الاستدلال
- الكهرباء المستخدمة لتبريد مراكز البيانات
- In test-time scaling studies, what can extra inference compute be used for?
- Changing the model’s training data during the request
- Increasing the number of model parameters automatically
- Guaranteeing correctness without evaluation
- Searching or revising candidate solutions and checking their quality
- ما هي المفاضلة الأساسية لقياس حساب وقت الاختبار؟
- دقة أعلى مقابل المزيد من الكمون والتكلفة
- ذاكرة أقل ولكن تدريب أبطأ
- المزيد من البيانات ولكن نماذج أصغر
- رسومات أفضل لدقة أقل
- ما هو أخذ العينات "الأفضل من بين N"؟
- التدريب على أكبر مجموعات البيانات N
- إنشاء إجابات مرشح N واختيار الأفضل
- استخدام الكلمات N الأولى فقط من الموجه
- تشغيل النموذج على أجهزة كمبيوتر مختلفة N للسرعة
- لماذا يعتبر حساب وقت الاختبار "محور قياس" جديدًا؟
- إنه يحل محل الحاجة إلى أي تدريب
- إنه يعمل فقط على النماذج الصغيرة
- يعمل على تحسين الأداء عن طريق إضافة حساب الاستدلال بدلاً من زيادة حجم النموذج فقط
- إنه يقلل من عدد المستخدمين الذين يمكن أن يخدمهم النموذج
- ما هي النتيجة المفاجئة التي يتيحها حساب وقت الاختبار؟
- يمكن تشغيل النماذج بدون أي وحدات معالجة رسومات
- تصبح بيانات التدريب غير ضرورية
- تجيب النماذج دائمًا بشكل أسرع
- يمكن لنموذج أصغر يفكر لفترة أطول أن ينافس نموذجًا أكبر بكثير يجيب على الفور
- What is one reason a fixed best-of-N strategy may waste inference compute?
- It spends the same candidate budget on easy and difficult prompts
- It modifies model weights on every query
- It cannot generate multiple candidates
- It eliminates the need for scoring
- What did the test-time compute paper compare with best-of-N sampling?
- A strategy that disables inference
- A compute-optimal strategy that allocates effort based on expected solution quality
- A larger tokenizer vocabulary
- A method that changes image resolution