اختبار مرتبط بالدليل · صعب المستوى
اختبار متوازي للبيانات مجزأة بالكامل
يغطي تجزئة FSDP، والتجميع وتقليل التشتت، وتداخل الاتصالات، ومقايضات الذاكرة مقابل الشبكة في تدريب النماذج الموزعة الكبيرة.
سؤال 1 من 8
ما الذي يقسمه FSDP عبر وحدات معالجة الرسومات ولا يفعله التوازي القياسي للبيانات؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما الذي يقسمه FSDP عبر وحدات معالجة الرسومات ولا يفعله التوازي القياسي للبيانات؟
- المعلمات والتدرجات وحالات المحسن
- دفعات الإدخال فقط
- فقط جدول معدل التعلم
- ملفات مجموعة بيانات التدريب على القرص
- ما هي العملية الجماعية التي يستخدمها FSDP لإعادة بناء الأوزان الكاملة للطبقة قبل حسابها مباشرة؟
- البث فقط
- كل جمع
- مبعثر
- الحاجز
- لماذا يقوم FSDP بتحرير الأوزان الكاملة المجمعة فورًا بعد حساب الطبقة؟
- لإفساد التدرجات غير المستخدمة
- لفرض حلقة تدريب أبطأ
- للحفاظ على بصمة الذاكرة الدائمة لجزء واحد فقط لكل جهاز
- لأن PyTorch يحذفها بشكل عشوائي
- ما هو النهج السابق لتحسين الذاكرة الذي تم استلهامه إلى حد كبير من FSDP؟
- MapReduce لـ Google
- أباتشي سبارك RDDs
- نوى CUDA من NVIDIA
- Microsoft's Zero (مُحسِّن عدم التكرار)
- كيف يخفي FSDP جزءًا كبيرًا من زمن وصول الشبكة من جمع الأوزان؟
- من خلال تداخل الاتصال مع الحساب، والجلب المسبق لمعلمات الطبقة التالية
- عن طريق تعطيل التمريرة الخلفية
- عن طريق ضغط الأوزان إلى بت واحد
- من خلال التدريب على وحدة المعالجة المركزية فقط
- ما هي العملية الجماعية التي توزع شرائح التدرج المجمعة مرة أخرى على وحدات معالجة الرسومات الخاصة بها في التمرير الخلفي؟
- الكل إلى الكل الازدواجية
- تقليل التشتت
- نسخة وحدة معالجة الرسومات (GPU) واحدة
- جمع فقط
- Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
- It removes all model parameters during training
- It converts optimizer states into network requests
- Each rank stores a shard of model state instead of a full copy
- It places every activation permanently on the CPU
- What is a central systems tradeoff in FSDP?
- Lower memory and no communication at any point
- More replicated parameters in exchange for fewer data samples
- Replacing training with inference
- Lower per-device memory use in exchange for collective communication