বড় মডেল কুইজের জন্য টেনসর সমান্তরালতা

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. জিপিইউ জুড়ে টেনসর সমান্তরালতা কী বিভক্ত?
   • একটি একক স্তরের মধ্যে ওজন ম্যাট্রিক্স
   • সম্পূর্ণ স্তরগুলি পৃথক GPU-তে স্থাপন করা হয়েছে
   • বিভিন্ন প্রশিক্ষণ ডেটাসেট
   • অপ্টিমাইজার শেখার হার
2. মেগাট্রন-স্টাইলের এমএলপি বিভাজনে, যোগাযোগ কমানোর জন্য দুটি ওজন ম্যাট্রিক্স কীভাবে বিভাজিত হয়?
   • উভয় কলাম অনুযায়ী
   • প্রথম কলাম অনুসারে, দ্বিতীয় সারি অনুসারে
   • উভয় সারি অনুসারে
   • তারা মোটেও বিভক্ত নয়
3. কেন টেনসর সমান্তরালতা সাধারণত একটি একক নোডের মধ্যে রাখা হয়?
   • নোড GPU চালাতে পারে না
   • বিভিন্ন নোডের জিপিইউ বিভিন্ন গণিত ব্যবহার করে
   • এটির জন্য ঘন ঘন উচ্চ-ব্যান্ডউইথ যোগাযোগ প্রয়োজন যা NVLink দ্বারা সর্বোত্তম পরিবেশিত হয়
   • এটি একটি আইনি প্রয়োজন
4. কিভাবে মনোযোগ প্রক্রিয়া সাধারণত টেনসর সমান্তরাল অধীনে সমান্তরাল হয়?
   • প্রতিটি জিপিইউকে অপ্রয়োজনীয়ভাবে সম্পূর্ণ মনোযোগ গণনা দেওয়ার মাধ্যমে
   • মনোযোগ সম্পূর্ণভাবে এড়িয়ে যাওয়ার মাধ্যমে
   • একটি convolution মনোযোগ রূপান্তর করে
   • মনোযোগের মাথা জুড়ে বিভক্ত করে, প্রতিটি GPU একটি উপসেট পরিচালনা করে
5. কোন সমষ্টিগত অপারেশন সাধারণত টেনসর সমান্তরালে আংশিক ফলাফলকে একত্রিত করে?
   • একটি সব কমানো
   • একটি ফাইল কপি
   • একটি ডাটাবেস যোগদান
   • একটি DNS সন্ধান
6. কীভাবে টেনসর সমান্তরালতা সাধারণত '3D সমান্তরালতার' সাথে ফিট করে?
   • এটি সমান্তরালতার অন্যান্য সমস্ত রূপ প্রতিস্থাপন করে
   • এটি পাইপলাইন এবং ডেটা সমান্তরালতার সাথে মিলিত হয়
   • এটি শুধুমাত্র অন্য কোন সমান্তরালতা ছাড়াই কাজ করে
   • এটি শুধুমাত্র ইমেজ মডেলের জন্য ব্যবহৃত হয়
7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
   • The GPUs each hold a different optimizer
   • The result is a vocabulary probability that must be sorted
   • Each GPU computed a partial contribution to the same output, so the pieces must be summed
   • The model needs to average separate datasets
8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
   • Tensor parallelism never communicates between GPUs
   • The attention mask must be copied after every token
   • Every GPU trains a separate model
   • Collectives are required repeatedly within layers, so communication latency accumulates