বড় মডেলের জন্য টেনসর সমান্তরালতা

একাধিক GPU জুড়ে একটি একক নিউরাল-নেটওয়ার্ক স্তরের মধ্যে গণিতকে বিভক্ত করার একটি উপায় যাতে একটি ডিভাইসের জন্য খুব বড় একটি মডেল এখনও চলতে পারে। এটা গুরুত্বপূর্ণ কারণ ফ্রন্টিয়ার মডেলের শত শত বিলিয়ন প্যারামিটার রয়েছে যা কোনো একক GPU একাই যথেষ্ট দ্রুত ধরে রাখতে বা গণনা করতে পারে না।

টেনসর (ইন্ট্রা-লেয়ার) সমান্তরালতা একটি স্তরের অভ্যন্তরে ওজন ম্যাট্রিক্সগুলিকে ছোট করে, তাই প্রতিটি GPU একই স্তরের অংশ গণনা করে - পাইপলাইন সমান্তরালতা থেকে আলাদা, যা সম্পূর্ণ স্তরগুলিকে বিভিন্ন GPU-তে রাখে।

প্রথম ম্যাট্রিক্সকে কলাম দ্বারা বিভক্ত করা প্রতিটি GPU-কে স্থানীয়ভাবে অরৈখিকতা প্রয়োগ করতে দেয়; দ্বিতীয়টিকে সারি দ্বারা বিভক্ত করার অর্থ হল একটি একক সমস্ত-কমানোর যোগফল আংশিক আউটপুট—সমন্বয়কে কম করা।

প্রতিটি স্তর যৌথ যোগাযোগকে ট্রিগার করে (সমস্ত-কমায়), তাই ভারী, লেটেন্সি-সংবেদনশীল ট্র্যাফিক ধীর আন্তঃ-নোড নেটওয়ার্কের পরিবর্তে এনভিলিঙ্কের মতো দ্রুত ইন্ট্রা-নোড লিঙ্কের দাবি করে।

অ্যাটেনশন হেডগুলি স্বাধীন, তাই সেগুলি GPU গুলিতে বিতরণ করা হয়—প্রতিটি ডিভাইস কিছু হেড গণনা করে এবং আউটপুটগুলি একত্রিত হয়।

প্রতিটি জিপিইউতে গণনা করা আংশিক আউটপুটগুলির সমস্ত-কমানোর যোগফল যাতে তারা স্তরের ফলাফলে একমত হয়; এটি ফরওয়ার্ড এবং ব্যাকওয়ার্ড পাসে প্রতি স্তরে একাধিকবার ঘটে।