बड़े मॉडलों के लिए टेन्सर समांतरता

एक एकल तंत्रिका-नेटवर्क परत के अंदर गणित को कई जीपीयू में विभाजित करने का एक तरीका ताकि एक डिवाइस के लिए बहुत बड़ा मॉडल अभी भी चल सके। यह मायने रखता है क्योंकि फ्रंटियर मॉडल में सैकड़ों अरब पैरामीटर होते हैं जिन्हें कोई भी जीपीयू अकेले पकड़ या तेज़ गति से गणना नहीं कर सकता है।

टेन्सर (इंट्रा-लेयर) समानता एक परत के अंदर वजन मैट्रिक्स को विभाजित करती है, इसलिए प्रत्येक जीपीयू एक ही परत के हिस्से की गणना करता है - पाइपलाइन समानता से अलग, जो पूरी परतों को अलग-अलग जीपीयू पर रखता है।

पहले मैट्रिक्स को कॉलम द्वारा विभाजित करने से प्रत्येक जीपीयू स्थानीय रूप से गैर-रैखिकता लागू कर सकता है; पंक्तियों द्वारा दूसरे को विभाजित करने का अर्थ है आंशिक आउटपुट के योग को एक एकल-कम करना - सिंक्रनाइज़ेशन को कम करना।

प्रत्येक परत सामूहिक संचार (ऑल-रिड्यूस) को ट्रिगर करती है, इसलिए भारी, विलंबता-संवेदनशील ट्रैफ़िक धीमे इंटर-नोड नेटवर्क के बजाय एनवीलिंक जैसे तेज़ इंट्रा-नोड लिंक की मांग करता है।

ध्यान शीर्ष स्वतंत्र हैं, इसलिए उन्हें जीपीयू में वितरित किया जाता है - प्रत्येक डिवाइस कुछ शीर्षों की गणना करता है और आउटपुट संयुक्त होते हैं।

प्रत्येक जीपीयू पर गणना किए गए आंशिक आउटपुट को ऑल-रिड्यूस करें ताकि वे परत के परिणाम पर सहमत हों; ऐसा आगे और पीछे के मार्ग में प्रति परत कई बार होता है।