जीपीयू शेड्यूलिंग और क्लस्टर ऑर्केस्ट्रेशन

Together they keep expensive GPUs busy, fair, and reliable for many users and workloads.

एक साझा एआई क्लस्टर में, दर्जनों उपयोगकर्ता दुर्लभ जीपीयू के लिए प्रतिस्पर्धा करते हैं, जिनमें से प्रत्येक की कीमत हजारों डॉलर हो सकती है। एक शेड्यूलर प्रत्येक कार्य की आवश्यकताओं (जीपीयू, मेमोरी, टोपोलॉजी की संख्या) को उपलब्ध हार्डवेयर से मेल खाता है, प्राथमिकताओं और उचित-शेयर कोटा को लागू करता है, और क्लस्टर भर जाने पर कतारें काम करती हैं। ऑर्केस्ट्रेशन आगे बढ़ता है: यह कंटेनर रखता है, डेटा माउंट करता है, विफलताओं को संभालता है, दुर्घटनाग्रस्त श्रमिकों को फिर से शुरू करता है, और मल्टी-नोड वितरित प्रशिक्षण को एक साथ जोड़ता है। NVIDIA डिवाइस प्लगइन और ज्वालामुखी या क्यू जैसे ऐड-ऑन के साथ कुबेरनेट्स गैंग शेड्यूलिंग को संभालता है, जहां वितरित नौकरी के सभी श्रमिकों को एक साथ शुरू करना होगा या किसी को भी नहीं करना होगा। अच्छा शेड्यूलिंग जीपीयू इंटरकनेक्ट टोपोलॉजी, सह-स्थान निर्धारण रैंकों का भी सम्मान करता है जिन्हें धीमी क्रॉस-नोड बाधाओं से बचने के लिए तेज़ एनवीलिंक संचार की आवश्यकता होती है।