ሞዴል እና የቧንቧ መስመር ትይዩ
አንድ ሞዴል በአንድ ጂፒዩ ላይ የማይመጥን በጣም ትልቅ ሲሆን የሞዴል እና የቧንቧ መስመር ትይዩ ሞዴሉን በራሱ በመሳሪያዎች ይከፋፍለዋል።
አጠቃላይ እይታ
This is what makes training giant language models with hundreds of billions of parameters physically possible.
ጥልቅ ዳይቭ
የሞዴል ትይዩነት አንድ ነጠላ ሞዴል በበርካታ ጂፒዩዎች ላይ ስለሚከፋፍል ማንም መሳሪያ ሁሉንም ክብደት መያዝ አያስፈልገውም። ሁለት ዋና ጣዕሞች አሉ. Tensor (intra-layer) ትይዩ ሒሳብን በአንድ ንብርብር ውስጥ ይከፍላል፣ እንደ ትልቅ ማትሪክስ ብዜት በጂፒዩዎች ላይ መቁረጥ እያንዳንዱ የውጤቱን ክፍል ያሰላል። የቧንቧ መስመር (ኢንተር-ንብርብር) ትይዩነት የተለያዩ ተከታታይ ንብርብሮችን ለተለያዩ ጂፒዩዎች ይመድባል፣ ስለዚህ ንብርብር ብሎክ 1 በጂፒዩ 0 ላይ ፣ 2 ብሎክ በጂፒዩ 1 እና ሌሎችም ፣ እንቅስቃሴዎች እንደ መገጣጠም መስመር ወደፊት ይተላለፋሉ። የዋህ ፓይፕሊንግን ፈታኝ የሆነው 'አረፋ' ነው፡ ጂፒዩ 0 በመጀመሪያው ባች ላይ ሲሰራ፣ የታችኛው ጂፒዩዎች ስራ ፈትተው ይቀመጣሉ። የቧንቧ መስመር ዝርጋታ እያንዳንዱን ክፍል ወደ ማይክሮ-ባች ይከፍላል ስለዚህ ሁሉም ደረጃዎች በሥራ የተጠመዱ ይቆያሉ, ይህም አጠቃቀሙን በእጅጉ ያሻሽላል.
ቴክኒካዊ ግንዛቤ
የ Tensor parallelism (በNVDIA Megatron-LM እንዳለው) የክብደት ማትሪክቶችን አምድ- ወይም በረድፍ-ጥበብን ይከፋፍላል እና ሁሉንም-መቀነስ ከፊል ውጤቶችን ለማጣመር ይጠቀማል፣ ግንኙነትን በፈጣን የNVLink መስቀለኛ መንገድ ውስጥ ያስቀምጣል። የቧንቧ መስመር ትይዩ (GPipe, PipeDream) ባችውን ወደ ማይክሮ-ባተሮቹ ይከፍላል, በደረጃ መርሃ ግብር ውስጥ በደረጃ የሚፈሱ, የስራ ፈት 'አረፋ' ጊዜ ይቀንሳል. ሁለቱ ብዙውን ጊዜ አንድ ላይ ይደረደራሉ፣ በ tensor ትይዩ በመስቀለኛ መንገድ እና የቧንቧ መስመር በመስቀለኛ መንገድ ትይዩ ናቸው።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የወደፊቱ ሞዴል እና የቧንቧ መስመር ትይዩነት
ማዕቀፎች አንድን ሞዴል በመሳሪያዎች ላይ እንዴት እንደሚከፋፈሉ የመወሰንን ከባድ ችግርን በራስ ሰር ያዘጋጃሉ፣ ፕሮፋይሊንግ እና ፍለጋን በመጠቀም ስሌት እና ግንኙነትን ማመጣጠን። የታንሰር፣ የቧንቧ መስመር እና የውሂብ ትይዩነት (3D parallelism)፣ የቧንቧ መስመር አረፋዎችን ለማስወገድ ይበልጥ ብልጥ የሆነ የማይክሮ-ባች መርሐግብር፣ እና ሃርድዌር ፈጣን ትስስር ያለው በመሆኑ አንድ ንብርብር በቺፕስ ላይ መከፋፈል ርካሽ እና ሁልጊዜም ለሚያድጉ ሞዴሎች መደበኛ እንዲሆን ይጠብቁ።
የእውነተኛ-ዓለም አተገባበር
የጂፒቲ አይነት ሞዴሎችን ከNVadia Megatron-LM ጋር ማሰልጠን፣ ይህም የእያንዳንዱን የትራንስፎርመር ንብርብር ትኩረት እና መጋቢ ማትሪክስ በጂፒዩዎች በ tensor parallelism በኩል የሚከፋፍል።
GPipe ን በመጠቀም የተለያዩ የግዙፍ እይታ ወይም የቋንቋ ሞዴልን በተለያየ አፋጣኝ ላይ ለማስቀመጥ ማይክሮ-ባኪንግ ስራ እንዲበዛባቸው ያደርጋቸዋል።
DeepSpeed's pipeline engine ባለ ብዙ መቶ ቢሊየን መለኪያ ሞዴልን በበርካታ አንጓዎች ላይ በደረጃ በመከፋፈል።
በአንድ ባለ 8-ጂፒዩ አገልጋይ ውስጥ የ tensor parallelismን በማጣመር የቧንቧ መስመር ትይዩ በርካታ አገልጋዮችን በማጣመር ለአንድ ማሽን በጣም ትልቅ የሆነ ሞዴልን ለማሰልጠን።
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Model and Pipeline Parallelism quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
ለትልቅ ሞዴሎች የ Tensor Parallelism
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Model and Pipeline Parallelism?
አንድ ሞዴል በአንድ ጂፒዩ ላይ የማይመጥን በጣም ትልቅ ሲሆን የሞዴል እና የቧንቧ መስመር ትይዩ ሞዴሉን በራሱ በመሳሪያዎች ይከፋፍለዋል። በመቶ ቢሊየን የሚቆጠሩ መለኪያዎች ያላቸውን ግዙፍ የቋንቋ ሞዴሎችን በአካል ማሰልጠን እንዲቻል የሚያደርገው ይህ ነው።
የሞዴል እና የቧንቧ መስመር ትይዩ ምን መሰረታዊ ችግር ይፈታል?
የሞዴል እና የቧንቧ መስመር ትይዩ ሞዴሉን በራሱ በመሳሪያዎች ላይ በመከፋፈል ከማንኛውም ነጠላ ጂፒዩ ሊይዝ ከሚችለው እጅግ በጣም የሚበልጥ የአውታረ መረቦችን ማሰልጠን ያስችላል።
Tensor (intra-layer) ትይዩ ክፍፍል እንዴት ይሰራል?
Tensor parallelism ስሌቱን በአንድ ንብርብር ውስጥ ይከፋፍላል፣ ለምሳሌ ትልቅ የክብደት ማትሪክስ መከፋፈል እያንዳንዱ ጂፒዩ የውጤቱን ክፍል ያሰላል።
በ naive pipeline parallelism ውስጥ ያለው 'አረፋ' ምንድን ነው?
በቧንቧ መስመር መጀመሪያ ላይ፣ የታችኛው ተፋሰስ ደረጃዎች እስካሁን ምንም ግብአት የላቸውም እና ስራ ፈትተው ተቀምጠዋል፣ የጂፒዩ ጊዜን በማባከን; ይህ የስራ ፈት ክፍተት አረፋ ተብሎ ይጠራል.
የቧንቧ መስመር ትይዩነት አረፋውን እንዴት ይቀንሳል?
ባች ወደ ማይክሮ ባች መከፋፈል ብዙ ማይክሮ-ባችች በአንድ ጊዜ የተለያዩ ደረጃዎችን እንዲይዙ ያስችላቸዋል፣ ሁሉንም ጂፒዩዎች ስራ ላይ እንዲውሉ እና የስራ ፈት ጊዜ እንዲቀንስ ያደርጋል።
የ tensor parallelism በተለምዶ በነጠላ መስቀለኛ መንገድ ውስጥ ለምን ይጠበቃል?
የ Tensor parallelism ከፊል የማትሪክስ ውጤቶችን ለማጣመር በተደጋጋሚ ይገናኛል፣ ስለዚህ የተገናኘው የመተላለፊያ ይዘት ከፍተኛ በሆነበት፣ በNVLink ላይ ባለው መስቀለኛ መንገድ ውስጥ ይቀመጣል።