ለትልቅ ሞዴሎች የ Tensor Parallelism
ለአንድ መሳሪያ በጣም ትልቅ የሆነ ሞዴል አሁንም መስራት እንዲችል ሒሳብን በአንድ የነርቭ-ኔትወርክ ንብርብር ውስጥ በበርካታ ጂፒዩዎች ውስጥ የምንከፋፈልበት መንገድ።
አጠቃላይ እይታ
አስፈላጊ ነው ምክንያቱም የድንበር ሞዴሎች በመቶ ቢሊዮን የሚቆጠሩ መለኪያዎች ስላሏቸው አንድም ጂፒዩ ብቻውን በፍጥነት ሊይዝ ወይም ማስላት አይችልም።
ጥልቅ ዳይቭ
Tensor parallelism (በተጨማሪም የውስጠ-ንብርብር ሞዴል ትይዩነት ተብሎ የሚጠራው) ሙሉ ንብርብሮችን በተለዩ መሳሪያዎች ላይ ከማስቀመጥ ይልቅ በጂፒዩዎች ላይ የነጠላ የክብደት ማትሪክቶችን ይሰብራል። በትራንስፎርመር ውስጥ ትልቁ የማትሪክስ ማባዛት - ትኩረት ትንበያ እና የግብአት ወደፊት ኤምኤልፒ - የተከፋፈሉ ናቸው፡- ለምሳሌ የMLP የመጀመሪያው የክብደት ማትሪክስ በአምዶች የተከፋፈለ ሲሆን ሁለተኛው ደግሞ በመደዳ የተከፋፈለ ስለሆነ እያንዳንዱ ጂፒዩ አንድ ቁራጭ ያሰላል እና አንድ ሁለንተናዊ ቅነሳ ውጤቱን ያጣምራል። እያንዳንዱ ጂፒዩ ንዑስ ስብስብን በማስተናገድ ትኩረት በጭንቅላት ላይ ተከፋፍሏል። እያንዳንዱ ጂፒዩ የንብርብሩን ከፊል በአንድ ጊዜ ስለሚያከናውን ፣ tensor parallelism በአንድ ጂፒዩ ማህደረ ትውስታን ይቀንሳል እና ስሌትን ያፋጥናል፣ ነገር ግን በእያንዳንዱ ንብርብር በጂፒዩዎች መካከል ተደጋጋሚ እና ከፍተኛ ባንድዊድዝ ግንኙነትን ይፈልጋል። ለዚያም ነው ብዙውን ጊዜ በNVLink በተገናኘ መስቀለኛ መንገድ ውስጥ እና ከቧንቧ መስመር እና የውሂብ ትይዩ ጋር ተጣምሮ በጣም ትልቅ የስልጠና እና የአገልግሎት ስራዎች።
ቴክኒካዊ ግንዛቤ
በሜጋትሮን-ኤልኤም ተወዳጅ የሆነው ብልሃቱ የክፋይ ልኬቶችን እየመረጠ ነው ስለዚህ ግንኙነቱ አነስተኛ ነው። የመጀመሪያውን ኤምኤልፒ ማትሪክስ አምድ-ጥበበኛ መከፋፈል እያንዳንዱ ጂፒዩ ምንም ማመሳሰል ሳይኖር በመስመር ላይ ያልሆነውን በአካባቢው እንዲተገበር ያስችለዋል። ሁለተኛውን ረድፍ በጥበብ መከፋፈል ማለት ውጤቶቹ ከፊል ውጤቶችን ለማጠቃለል አንድ ሁሉንም መቀነስ ብቻ ያስፈልጋቸዋል። ስለዚህ እያንዳንዱ ንብርብር በግምት ሁለት ሁሉንም የተቀነሰ (ወደ ፊት) እና ሁለት (ወደ ኋላ) ይወስዳል። እነዚህ ስብስቦች በየደረጃው ስለሚከሰቱ፣ መዘግየት የበላይ ነው -ስለዚህ ትይዩ ትይዩ እንደ NVLink ካሉ ፈጣን የኢንተር-ኖድ አውታረ መረቦች በስተጀርባ ይኖራል።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
ለትልቅ ሞዴሎች የ Tensor Parallelism የወደፊት ዕጣ
የ Tensor parallelism መሰረታዊ ሆኖ ይቆያል ነገር ግን ከጊዜ ወደ ጊዜ ወደ '3D parallelism' (tensor + pipeline + data) የተዋሃደ እና ከኤክስፐርቶች ቅልቅል-ኦፍ-ኤክስፐርቶች ሞዴሎች ጋር ተጣምሮ ነው። እንደ Megatron-LM፣ DeepSpeed እና vLLM ያሉ ማዕቀፎች ሻርዲንግን በራስ ሰር ያደርጋሉ። ጂፒዩ እርስ በርስ ሲተሳሰር (NVLink፣ NVSwitch) እና የጨረር ጨርቆች በፍጥነት እየጨመሩ ሲሄዱ የመስቀለኛ ድንበሩ ወሰን ዘና ይላል፣ ይህም ሰፊ አስር-ትይዩ ቡድኖችን ይፈቅዳል። ለተወሰነ የክላስተር ቶፖሎጂ ግንኙነትን ለመቀነስ የሸርተቴ ልኬቶችን እና የቡድን መጠኖችን የሚመርጥ ይበልጥ ብልጥ ራስ-ትይዩ ይጠብቁ።
የእውነተኛ-ዓለም አተገባበር
ሜጋትሮን-ኤልኤምን በመጠቀም የእያንዳንዱን ንብርብር የክብደት ማትሪክስ በ8 ጂፒዩዎች ላይ በአንድ NVLink በተገናኘ መስቀለኛ መንገድ በመከፋፈል ባለ 175B-parameter ሞዴል ማሰልጠን።
የ70B-parameter chat ሞዴልን በvLLM በ tensor_parallel_size=4 ማገልገል ስለዚህ ክብደቶቹ ከአራት ጂፒዩዎች ጋር እንዲገጣጠሙ እና በእውነተኛ ጊዜ ምላሽ ይስጡ።
እያንዳንዱ መሣሪያ ንዑስ ስብስብን ያሰላል፣ ከዚያም ለቀጣዩ ንብርብር ውጽዓቶችን ያዘጋጃል።
በትላልቅ የጂፒዩ ስብስቦች ላይ የትሪሊዮን መለኪያ ሞዴሎችን ለማሰልጠን በኖዶች ውስጥ የ tensor parallelism እና የቧንቧ መስመር ትይዩነትን በማጣመር በመስቀለኛ መንገድ ላይ።
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tensor Parallelism for Large Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
ሞዴል እና የቧንቧ መስመር ትይዩ
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
ለትልቅ ሞዴሎች የ Tensor ትይዩነት ምንድነው?
ለአንድ መሳሪያ በጣም ትልቅ የሆነ ሞዴል አሁንም መስራት እንዲችል ሒሳብን በአንድ የነርቭ-ኔትወርክ ንብርብር ውስጥ በበርካታ ጂፒዩዎች ውስጥ የምንከፋፈልበት መንገድ። ምንም እንኳን የድንበር ሞዴሎች ምንም ነጠላ ጂፒዩ በበቂ ፍጥነት ሊይዝ ወይም ሊሰላ የማይችላቸው በመቶዎች የሚቆጠሩ መለኪያዎች ስላሏቸው አስፈላጊ ነው።
የ tensor parallelism በጂፒዩዎች መካከል የሚከፋፈለው ምንድን ነው?
Tensor (intra-layer) ትይዩነት በአንድ ንብርብር ውስጥ ያሉትን የክብደት ማትሪክስ ይሰብራል፣ ስለዚህ እያንዳንዱ ጂፒዩ የተመሳሳዩን ንብርብር ክፍል ያሰላል—ከቧንቧ መስመር ትይዩ የተለየ፣ ይህም ሙሉ ንብርብሮችን በተለያዩ ጂፒዩዎች ላይ ያስቀምጣል።
በMegatron-style MLP ክፍፍል፣ ግንኙነትን ለመቀነስ ሁለቱ የክብደት ማትሪክስ እንዴት ይከፋፈላሉ?
የመጀመሪያውን ማትሪክስ በአምዶች መከፋፈል እያንዳንዱ ጂፒዩ የመስመር ላይ አለመሆኑን በአካባቢው እንዲተገበር ያስችለዋል። ሁለተኛውን በመደዳ መከፋፈል ማለት አንድ ነጠላ ሁሉንም የሚቀንስ ከፊል ውጤቶቹን ያጠቃልላል - ማመሳሰልን ይቀንሳል።
ለምንድነው tensor parallelism ብዙውን ጊዜ በአንድ መስቀለኛ መንገድ ውስጥ የሚቀመጠው?
እያንዳንዱ ንብርብር የጋራ ግንኙነትን (ሁሉንም ይቀንሳል) ያስነሳል፣ ስለዚህ ከባዱ፣ መዘግየት-ትብ ትራፊክ ከዘገየ የመሃል-ኖድ አውታረ መረቦች ይልቅ እንደ NVLink ያሉ ፈጣን የውስጥ-መስቀለኛ መንገዶችን ይፈልጋል።
የትኩረት ዘዴ በ tensor parallelism ስር በተለምዶ እንዴት ትይዩ ነው?
የትኩረት ራሶች ገለልተኛ ናቸው፣ ስለዚህ በጂፒዩዎች ላይ ይሰራጫሉ - እያንዳንዱ መሳሪያ የተወሰኑ ጭንቅላትን ያሰላል እና ውጤቶቹ ይጣመራሉ።
በ tensor parallelism ውስጥ ከፊል ውጤቶችን በተለምዶ የሚያጣምረው የትኛው የጋራ አሠራር ነው?
በንብርብሩ ውጤት ላይ እንዲስማሙ በእያንዳንዱ ጂፒዩ ላይ የሚሰሉት ከፊል ውጽዓቶች ሁሉንም-ቅነሳ ድምር። ይህ በአንድ ንብርብር ብዙ ጊዜ ወደ ፊት እና ወደ ኋላ ማለፊያዎች ይከሰታል።