የቴክኒክ መመሪያ

ሙሉ በሙሉ የተከፋፈለ ውሂብ ትይዩ

ሙሉ በሙሉ የተከፋፈለ ዳታ ትይዩ (FSDP) የአንድን ሞዴል መለኪያዎች፣ ግሬዲየሮች እና አመቻች ግዛቶችን በበርካታ ጂፒዩዎች የሚከፋፍል የተሰራጨ የሥልጠና ዘዴ ነው ስለዚህ እያንዳንዱ መሣሪያ ቁራጭ ብቻ ይይዛል።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው ጁን 2 2026

አጠቃላይ እይታ

It makes training huge models possible on hardware that could never fit the whole model in one GPU's memory.

ጥልቅ ዳይቭ

ባህላዊ መረጃ ትይዩ የአምሳያው ሙሉ ቅጂ በእያንዳንዱ ጂፒዩ ላይ ያስቀምጣል፣ ይህም ማህደረ ትውስታን ያጠፋል እና የሞዴሉን መጠን ይሸፍናል። FSDP፣ በMeta's PyTorch ታዋቂ እና በMicrosoft's ZeRO አነሳሽነት፣ በምትኩ ሶስት ነገሮችን በመሳሪያዎች ላይ ያፈርሳል፡ መለኪያዎች፣ ግሬዲየሮች እና አመቻች ግዛቶች። ወደፊት በሚያልፍበት ጊዜ እያንዳንዱ ጂፒዩ ለሚያደርገው ንብርብር ሙሉ ክብደት በጊዜያዊነት ይሰበስባል፣ ስሌቱን ያስኬዳል፣ ከዚያም የተሰበሰበውን ቅጂ ወዲያውኑ ነጻ ያወጣል። የኋለኛው ማለፊያ በተመሳሳይ መልኩ ይሰራል፣ በመቀጠልም ቀስ በቀስ ቁርጥራጮቹን ወደራሳቸው ጂፒዩዎች የሚያሰራጭ የመቀነስ መበተን ይከተላል። እያንዳንዱ መሳሪያ የአምሳያው ክፍልፋይን ብቻ ስለሚያከማች፣ የማህደረ ትውስታ አጠቃቀም ከጂፒዩዎች ብዛት ጋር በግምት በመስመር ላይ ይወርዳል፣ ይህም ቡድኖች በአስር ወይም በመቶ ቢሊየን በሚቆጠሩ መለኪያዎች እንዲሰለጥኑ ያስችላቸዋል።

ቴክኒካዊ ግንዛቤ

FSDP ለማህደረ ትውስታ ቁጠባ ተጨማሪ ግንኙነትን ይገበያያል። የእያንዳንዱ ንብርብር ክብደቶች በፍላጎት እንደገና ይገነባሉ ከመጠቀምዎ በፊት ሁሉንም ይሰብስቡ እና ወዲያውኑ ይጣላሉ፣ ቅልበሞች ተጣምረው በመቀነስ ይከፋፈላሉ። የአሁኑ ንብርብር በሚሮጥበት ጊዜ የሚቀጥለውን የንብርብር መለኪያዎችን ቀድመው በማዘጋጀት ኮሙኒኬሽን ከስሌት ጋር መደራረብ ይቻላል፣ ይህም ብዙ የአውታረ መረብ መዘግየትን ይደብቃል። የሻርዲንግ ግራናላሪቲ (መጠቅለያ ፖሊሲ) የማስታወሻ ዱካውን ከግንኙነት በላይ ካለው ሚዛን ጋር ያስተካክላል።

ስልታዊ ተጽእኖ

ወጪ እና በጀት

የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.

ግልጽ ውሳኔዎች

የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።

የጥራት ቁጥጥር

የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.

ሙሉ በሙሉ የተከፋፈለ የውሂብ ትይዩ የወደፊት ጊዜ

FSDP ለክፍት ትልቅ ሞዴል ስልጠና ነባሪ እየሆነ ነው፣ FSDP2 በPyTorch ውስጥ አጠቃቀሙን እያሻሻለ እና በየፓራሜትር መከፋፈል። ለትሪሊዮን መለኪያ ሞዴሎች ከ tensor እና pipeline parallelism ጋር ጥብቅ ውህደትን ይጠብቁ፣የተደባለቀ ትክክለኛነትን እና fp8ን የተሻለ ድጋፍ እና ለእርስዎ የጥርጥር ድንበሮችን የሚመርጥ ይበልጥ ብልጥ የሆነ አውቶማቲክ መጠቅለያ ይጠብቁ። እንደ NVLink እና InfiniBand ያሉ የኢንተር-ጂፒዩ እርስ በርስ ሲተሳሰሩ፣ የሻርዲንግ የመገናኛ ዋጋ እየቀነሰ ይሄዳል፣ ይህም በትላልቅ ሚዛኖች ተግባራዊ ያደርገዋል።

የእውነተኛ-ዓለም አተገባበር

በ8 ጂፒዩዎች ላይ ባለ 70-ቢሊየን-ፓራሜትር ላማ ሞዴልን በጥሩ ሁኔታ ማስተካከል እና በተናጥል ሙሉውን ክብደት መያዝ አይችልም።

አመቻች ግዛቶችን (ከአዳም ጋር የማስታወስ ችሎታን የሚቆጣጠሩት) በመቶዎች በሚቆጠሩ አፋጣኞች ላይ በማካተት ትላልቅ የቋንቋ ሞዴሎችን በ AI ቤተ ሙከራዎች ቀድመው ማሰልጠን።

ተመራማሪዎች 80GB ጂፒዩዎችን ሳይገዙ ቪዥን ትራንስፎርመሮችን በዩኒቨርሲቲ ክላስተር ለማሰልጠን የፒቶርች ኤፍኤስዲፒ መጠቅለያ ተጠቅመዋል።

FSDPን ከተደባለቀ-ትክክለኛነት bfloat16 ጋር በማጣመር ማህደረ ትውስታን በግምት በግማሽ ለመቀነስ እና በመልቲ ሞዳል ሞዴሎች ላይ የስልጠና ውጤቱን ለማፋጠን።

አደጋዎች እና የጥበቃ መንገዶች

አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።

የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.

ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።

የትግበራ ፍኖተ ካርታ

ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።

ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።

ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።

ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።

ማሰስዎን ይቀጥሉ

AI ቤንችማርኮች

ቴክኒካዊ አማራጮችን ሲያወዳድሩ ግምገማን በአግባቡ ይጠቀሙ።

መመሪያ ያንብቡ

የማጠናከሪያ ትምህርት

ወደ ቴክኒካዊ የሥልጠና ስልቶች በጥልቀት ይሂዱ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Fully Sharded Data Parallel quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

የውሂብ ትይዩ

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Fully Sharded Data Parallel?

ሙሉ በሙሉ የተከፋፈለ ዳታ ትይዩ (FSDP) የአንድን ሞዴል መለኪያዎች፣ ግሬዲየሮች እና አመቻች ግዛቶችን በበርካታ ጂፒዩዎች የሚከፋፍል የተሰራጨ የሥልጠና ዘዴ ነው ስለዚህ እያንዳንዱ መሣሪያ ቁራጭ ብቻ ይይዛል። ሙሉውን ሞዴል በአንድ ጂፒዩ ማህደረ ትውስታ ውስጥ ፈጽሞ ሊገጥሙ በማይችሉ ሃርድዌር ላይ ግዙፍ ሞዴሎችን ማሰልጠን ያስችላል።

መደበኛ የውሂብ ትይዩነት የማይሰራው FSDP በጂፒዩዎች ላይ ምን ያሰራጫል?

FSDP የአምሳያውን መመዘኛዎች፣ ግሬዲየሮች እና አመቻች ሁኔታዎችን በመሳሪያዎች ላይ ያፈርሳል፣ መደበኛ የውሂብ ትይዩ ግን ሙሉውን ሞዴል በእያንዳንዱ ጂፒዩ ላይ ይደግማል።

FSDP የንብርብር ሙሉ ክብደቶችን ከመቁጠር በፊት መልሶ ለመገንባት የትኛውን የጋራ ክዋኔ ይጠቀማል?

አንድ ንብርብር ከመሮጡ በፊት FSDP ሁሉንም መሰብሰቢያ ያካሂዳል፣ የተሟሉትን መለኪያዎች ከሁሉም ሻርዶች በጊዜያዊነት ለመሰብሰብ እና ከዚያ በኋላ ነፃ ያደርጋቸዋል።

ለምንድነው FSDP የተሰበሰበውን ሙሉ ክብደቶች ከንብርብሩ ስሌት በኋላ ወዲያውኑ ነጻ የሚያደርገው?

ለዘለቄታው ሸርጣን ብቻ መያዝ እና ሙሉ ክብደትን በጊዜያዊነት መሰብሰብ የማህደረ ትውስታ አጠቃቀምን ዝቅተኛ እና ከአምሳያው አንድ ክፍልፋይ ጋር የሚመጣጠን ነው።

FSDP በአብዛኛው ተመስጧዊ የሆነው በየትኛው ቀደምት የማስታወስ-ማሻሻል አቀራረብ ነው?

የFSDP የመለኪያዎች፣ የግራዲየንቶች እና አመቻች ግዛቶች በMicrosoft ዜሮ ውስጥ ከDeepSpeed ቤተ-መጽሐፍት የቀረቡትን ሃሳቦች በቅርበት ይከተላል።

FSDP አብዛኛው የአውታረ መረብ መዘግየት ክብደትን ከመሰብሰብ እንዴት ይደብቃል?

FSDP የሚቀጥለውን የንብርብር መመዘኛዎች ቀድመው ያዘጋጃል አሁን ያለው ንብርብር አሁንም በማስላት ላይ እያለ ሁሉንም-መሰብሰብ ግንኙነቶችን ከጠቃሚ ስራ ጋር ተደራራቢ።