የማግበር ድጋሚ ስሌት ውድቀቶች
የማግበር ድጋሚ ስሌት (ግራዲየንት ወይም አግብር ፍተሻ) በስልጠና ወቅት የጂፒዩ ማህደረ ትውስታን ይቆጥባል ፣ መካከለኛ እንቅስቃሴዎችን ወደ ፊት ማለፊያ በመጣል እና በኋለኛው ማለፊያ ጊዜ እንደገና በማስላት።
አጠቃላይ እይታ
It trades extra compute for the ability to train larger models or longer sequences on the same hardware.
ጥልቅ ዳይቭ
ቅልመትን ለማስላት የኋላ መስፋፋት የቀጣይ ማለፊያ ማነቃቂያዎችን ይፈልጋል፣ ስለዚህ በነባሪ የእያንዳንዱ ንብርብር ውጤቶች ይከማቻሉ - በሞዴል መጠን፣ ባች መጠን እና በቅደም ተከተል ርዝመት የሚያድግ ትልቅ የማህደረ ትውስታ ዋጋ። የማግበሪያ ድጋሚ ስሌት ጥቂት 'የፍተሻ ነጥብ' ቴነሮችን ብቻ ይይዛል (ብዙውን ጊዜ የንብርብር ወሰኖችን ብቻ) እና የቀረውን ይጥላል። በኋለኛው ማለፊያ ጊዜ፣ በፍላጎት የተጣሉ እንቅስቃሴዎችን ለማደስ በፍተሻ ኬላዎች መካከል ያለውን ወደፊት ስሌት እንደገና ያስኬዳል። ክላሲክ ውጤቱ በእያንዳንዱ ካሬ(N) ንብርብ በተቀመጡ የፍተሻ ነጥቦች፣ ማህደረ ትውስታ ወደ O(sqrt(N)) ሲወርድ አንድ ተጨማሪ ወደፊት ማለፊያ (~ 33% ተጨማሪ ስሌት) ሲጨመር ነው። የተመረጡ ተለዋጮች እንደገና የሚሰሉት ርካሽ ነገር ግን የማህደረ ትውስታ-ከባድ ኦፕስ ብቻ ነው (እንደ ትኩረት ወይም ማቋረጥ) ውድ የሆኑትን እየሸጎጡ፣ አብዛኛዎቹ የማህደረ ትውስታ ቁጠባዎች እጅግ በጣም አነስተኛ በሆነ ወጪ ገንዘብ ያገኛሉ።
ቴክኒካዊ ግንዛቤ
ዋናው ግብይት የማህደረ ትውስታ እና የFLOPs ነው። ሙሉ ስሌት በደረጃ አንድ ተጨማሪ ወደፊት ማለፊያ ይጨምራል (~ 30-40% ቀርፋፋ) ነገር ግን የማግበር ማህደረ ትውስታን በትእዛዝ መጠን ሊቀንስ ይችላል። ብልጥ እርምጃው የተመረጠ የፍተሻ ነጥብ ነው፡ ኦፕስ የማስታወሻ-ትልቅ ነገር ግን በርካሽ (Softmax, Layernorm, GELU, ትኩረት ውጤቶች) መለየት እና እነዚያን ብቻ እንደገና አስላ, ውድ የሆኑ GEMMs የተሸጎጡ ውጤቶችን በማቆየት - የሚባክነውን ስሌት በመቀነስ.
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የማግበሪያ ድጋሚ ስሌት ውድቀቶች የወደፊት
ዳግም ማስላት ከጊዜ ወደ ጊዜ በራስ-ሰር የሚሠራ እና የሚመረጥ ነው። Frameworks አሁን የተሻሉ የፍተሻ ነጥቦችን ለመምረጥ የእያንዳንዱን ኦፕ ማህደረ ትውስታ እና የFLOP ወጪን ይገልፃሉ፣ እና ድጋሚ ስሌትን ከማግበር ወደ ሲፒዩ/NVMe ከማውረድ እና ከትይዩነት ስልቶች ጋር ያጣምሩታል። የአውድ ርዝማኔዎች እና የሞዴል መጠኖች እያደጉ ሲሄዱ በአቀናባሪ የሚነዱ ፖሊሲዎች (በPyTorch፣ JAX/XLA) በአንድ ጊዜ የሚደረጉ ውሳኔዎችን በራስ-ሰር የሚመርጡ፣ እና ተጨማሪ FLOPs በከፊል ተደብቀው እንዲቆዩ ከግንኙነት ጋር ጥብቅ መደራረብ ይጠብቁ።
የእውነተኛ-ዓለም አተገባበር
እያንዳንዱን የንብርብር ብሎክ በማጣራት የማይመጥን ትልቅ ትራንስፎርመር ማሰልጠን
የPyTorch's torch.utils.checkpointን በመጠቀም ትራንስፎርመር ብሎኮችን ለመጠቅለል እና የማግበር ማህደረ ትውስታን ለመቁረጥ
በትንሹ መቀዛቀዝ ማህደረ ትውስታን ለመቆጠብ በሜጋትሮን-ኤልኤም ውስጥ የተመረጠ ትኩረት/softmax ስሌት
በቋሚ ጂፒዩ በጀት ላይ ረዣዥም ተከታታይ ርዝመቶችን ማንቃት ገቢሮችን ከማከማቸት ይልቅ እንደገና በማስላት
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Activation Recomputation Tradeoffs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
SmoothQuant እና ማግበር Quantization
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Activation Recomputation Tradeoffs?
የማግበር ድጋሚ ስሌት (ግራዲየንት ወይም አግብር ፍተሻ) በስልጠና ወቅት የጂፒዩ ማህደረ ትውስታን ይቆጥባል ፣ መካከለኛ እንቅስቃሴዎችን ወደ ፊት ማለፊያ በመጣል እና በኋለኛው ማለፊያ ጊዜ እንደገና በማስላት። ትላልቅ ሞዴሎችን ወይም ረጅም ቅደም ተከተሎችን በተመሳሳይ ሃርድዌር ላይ የማሰልጠን ችሎታ ለማግኘት ተጨማሪ ስሌት ይገበያያል።
የማስታወስ ችሎታን ለመቆጠብ የማግበር ድጋሚ ስሌት ምን ይገበያያል?
ድጋሚ ማስላት የተከማቹ እንቅስቃሴዎችን ይጥላል እና በኋለኛው ማለፊያ ውስጥ ያድሳቸዋል፣ ይህም የማህደረ ትውስታ አጠቃቀምን ለመቀነስ ተጨማሪ ስሌት ያወጣል።
ለምንድነው ወደፊት ማለፍ የሚደረጉ ማነቃቂያዎች በመደበኛነት የሚቀመጡት?
የኋለኛው ማለፊያ ቅልመትን ለማስላት ወደፊት የሚደረጉ እንቅስቃሴዎችን ይጠቀማል፣ ስለዚህ በነባሪ የኋለኛው ማለፊያ እስኪሮጥ ድረስ በማህደረ ትውስታ ውስጥ ይቀመጣሉ።
ሙሉ ገቢር ዳግም ማስላት በተለምዶ ምን ያህል ተጨማሪ ስሌት ይጨምራል?
ሙሉ ስሌት በኋለኛው ማለፊያ ጊዜ ወደፊት ስሌትን እንደገና ያስኬዳል፣ በግምት አንድ ተጨማሪ ወደፊት ማለፊያ ይጨምራል - ከ30-40% ተጨማሪ ስሌት።
ከተመረጠ (ሙሉ ያልሆነ) ድጋሚ ስሌት በስተጀርባ ያለው ሀሳብ ምንድን ነው?
የተመረጠ ድጋሚ ስሌት ብዙ ማህደረ ትውስታን የሚጠቀሙ ነገር ግን ትንሽ ስሌት (እንደ Softmax ወይም Layernorm) ኦፕስ ኢላማ ሲሆን ውድ የሆኑ የGEMM ውጤቶችን በመሸጎጥ የሚባክኑ FLOPsን ይቀንሳል።
የበለጠ ማህደረ ትውስታን ለመቆጠብ ብዙውን ጊዜ ከዳግም ስሌት ጋር የሚጣመረው የትኛው ተጨማሪ ዘዴ ነው?
የማግበር ማጥፋት አንዳንድ ማግበርን ወደ ሲፒዩ/NVMe ማከማቻ ያንቀሳቅሳል፣ እና ለቀጣይ የማህደረ ትውስታ ቁጠባዎች በተደጋጋሚ ከዳግም ስሌት እና ትይዩነት ጋር ይደባለቃል።