አዳም እና አዳፕቲቭ አመቻቾች መመሪያ

አጠቃላይ እይታ

It matters because it makes training deep models faster and far less finicky than plain gradient descent.

ጥልቅ ዳይቭ

በ2014 በኪንግማ እና ባ አስተዋወቀ አዳም (Adaptive moment ግምታዊ)፣ ሁለት ሃሳቦችን አጣምሯል። አንደኛ፣ ሞመንተም፡ ያለፉት ግሬዲየሮች (የመጀመሪያው አፍታ) በከፍተኛ ደረጃ የበሰበሰ አማካይ ይይዛል ስለዚህ ዝማኔዎች ወጥነት ባለው አቅጣጫ ፍጥነትን ይገነባሉ። ሁለተኛ፣ በመለኪያ ልኬት፡ በአማካይ አራት ማዕዘን ቅርጽ ያላቸው ግሬዲየንቶችን (ሁለተኛውን አፍታ) ይከታተላል እና እያንዳንዱን እርምጃ በእሴቱ ስኩዌር ስር ይከፍላል፣ ስለዚህ ትልቅ እና ጫጫታ ያለው ቅልመት ያላቸው መለኪያዎች ትናንሽ እርምጃዎችን ይወስዳሉ እና ብዙም ያልዘመኑት ትላልቅ እርምጃዎችን ይወስዳሉ። ይህ መላመድ ማለት በአጠቃላይ አውታረመረብ ላይ አንድ የመማሪያ ፍጥነት መጠቀም ይችላሉ። ተለዋጭ፣ አዳምደብ፣ የክብደት መበስበስን ከግራዲየንት ማሻሻያ ያላቅቃል እና ትላልቅ ትራንስፎርመሮችን እና የቋንቋ ሞዴሎችን ለማሰልጠን ነባሪው ሆኗል።

ቴክኒካዊ ግንዛቤ

አዳም በአንድ መለኪያ ሁለት የሩጫ አማካኞችን ይይዛል፡ m (gradients) እና v (ካሬ ግሬዲየንት)፣ በመበስበስ ተመኖች ቤታ1 (በተለምዶ 0.9) እና ቤታ2 (በተለምዶ 0.999) የዘመኑ። ሁለቱም የሚጀምሩት በዜሮ ስለሆነ፣ በ(1 - beta^t) በማካፈል አድልዎ የተስተካከሉ ናቸው። ዝመናው theta = theta - lr * m_hat / (sqrt(v_hat) + epsilon) ሲሆን ኤፒሲሎን (1e-8 አካባቢ) በዜሮ መከፋፈልን ይከላከላል። ለዚህ ነው አዳም ከ SGD ጋር ሲነጻጸር ትንሽ የመማር-ደረጃ ማስተካከያ የሚያስፈልገው።

ስልታዊ ተጽእኖ

ወጪ እና በጀት

የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.

ግልጽ ውሳኔዎች

የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።

የጥራት ቁጥጥር

የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.

የአዳም የወደፊት እና የመላመድ አመቻቾች

አዳም እና አዳም ደብሊው የበላይ ሆነው ይቆያሉ፣ ነገር ግን ምርምር በትሪሊየን መለኪያ ሞዴሎች ላይ ቅልጥፍናን እየገፋ ነው፣ በአንድ ክብደት ሁለት ተጨማሪ እሴቶችን ማከማቸት በጣም ውድ ነው። እንደ አዳፋክተር፣ 8-ቢት አዳም እና እንደ አንበሳ ያሉ የማስታወሻ-ብርሃን ልዩነቶች (በምልክት ላይ የተመሰረተ ሞመንተም ብቻ የሚጠቀመው) እና ሶፊያ የአዳምን ጥራት ባነሰ ማህደረ ትውስታ ወይም በፈጣን ውህደት ማዛመድ ነው። ማሻሻያ አመቻቾችን ይጠብቁ በተለይ ለተሰራጩ፣ ለዝቅተኛ ትክክለኝነት እድገት እድገት።

የእውነተኛ-ዓለም አተገባበር

AdamW እንደ መደበኛ አመቻች የሚጠቀሙ እንደ GPT እና Llama ያሉ ትልልቅ የቋንቋ ሞዴሎችን ማሰልጠን።

ቀድሞ የሰለጠነ የምስል ክላሲፋየር (ለምሳሌ፣ ResNet) በብጁ ዳታ ስብስብ ላይ ከነባሪ የአዳም የመማር ፍጥነት ጋር በማስተካከል።

እንደ Stable Diffusion ካሉ የምስል ጀነሬተሮች በስተጀርባ ያሉትን የማሰራጫ ሞዴሎችን ማሰልጠን።

8-ቢት አዳምን እንደ ቢትሳንድባይት ባሉ ቤተ-መጻሕፍት ውስጥ በማስኬድ አመቻች ግዛቶችን ከተገደበ የጂፒዩ ማህደረ ትውስታ ጋር ለማስማማት።

አደጋዎች እና የጥበቃ መንገዶች

አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።

የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.

ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።

የትግበራ ፍኖተ ካርታ

ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።

ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።

ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።

ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።

ማሰስዎን ይቀጥሉ

AI ቤንችማርኮች

ቴክኒካዊ አማራጮችን ሲያወዳድሩ ግምገማን በአግባቡ ይጠቀሙ።

መመሪያ ያንብቡ

የማጠናከሪያ ትምህርት

ወደ ቴክኒካዊ የሥልጠና ስልቶች በጥልቀት ይሂዱ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Adam and Adaptive Optimizers quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

ZeRO እና Sharded Optimizers

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Adam and Adaptive Optimizers?

አዳም ከአብዛኛዎቹ ዘመናዊ የነርቭ አውታረ መረቦች በስተጀርባ ያለው የስራ ፈረስ አመቻች ነው፣ ለእያንዳንዱ ግቤት የተለየ የመማሪያ ፍጥነትን በራስ ሰር በማስተካከል። ጥልቅ ሞዴሎችን ማሰልጠን ከቀላል ቀስ በቀስ መውረድ የበለጠ ፈጣን እና በጣም ያነሰ ቀጭን ስለሚያደርግ አስፈላጊ ነው።

አዳም ለእያንዳንዱ ግቤት ምን ሁለት መጠኖችን ይከታተላል?

አዳም የግራዲየቶችን (የመጀመሪያውን አፍታ) እና የካሬ ግሬዲየሮችን (ሁለተኛውን አፍታ) በከፍተኛ ደረጃ መበስበስን ለእያንዳንዱ ግቤት ይይዛል።

ለምንድነው አዳም የአድሎአዊ እርማትን በጊዜው ግምቶች ላይ የሚተገበረው?

ሁለቱም m እና v ወደ ዜሮ የተጀመሩ ናቸው, ስለዚህ ቀደምት ግምቶች ዝቅተኛ ናቸው; በ (1 - beta^t) መካፈል ይህንን ያስተካክላል።

በአዳም እና በአዳምደብ መካከል ያለው ዋና ልዩነት ምንድን ነው?

AdamW የክብደት መበስበስን በቀጥታ ወደ ሚለምደሚው ቅልመት ቃል ከመቀላቀል ይልቅ በክብደቶች ላይ ይተገበራል፣ ይህም በትራንስፎርመሮች ውስጥ አጠቃላይነትን ያሻሽላል።

በአዳም ማሻሻያ ደንብ ውስጥ ትንሹ የኤፒሲሎን ቃል ምን ሚና ይጫወታል?

Epsilon (በ1e-8 አካባቢ) ወደ ዜሮ የሚጠጉ ስኩዌር-ግራዲየንት አማካኞች ፍንዳታ እንዳያስከትሉ ወደ መለያው ተጨምሯል።

አዳም ብዙ ጊዜ 'አስማሚ' ተብሎ የሚጠራው ለምንድን ነው?

በእያንዳንዱ ግቤት ስኩዌር-ግራዲየንት አማካኝ ስኩዌር ስር በማካፈል፣ አዳም አንድ አለምአቀፍ እሴት ከመጠቀም ይልቅ የእርምጃውን መጠን በአንድ መለኪያ ይለካል።