የባለሙያዎች መመሪያ ድብልቅ

አጠቃላይ እይታ

It lets models hold enormous knowledge while keeping each prediction fast and cheap.

ጥልቅ ዳይቭ

መደበኛ ትራንስፎርመር እያንዳንዱን ግብአት በተመሳሳይ ጥቅጥቅ ያሉ ንጣፎች ውስጥ ያስኬዳል፣ ስለዚህ ሞዴሉን የበለጠ ብልህ ማድረግ ማለት እያንዳንዱን ስሌት የበለጠ ውድ ማድረግ ማለት ነው። የባለሙያዎች ድብልቅ ያንን ግንኙነት ይሰብራል። ትልቁን መጋቢ-አስተላላፊ በበርካታ ትናንሽ 'ኤክስፐርት' ኔትወርኮች እና በትንሽ 'ራውተር' ይተካዋል ይህም እያንዳንዱን ማስመሰያ የትኞቹ ባለሙያዎች እንደሚይዙ ይወስናል። በተለምዶ ከፍተኛዎቹ 1 ወይም 2 ባለሙያዎች ብቻ ይቃጠላሉ, ስለዚህ አንድ ሞዴል በመቶዎች የሚቆጠሩ ቢልዮኖች ጠቅላላ መለኪያዎች ሊኖሩት ይችላል ነገር ግን በአንድ ቶከን ትንሽ ክፍልፋይን ብቻ ያግብሩ. ለዚህም ነው እንደ Mixtral 8x7B ያሉ ሞዴሎች እና ከ GPT-4 በስተጀርባ ያለው የተወራው አርኪቴክቸር በተመጣጣኝ ከፍተኛ ዋጋ ሳይኖር ከፍተኛ ጥራት ያለው። ግብይቱ ውስብስብ ነው፡ ሁሉም ባለሙያዎች አሁንም በማህደረ ትውስታ ውስጥ መስማማት አለባቸው፣ እና ራውተር አንዳንድ ባለሙያዎችን በተሳሳተ መንገድ ሊያታልል ወይም ሊጭን ይችላል፣ ስለዚህ ስልጠና ጥንቃቄ የተሞላበት ሚዛን ይጠይቃል።

ቴክኒካዊ ግንዛቤ

የMoE ልብ የጌቲንግ ኔትዎርክ ነው፣ ትንሽ የተማረ ንብርብር እያንዳንዱን ኤክስፐርት ለገቢ ማስመሰያ ነጥብ እና ማስመሰያውን ወደ ከፍተኛ-k ከፍተኛ ነጥብ አስቆጣሪዎች (ብዙውን ጊዜ k=1 ወይም 2) ያደርሳል። ራውተር ሁሉንም ነገር ለተወዳጅ ባለሞያዎች እንዳይልክ ለማስቆም፣ስልጠናው እኩል አጠቃቀምን የሚቀጣ ረዳት 'ሎድ-ሚዛናዊ ኪሳራ' ይጨምራል። በአንድ ማስመሰያ የሚሠሩ k ባለሞያዎች ብቻ ስለሆኑ፣ ተጨማሪ ባለሙያዎችን ስታከሉም ስሌት (FLOPs) በቋሚነት ይቆያል፣ ስለዚህ ጠቅላላ መለኪያዎች እና በአንድ-ቶከን የወጪ መለኪያ ለብቻው።

ስልታዊ ተጽእኖ

ወጪ እና በጀት

የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.

ግልጽ ውሳኔዎች

የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።

የጥራት ቁጥጥር

የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.

የባለሙያዎች ድብልቅ የወደፊት ዕጣ

MoE አቅምን ከወጪ ስለሚቀንስ ለድንበር ስፋት ሞዴሎች ነባሪ መሳሪያ እየሆነ ነው። ጥራት ያላቸው ባለሙያዎችን ይጠብቁ፣ የበለጠ አውድ ያገናዘበ ብልጥ ማዘዋወር፣ እና ግዙፍ አነስተኛ ሞዴሎችን በውስን ሃርድዌር ለማቅረብ የተሻሉ ቴክኒኮችን ይጠብቁ። ጥቂቶች ቢሮጡም ሁሉም ባለሙያዎች መጫን ስላለባቸው በባለሙያዎች ጭነት እና መጠን በመወሰን የማህደረ ትውስታ ችግርን እየፈታ ነው። እንደ Mixtral እና DeepSeek-MoE ያሉ ክፍት ሞዴሎች የበሰሉ እንደመሆናቸው መጠን አነስተኛ አርክቴክቸር በአነስተኛ የጂፒዩ በጀቶች ላይ የበለጠ ቀልጣፋ ረዳቶችን ያግዛል።

የእውነተኛ-ዓለም አተገባበር

Mixtral 8x7B 8 ባለሙያዎችን ይጠቀማል እና በአንድ ማስመሰያ 2 ያንቀሳቅሳል፣ ይህም በግምት 47B ጠቅላላ መለኪያዎችን ይሰጣል ነገር ግን ፈጣን እና ርካሽ ዋጋ በአንድ ማስመሰያ ~13B ገቢር ነው።

DeepSeek እና Qwen ዝቅተኛ በሆነ ማስመሰያ ስሌት እየሮጡ ጥቅጥቅ ያሉ ቤንችማርኮች ላይ የሚዛመዱ ትላልቅ የMoE ቋንቋ ሞዴሎችን ይልካሉ።

እያንዳንዱ ጥያቄ ጥቂት ባለሙያዎችን ብቻ ስለሚያበራ አንድ ግዙፍ ሞዴል ብዙ ተጠቃሚዎችን በተመጣጣኝ ዋጋ እንዲያገለግል የክላውድ LLM አቅራቢዎች MoE ይጠቀማሉ።

የ_AIU_PROTECTED_11__ የሥልጠና ስሌት መተዳደር እንዲችል ለማድረግ የቀደመ ስዊች ትራንስፎርመር ከትሪሊዮን በላይ መለኪያዎችን አመጣ።

አደጋዎች እና የጥበቃ መንገዶች

አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።

የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.

ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።

የትግበራ ፍኖተ ካርታ

ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።

ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።

ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።

ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።

ማሰስዎን ይቀጥሉ

AI ቤንችማርኮች

ቴክኒካዊ አማራጮችን ሲያወዳድሩ ግምገማን በአግባቡ ይጠቀሙ።

መመሪያ ያንብቡ

የማጠናከሪያ ትምህርት

ወደ ቴክኒካዊ የሥልጠና ስልቶች በጥልቀት ይሂዱ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Mixture of Experts quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

የሎራ ኤክስፐርቶች ድብልቅ

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Mixture of Experts?

የባለሙያዎች ቅይጥ (MoE) ኔትወርክን ወደ ብዙ ልዩ ንዑስ አውታረ መረቦች የሚከፋፍል እና በአንድ ግብአት ጥቂቶችን ብቻ የሚያነቃ ሞዴል ንድፍ ነው። እያንዳንዱን ትንበያ በፍጥነት እና በርካሽ እየጠበቁ ሞዴሎች ትልቅ እውቀት እንዲይዙ ያስችላቸዋል።

በኤክስፐርቶች ቅይጥ ንብርብር ውስጥ፣ የትኛውን ኤክስፐርቶች የተሰጠውን ማስመሰያ እንደሚያስኬዱ የሚወስነው ምንድን ነው?

አንድ ትንሽ የጌቲንግ ኔትወርክ እያንዳንዱን ኤክስፐርት ለትክንቱ ውጤት ማስቆጠር ይማራል እና ከፍተኛ ነጥብ ወደ ላመጡት ያደርሰዋል። ማዘዋወር የተማረ እንጂ ቋሚ ወይም በዘፈቀደ አይደለም።

ለምንድነው የMoE ሞዴል ከአንድ ጥቅጥቅ ያለ የዋጋ ጭማሪ ከሌለው በጣም ብዙ አጠቃላይ መለኪያዎች ሊኖሩት የሚችሉት?

ከፍተኛ-k ባለሞያዎች ብቻ በአንድ ማስመሰያ ስለሚቃጠሉ፣ ተጨማሪ ባለሙያዎችን በመጨመር አጠቃላይ የልኬት ቆጠራ እያደገ በሄደ ቁጥር ንቁ ስሌት በቋሚነት ይቆያል።

በMoE ስልጠና ወቅት የጭነት ማመጣጠን (ረዳት) ኪሳራ ምን ችግርን ይመለከታል?

ሚዛኑን ሳይጠብቅ፣ ራውተር ጥቂት ባለሙያዎችን ይመርጣል። ሁሉም ባለሙያዎች እንዲሰለጥኑ ረዳት ኪሳራው እኩል ያልሆነ አጠቃቀምን ያስቀጣል።

Mixtral 8x7B በአንድ ማስመሰያ ከ8 ባለሙያዎቹ 2 ያንቀሳቅሳል። ይህ ስለ ስሌቱ እና መጠኑ ምን ማለት ነው?

ከ8 ባለሞያዎች 2ቱ ብቻ ንቁ ሲሆኑ በአንድ ቶከን (~13B) ገባሪ መለኪያዎች ከ~47B ድምር በጣም ያነሱ ናቸው፣የግምት ዋጋን ይቀንሳል።

እኩል አቅም ካላቸው ጥቅጥቅ ያሉ ሞዴሎች ጋር ሲነፃፀር የMoE ሞዴሎች እውነተኛ ውድቀት የትኛው ነው?

ምንም እንኳን በአንድ ማስመሰያ ጥቂት ባለሙያዎች ብቻ ቢያስሉም፣ የእያንዳንዱ ኤክስፐርት ክብደት በማህደረ ትውስታ ውስጥ መጫን አለበት፣ ይህም የMoE ሞዴሎችን ለማገልገል ማህደረ ትውስታን ይራባል።