ቅልቅል እና ስፓርስ ሞዴሎች
Mixtral ትልቅ የሞዴል ጥራትን በትንሽ-ሞዴል ፍጥነት የሚያቀርብ የMistral AI ክፍት ድብልቅ-የባለሙያዎች ሞዴል ነው።
አጠቃላይ እይታ
እንደ እሱ ያሉ ጥቂት ሞዴሎች በአንድ ማስመሰያ አንድ ክፍልፋይ ብቻ ያንቀሳቅሳሉ፣ አቅምን ሳያጠፉ ስሌትን ይቆርጣሉ።
ጥልቅ ዳይቭ
Mixtral 8x7B፣ በ2023 መገባደጃ ላይ በMistral AI የተለቀቀው የባለሙያዎች ድብልቅ (MoE) አሰራር በክፍት ሞዴሎች ውስጥ በሰፊው ተወዳጅቷል። በንብርብር ስምንት የተለያዩ 'ኤክስፐርት' መጋቢ ማስተላለፊያ ኔትወርኮችን ይይዛል፣ ወደ 47 ቢሊየን የሚጠጉ አጠቃላይ መለኪያዎች አሉት፣ ግን ቀላል ክብደት ያለው ራውተር ለእያንዳንዱ ማስመሰያ ሁለት ባለሙያዎችን ብቻ ይመርጣል። በውጤቱም በአንድ ማስመሰያ ወደ 13 ቢሊየን የሚጠጉ መለኪያዎች ብቻ ይንቀሳቀሳሉ፣ ስለዚህ ግምቱ ልክ እንደ 13B ጥቅጥቅ ያለ ሞዴል በፍጥነት ይሰራል እና በጣም ትልቅ ከሆኑት ጋር የሚወዳደር ጥራት ላይ ይደርሳል። ሚክስትራል ከ GPT-3.5 እና Llama 2 70B ጋር በብዙ መመዘኛዎች ተመሳስሏል ወይም አሸንፎ ለማገልገል ፈጣን እና ርካሽ ነበር። ሚስትራል በኋላ Mixtral 8x22Bን ለቋል። ሞዴሉ ክፍት በሆነው ምንጭ ማህበረሰብ ውስጥ ፈጣን ጉዲፈቻ እና ጥሩ ማስተካከያን የሚያበረታታ በ Apache 2.0 ስር በግልፅ ፍቃድ ተሰጥቶታል።
ቴክኒካዊ ግንዛቤ
በጥቂቱ የMoE ንብርብር፣ ጥቅጥቅ ያለ የምግብ ማስተላለፊያ ብሎክ በኤን ኤክስፐርት ኔትወርኮች እና በትንሽ ጌቲንግ ኔትወርክ (ራውተር) ይተካል። ለእያንዳንዱ ማስመሰያ፣ ራውተር ውጤቱን ያሰላል እና ከፍተኛ-k ባለሙያዎችን (top-2 in Mixtral) ይመርጣል፣ ማስመሰያውን በእነዚያ ብቻ ያስተላልፋል። ውጤታቸው ክብደት እና ድምር ነው. አብዛኛዎቹ ባለሙያዎች በአንድ ማስመሰያ ስራ ፈትተው ስለሚቆዩ፣ ሞዴሉ ብዙ መለኪያዎችን በማህደረ ትውስታ ውስጥ ይይዛል ሆኖም ግን በጣም ያነሰ ስሌት ይሰራል። ግብይቱ፡ ሁሉም ባለሙያዎች ወደ VRAM መጫን አለባቸው ምንም እንኳን ጥቂት ቢሮጡም።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የድብልቅ እና ስፓርስ ሞዴሎች የወደፊት ዕጣ
Sparse MoE አሁን ለ ድንበር AI ማዕከላዊ ነው። ተጨማሪ ክፍት የMoE ልቀቶችን፣ ከበርካታ ትናንሽ ኤክስፐርቶች ጋር በጥሩ ሁኔታ መዞርን፣ እና ቅልጥፍናን የበለጠ የሚያሻሽሉ የጋራ ወይም የተዋሃዱ የባለሙያዎች ንድፎችን ይጠብቁ። ሞዴሎች ወደ ትሪሊዮን የሚገመቱ አጠቃላይ መለኪያዎች ሲመዘኑ፣ ኢንቬንሽን በተመጣጣኝ ዋጋ ለማቆየት ዋናው መቆንጠጫ ነው። ምርምር የMoE ደካማ ቦታዎችን፣ በባለሙያዎች ላይ ያለውን ጭነት ማመጣጠን፣ የማስታወስ ችሎታን እና የስልጠና መረጋጋትን እየታገለ ነው፣ ሃርድዌር እና የማገልገል ቁልል በተለይ ለኤክስፐርት ማዘዋወር እየተሻሻለ ነው።
የእውነተኛ-ዓለም አተገባበር
በጣም ትንሽ በሆነ ጥቅጥቅ ያለ ሞዴል ዋጋ እና ፍጥነት ከፍተኛ ጥራት ያለው ቻትቦትን ማገልገል
Apache-2.0 ፍቃድ ያለው ሞዴል ለንግድ ምርቶች ያለአጠቃቀም ክፍያ በራስ ማስተናገድ
በ Mixtral ላይ ጥሩ ማስተካከያ ግለሰባዊ ባህሪዎችን ለኮድ ፣ ማጠቃለያ ፣ ወይም ለብዙ ቋንቋ ተግባራት
ባለ 70B ጥቅጥቅ ያለ ሞዴል በጣም ቀርፋፋ በሆነበት በአንድ ባለብዙ ጂፒዩ አገልጋይ ላይ ፈጣን ግንዛቤን ማስኬድ
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixtral and Sparse Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
ሞዴል እና የቧንቧ መስመር ትይዩ
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
Mixtral እና Sparse ሞዴሎች ምንድን ናቸው?
Mixtral ትልቅ የሞዴል ጥራትን በትንሽ-ሞዴል ፍጥነት የሚያቀርብ የMistral AI ክፍት ድብልቅ-የባለሙያዎች ሞዴል ነው። እንደ እሱ ያሉ ጥቂት ሞዴሎች አቅምን ሳያጠፉ ስሌትን በመቁረጥ የመለኪያዎቻቸውን ክፍልፋይ ብቻ ነው የሚያነቃቁት።
በ Mixtral 8x7B ውስጥ፣ እያንዳንዱን ግለሰብ ማስመሰያ ምን ያህል ባለሙያዎች ያስተናግዳሉ?
Mixtral top-2 ራውቲንግ ይጠቀማል፡ ራውተር እያንዳንዱን ማስመሰያ ለማስኬድ ከስምንቱ ባለሙያዎች ሁለቱን ይመርጣል።
ቶከን ለየትኞቹ ባለሙያዎች እንደሚላክ የሚወስነው የትኛው አካል ነው?
ራውተር ተብሎ የሚጠራው ትንሽ የጌቲንግ አውታር ኤክስፐርቶችን ያስቆጥራል እና የትኛውን ቶከን እንደሚይዝ ይመርጣል።
Mixtral 8x7B ወደ 47ቢ ጠቅላላ መለኪያዎች ቢኖረውም፣ በአንድ ማስመሰያ ምን ያህሉ ንቁ ናቸው?
በአንድ ማስመሰያ ሁለት ባለሙያዎች ብቻ ስለሚሄዱ፣ ወደ 13 ቢሊዮን የሚጠጉ መለኪያዎች ንቁ ናቸው፣ ይህም በጣም አነስተኛ የሆነውን የሞዴል ፍጥነት ይሰጠዋል።
እንደ Mixtral ያሉ አነስተኛ የሞኢ ሞዴሎች ቁልፍ ግብይት ምንድነው?
MoE ስሌት በአንድ ማስመሰያ ይቆጥባል ነገርግን አሁንም ሁሉም ባለሙያዎች በVRAM እንዲያዙ ይፈልጋል፣ ይህም የማህደረ ትውስታ ፍላጎቶችን ይጨምራል።
ሚስትራል AI ሚክትራልን የለቀቀው በየትኛው ፍቃድ ነው፣ ይህም ክፍት ጉዲፈቻን አነሳሳ?
Mixtral ነፃ የንግድ አጠቃቀምን እና ጥሩ ማስተካከያን በመፍቀድ በሚፈቀደው Apache 2.0 ፈቃድ ተለቋል።