ባለብዙ ጭንቅላት ድብቅ ትኩረት መመሪያ

አጠቃላይ እይታ

It lets large language models run with far less GPU memory while keeping quality close to standard attention.

ጥልቅ ዳይቭ

አንድ ትራንስፎርመር ጽሑፍ ሲያመነጭ ለእያንዳንዱ ያለፈ ቶከን ቁልፍ እና ዋጋ ያለው ቬክተር በ 'KV cache' ውስጥ ያከማቻል። ያ መሸጎጫ በዐውደ-ጽሑፍ ርዝመት ያድጋል እና በመረጃ ጊዜ የማስታወስ አጠቃቀምን ይቆጣጠራል። MLA ብዙ ባለ ሙሉ መጠን ቁልፍ/ዋጋ ቬክተሮችን በአንድ ቶከን በአንድ ዝቅተኛ-ደረጃ ድብቅ ቬክተር ይተካዋል፣ከዚያም በድብቅ ወደ ጭንቅላት ቁልፎች እና በመብረር ላይ ያሉ እሴቶችን የሚደግፉ ፕሮጀክቶች። የታመቀ ድብቅ ነገር ብቻ ነው የተሸጎጠው፣ DeepSeek-V2 የKV-cache ማህደረ ትውስታን ከ90% በላይ ከመደበኛ ባለብዙ ጭንቅላት ትኩረት በመቁረጥ ረዣዥም አውዶችን እና ትላልቅ ባች መጠኖችን ማድረጉን ዘግቧል። በወሳኝ ሁኔታ፣ የላይ-ፕሮጀክሽን ማትሪክስ ወደ ሌላ ክብደቶች ሊታጠፍ ይችላል፣ ስለዚህ ኤምኤልኤ ይህንን መጭመቂያ ያገኘው በሞዴሊንግ ጥራት ላይ በትንሹ ወይም ምንም ሊለካ በሚችል ኪሳራ ነው።

ቴክኒካዊ ግንዛቤ

ኤምኤልኤ ዝቅተኛ ደረጃ የጋራ መጭመቂያ ያከናውናል፡ የእያንዳንዱ ቶከን ድብቅ ሁኔታ ወደ ትንሽ ድብቅ ቬክተር ይገመገማል፣ እና የላይ-ፕሮጀክሽን ማትሪክስ የጭንቅላት ቁልፎችን እና እሴቶችን እንደገና ይገነባል። ብልህ ብልሃት የቅድሚያ ክብደቶችን ወደ መጠይቁ እና የውጤት ትንበያዎች 'መምጠጥ' ነው፣ ስለዚህ ሞዴሉ በማጣቀሻ ጊዜ ሙሉ ቁልፎችን/እሴቶችን በጭራሽ አይሰራም። መሽከርከር በተመሳሳይ መንገድ መምጠጥ ስለማይችል የአቀማመጥ መረጃን በመጠበቅ የማሽከርከር ቦታ መክተቻዎች በተቆራረጠ ቁልፍ መንገድ ይያዛሉ።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።

መድረስ እና መድረስ

በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።

ግልጽ ውሳኔዎች

አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።

የብዝሃ-ጭንቅላት ድብቅ ትኩረት የወደፊት

ኤምኤልኤ DeepSeek-V2 እና V3ን በመጠኑ ለማገልገል ቆጣቢ እንዲሆኑ ረድቷል፣ እና ቡድኖች ርካሽ የረዥም አውድ መረጃን ሲያሳድዱ ቴክኒኩ እየተስፋፋ ነው። የMLA-style ድብቅ መጭመቅ ከትንሽ የባለሙያዎች ንብርብሮች፣ የተመጣጠነ መሸጎጫዎች እና ወደፊት ክፍት ሞዴሎች ላይ ግምታዊ መፍታትን ይጠብቁ። ተመራማሪዎች ጥራት ከመውረዱ በፊት የድብቅ መጠኑ ምን ያህል እንደሚቀንስ እና ተመሳሳይ ዝቅተኛ ደረጃ ያለው ሀሳብ በስልጠና ወቅት ትኩረትን መጨናነቅ ይችል እንደሆነ, ግንዛቤን ብቻ ሳይሆን.

የእውነተኛ-ዓለም አተገባበር

DeepSeek-V2/V3 የውይይት ሞዴሎችን በጥያቄ በሚያስደንቅ ሁኔታ አነስተኛ የጂፒዩ ማህደረ ትውስታ አሻራዎችን ማገልገል

ትልቅ የKV መሸጎጫ ያለበለዚያ VRAM የሚያሟጥጥበትን የረጅም ሰነድ ጥያቄ በመመለስ ላይ

እያንዳንዱ ተከታታይ ጥቃቅን ድብቅ ቬክተር ብቻ ስለሚያከማች በቋሚ ጂፒዩ ላይ የማጣቀሻ መጠን መጨመር

ረጅም አውድ መስኮቶችን በሸቀጦች ሃርድዌር ላይ ለማገገም የተጨመሩ ረዳቶች ማንቃት

አደጋዎች እና የጥበቃ መንገዶች

የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።

ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።

የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።

የትግበራ ፍኖተ ካርታ

ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።

ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።

ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።

የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።

ማሰስዎን ይቀጥሉ

ChatGPT እና LLMs

የዘመናዊ ቋንቋ ሞዴሎች እንዴት እንደሚያመነጩ እና እንደሚያስቡ ይመልከቱ።

መመሪያ ያንብቡ

NLP መሰረታዊ ነገሮች

ከእነዚህ መሳሪያዎች በስተጀርባ ያለውን የቋንቋ ማቀናበሪያ መሰረታዊ ነገሮችን ይማሩ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Multi-Head Latent Attention quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

የብዝሃ-ጥያቄ ትኩረት

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Multi-Head Latent Attention?

Multi-Head Latent Attention (MLA) በ DeepSeek-V2 ውስጥ የገባ የትዝታ ዘዴ ሲሆን የማስታወሻ-የተራበ የቁልፍ እሴት መሸጎጫ ወደ ትንሽ የተጋራ ድብቅ ቬክተር። ጥራቱን ከመደበኛ ትኩረት ጋር በማቆየት ትላልቅ የቋንቋ ሞዴሎች በጣም ባነሰ የጂፒዩ ማህደረ ትውስታ እንዲሄዱ ያስችላቸዋል።

የመልቲ-ጭንቅላት ድብቅ ትኩረትን ለመቀነስ የተነደፈው ዋና ችግር ምንድን ነው?

ኤምኤልኤ የ KV መሸጎጫ ላይ ያነጣጠረ ነው፣ እሱም ከዐውድ ርዝመት ጋር የሚያድገው እና ጽሑፍ በሚፈጠርበት ጊዜ ማህደረ ትውስታን ይቆጣጠራል።

MLA የKV መሸጎጫውን እንዴት ይቀንሳል?

MLA በአንድ ቶከን አንድ የታመቀ ድብቅ ቬክተር ይሸፍናል እና ቁልፎችን እና እሴቶችን በቅድመ-ፕሮጀክሽን ይገነባል።

የመልቲ-ጭንቅላት ድብቅ ትኩረትን ለመጀመሪያ ጊዜ ያስተዋወቀው ሞዴል የትኛው ነው?

MLA በ DeepSeek በ DeepSeek-V2 ሞዴሉ አስተዋወቀ እና ወደ DeepSeek-V3 ተወሰደ።

ለምንድነው ኤምኤልኤ የተለየ 'የተጣመረ' መንገድ ለ rotary አቀማመጥ መክተት ያስፈልገዋል?

የማዞሪያው ለውጥ ወደ ሌሎች የክብደት ማትሪክስ ሊዋጥ አይችልም፣ ስለዚህ ኤምኤልኤ የአቀማመጥ መረጃን ለመሸከም ትንሽ የተጣመረ ቁልፍ አካል ይይዛል።

DeepSeek-V2 ከMLA ከመደበኛ ባለብዙ ጭንቅላት ትኩረት ጋር ምን ያህል የKV-cache ማህደረ ትውስታ ቅነሳ ሪፖርት አድርጓል?

DeepSeek-V2 የKV-cache ማህደረ ትውስታን ከ90% በላይ በመቁረጥ ረዣዥም አውዶችን እና ትላልቅ ስብስቦችን ማስቻል ዘግቧል።