የቋንቋ AI መመሪያ

የቡድን-የጥያቄ ትኩረት

የቡድን-መጠይቅ ትኩረት (GQA) በርከት ያሉ የመጠይቅ ራሶች አንድ አይነት ቁልፍ እና ዋጋ ያላቸውን ራሶች እንዲጋሩ በመፍቀድ በፅሁፍ ማመንጨት ጊዜ የሚፈለገውን ማህደረ ትውስታን የምንቀንስበት መንገድ ነው።

አጠቃላይ እይታ

የቡድን-መጠይቅ ትኩረት (GQA) በርከት ያሉ የመጠይቅ ራሶች አንድ አይነት ቁልፍ እና ዋጋ ያላቸውን ራሶች እንዲጋሩ በመፍቀድ በፅሁፍ ማመንጨት ጊዜ የሚፈለገውን ማህደረ ትውስታን የምንቀንስበት መንገድ ነው። ትላልቅ ሞዴሎችን ከሞላ ጎደል ጥራት ማጣት ጋር ለማገልገል በጣም ፈጣን ያደርገዋል.

የቡድን-መጠይቅ ትኩረት ጽሑፍን እና ንግግርን በተመጣጣኝ መጠን ለማንበብ፣ ለማፍለቅ፣ ለመከፋፈል እና ለመለወጥ የሚያገለግል የቋንቋ-AI ቁልል አካል ነው።

ጥልቅ ዳይቭ

በመደበኛ ባለብዙ ጭንቅላት ትኩረት ሽፋን እያንዳንዱ ጭንቅላት የራሱ ጥያቄዎች፣ ቁልፎች እና እሴቶች አሉት። በትውልድ ጊዜ፣ የቀደሙት ቶከኖች ሁሉ ቁልፎች እና እሴቶች የተሸጎጡ ናቸው ('KV cache') ስለዚህ ሞዴሉ እንደገና አይቆጥራቸውም። ከብዙ ጭንቅላት እና ረጅም አውዶች ጋር፣ ይህ መሸጎጫ በጣም ትልቅ ይሆናል እና በመረጃ ጊዜ የማህደረ ትውስታ ባንድዊድዝ ይቆጣጠራል። GQA፣ በGoogle ተመራማሪዎች በ2023 አስተዋወቀ፣ የመጠይቁን ራሶች በቡድን በማድረግ ለእያንዳንዱ ቡድን አንድ የጋራ ቁልፍ እና እሴት ራሶች ይሰጣታል። 32 መጠይቅ ራሶች ካሉህ ግን 8 KV ቡድኖች ብቻ፣ የKV መሸጎጫ በአራት እጥፍ ያህል ይቀንሳል። ይህ በባለብዙ ጭንቅላት ትኩረት (በእያንዳንዱ ጭንቅላት የተለየ) እና ባለብዙ መጠይቅ ትኩረት (አንድ የተጋራ KV ለሁሉም ራሶች) መካከል ይቀመጣል፣ ጥራቱን ወደ ሙሉ ትኩረት ሲይዝ አብዛኛውን የMQA ፍጥነት ይይዛል። ላማ 2 70ቢ እና ብዙ በኋላ ሞዴሎች ተቀብለውታል።

ቴክኒካዊ ግንዛቤ

የትኩረት ጥራት ብዙ የተለያዩ የጥያቄ አቅጣጫዎችን በማግኘት ላይ በእጅጉ የተመካ ነው፣ ነገር ግን ቁልፎችን እና እሴቶቹን መጋራትን ይታገሣል። GQA ይህንን ተመሳሳይነት ይጠቀማል፡ ሁሉንም የመጠይቅ ጭንቅላት ያስቀምጣል ነገር ግን እያንዳንዱን የተጋራ የKV ጭንቅላት በቡድኑ ውስጥ ያሉትን ጥያቄዎች ይደግማል። ቁጠባው በምርመራው ይመጣል፣ የ KV መሸጎጫ ዋናው የማህደረ ትውስታ ባንድዊድዝ ተጠቃሚ ነው። ያነሱ የKV ራሶች ማለት በአንድ የመነጨ ማስመሰያ የሚነበበው ያነሰ ውሂብ ማለት ነው። ባለ ብዙ ጭንቅላት ፍተሻ ነጥብ ወደ GQA ለመቀየር ሞዴሎች ብዙ ጊዜ 'በሰለጠነ' ይዘጋጃሉ።

የቡድን-መጠይቅ ትኩረትን ማስተር

የቡድን-መጠይቅ ትኩረት (GQA) በርከት ያሉ የመጠይቅ ራሶች አንድ አይነት ቁልፍ እና ዋጋ ያላቸውን ራሶች እንዲጋሩ በመፍቀድ በፅሁፍ ማመንጨት ጊዜ የሚፈለገውን ማህደረ ትውስታን የምንቀንስበት መንገድ ነው። ትላልቅ ሞዴሎችን ከሞላ ጎደል ጥራት ማጣት ጋር ለማገልገል በጣም ፈጣን ያደርገዋል. የቡድን-መጠይቅ ትኩረት ጽሑፍን እና ንግግርን በተመጣጣኝ መጠን ለማንበብ፣ ለማፍለቅ፣ ለመከፋፈል እና ለመለወጥ የሚያገለግል የቋንቋ-AI ቁልል አካል ነው። ጥልቅ ግንዛቤን ለመገንባት የቡድን-መጠይቅ ትኩረትን እንደ ኦፕሬሽን ሞዴል እንጂ አንድ ባህሪ አይያዙ፡ የሚፈለጉትን ውጤቶች ይግለጹ፣ ግምቶችን ያብራሩ እና ስርዓቱ አሁንም የባለሙያዎችን ፍርድ ከሚያስፈልገው ነገር ለይ።

በተግባር፣ የቡድን-ጥያቄ ትኩረት ንድፍ ጥያቄዎችን፣ ሰርስሮ ማውጣት እና የግምገማ ቀለበቶችን እንደ አንድ የተቀናጀ የግንኙነት ስርዓት የሚጠቀሙ ጠንካራ ቡድኖች። ግልጽ የስኬት መስፈርቶችን ይመዘግባሉ፣ በተጨባጭ መረጃ እና የስራ ፍሰቶች ላይ ይፈትሻሉ፣ እና የአንድ ጊዜ ቤንችማርክ ከማሸነፍ ይልቅ በተስተዋሉ የውድቀት ቅጦች ላይ ተመስርተው ይደግማሉ። ይህ የንድፈ ሃሳባዊ ግንዛቤ በምርት፣ ፖሊሲ እና ኦፕሬሽኖች ላይ ወደ ዘላቂ አቅም የሚቀየርበት ነው።

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ። በተመሳሳይ ጊዜ፣ የተሳሳቱ እውነታዎች ሪፖርቶችን፣ የድጋፍ ፍሰቶችን ወይም የምርምር ውጤቶችን በጸጥታ ማስገባት ይችላሉ። በጣም ጠንካራው አካሄድ የሙከራ ፍጥነትን ከአስተዳደር ዲሲፕሊን ጋር ማጣመር ነው፡ አብራሪዎችን ማስኬድ፣ ማስረጃን መያዝ፣ የውሳኔ ምዝግብ ማስታወሻዎችን ማተም እና የሞዴል ባህሪ፣ የተጠቃሚ የሚጠበቁ እና የቁጥጥር መስፈርቶች ሲዳብሩ ጥበቃዎችን ያለማቋረጥ ማዘመን ነው።

ስልታዊ ተጽእኖ

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።

በሁሉም ቋንቋዎች እና የግንኙነት ዘይቤዎች ተደራሽነትን ያሰፋል።

በሁሉም ቋንቋዎች እና የግንኙነት ዘይቤዎች ተደራሽነትን ያሰፋል። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።

አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።

አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።

የቡድን-መጠይቅ ትኩረት የወደፊት

GQA አሁን በክፍት ክብደት ሞዴሎች ውስጥ መደበኛ ነባሪ ነው ምክንያቱም ለትልቅ አገልግሎት ድሎች አነስተኛ ጥራት ያለው ወጪን በንጽህና ስለሚሸጥ። እንደ FlashAttention፣ KV-cache quantization፣ እና እንደ ባለ ብዙ ጭንቅላት ድብቅ ትኩረት ካሉ ሌሎች የቅልጥፍና ዘዴዎች ጋር ከጊዜ ወደ ጊዜ መሸጎጫውን የበለጠ እንዲያጣምር ይጠብቁ። የአውድ መስኮቶች እያደጉ ሲሄዱ፣ የKV-cache መጠንን መቆጣጠር ማዕከላዊ የንድፍ ችግር ሆኖ ይቀራል፣ እና የGQA-style ጭንቅላት መጋራት እንደ ቁልፍ ማንሻ ይቀራል።

የእውነተኛ-ዓለም አተገባበር

Llama 2 70B እና Llama 3 GQA ን በመጠቀም ረጅም አውድ በትንሽ ኬቪ መሸጎጫ ለማገልገል

ትልቅ የውይይት ሞዴል ባነሰ ወይም ርካሽ በሆነ ፍጥነት እንዲገጣጠም የጂፒዩ ማህደረ ትውስታን መቀነስ

የ KV-cache ባንድዊድዝ ማነቆ በሆነበት በምርት ኤፒአይዎች ውስጥ ማስመሰያ-በቶከን ማፍጠን

የማስታወስ ችሎታን ሳያሟጥጡ ብዙ ተጠቃሚዎችን በአንድ ጊዜ ለማገልገል ትላልቅ ባች መጠኖችን ማንቃት

የትግበራ ቅጦች

የቡድን-መጠይቅ ትኩረት በተግባር

Llama 2 70B እና Llama 3 GQAን በመጠቀም ረጅም አውድ በትንሽ ኬቪ መሸጎጫ ለማገልገል።

Llama 2 70B እና Llama 3 GQA ን በመጠቀም ረጅም አውድ በትንሽ ኬቪ መሸጎጫ ለማገልገል ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ መሻሻል መንገድን ሲይዙ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።

የቡድን-መጠይቅ ትኩረት በተግባር

ትልቅ የውይይት ሞዴል ባነሰ ወይም ርካሽ በሆነ ፍጥነት እንዲገጣጠም የጂፒዩ ማህደረ ትውስታን መቀነስ።

የጂፒዩ ማህደረ ትውስታን በመቀነስ ትልቅ የውይይት ሞዴል በጥቂቱ ወይም በርካሽ አፋጣኞች ላይ እንዲገጣጠም ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ከፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ እድገት መንገድን ሲያደርጉ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።

የቡድን-መጠይቅ ትኩረት በተግባር

የ KV-cache ባንድዊድዝ ማነቆ በሆነበት በምርት ኤፒአይዎች ውስጥ ማስመሰያ-በቶከን ማፍጠን።

የ KV-cache ባንድዊድዝ ማነቆ በሆነበት በምርት ኤፒአይዎች ውስጥ የማስመሰያ-በቶከን ማመንጨት ማፋጠን ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ እድገት መንገድን ሲይዙ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።

የቡድን-መጠይቅ ትኩረት በተግባር

የማስታወስ ችሎታን ሳያሟጥጡ ብዙ ተጠቃሚዎችን በአንድ ጊዜ ለማገልገል ትላልቅ ባች መጠኖችን ማንቃት።

ብዙ ተጠቃሚዎችን በተመሳሳይ ጊዜ የማስታወስ ችሎታን ሳያሟጥጡ እንዲያገለግሉ ትላልቅ ባች መጠኖችን ማንቃት ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ከፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰውን እድገት መንገድ ሲይዙ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።

አደጋዎች እና የጥበቃ መንገዶች

የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።

ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።

የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።

የትግበራ ፍኖተ ካርታ

ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።

ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።

ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።

ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።

ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።

ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።

የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።

የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።

ማሰስዎን ይቀጥሉ

ChatGPT እና LLMs

የዘመናዊ ቋንቋ ሞዴሎች እንዴት እንደሚያመነጩ እና እንደሚያስቡ ይመልከቱ።

መመሪያ ያንብቡ

NLP መሰረታዊ ነገሮች

ከእነዚህ መሳሪያዎች በስተጀርባ ያለውን የቋንቋ ማቀናበሪያ መሰረታዊ ነገሮችን ይማሩ።

መመሪያ ያንብቡ