አጠቃላይ እይታ
የKV መሸጎጫ አንድ ትራንስፎርመር ያሰላቸው ቁልፎችን እና እሴቶችን ያከማቻል ስለዚህ ለእያንዳንዱ አዲስ ማስመሰያ አይሰራም - ግን እስከ ጊጋባይት ድረስ ፊኛ ማድረግ ይችላል። የKV መሸጎጫ ማመቻቸት ይቀንሳል እና ያንን ማህደረ ትውስታ ያስተዳድራል ስለዚህ ሞዴሎች ረዘም ያለ አውድ ለብዙ ተጠቃሚዎች በአንድ ጊዜ ያገለግላሉ።
የKV Cache Optimization የሞዴል ጥራትን፣ የመሠረተ ልማት ወጪን፣ መዘግየትን እና አስተማማኝነትን የሚነካ ቴክኒካል ግንባታ ነው።
ጥልቅ ዳይቭ
በትራንስፎርመር ውስጥ፣ እያንዳንዱ አዲስ ማስመሰያ ሁሉንም የቀደመ ቶከኖች ትኩረትን ቁልፎች (K) እና እሴቶች (V) በኩል ይከታተላል። ለጠቅላላው ቅደም ተከተል በእያንዳንዱ እርምጃ K እና V እንደገና ማስላት አራት እና ብክነት ስለሚኖረው ሞዴሎች ይሸፍኗቸዋል-የ KV መሸጎጫ። ጉዳቱ መጠን ነው። መሸጎጫው በቅደም ተከተል ርዝመት፣ ባች መጠን፣ ንብርብሮች እና ራሶች በመስመር ያድጋል፣ ስለዚህ የረጅም ጊዜ አውድ ጥያቄ ከአምሳያው ክብደት የበለጠ የጂፒዩ ማህደረ ትውስታን ሊፈጅ ይችላል። ማመቻቸት ይህንን ከበርካታ ማዕዘኖች ይፈታል፡ የገጽ ማህደረ ትውስታ (vLLM's PagedAttention) መቆራረጥን ለማስወገድ እና መጋራትን ለማንቃት መሸጎጫውን በማያያዙ ብሎኮች ውስጥ ያከማቻል። የኳንቴሽን መደብሮች K እና V በ 8-ቢት ወይም 4-ቢት; እና እንደ የቡድን-መጠይቅ ትኩረት (GQA) እና ባለብዙ መጠይቅ ትኩረት (MQA) ያሉ የስነ-ህንፃ ለውጦች ብዙ የመጠይቅ ራሶች ያነሱ ቁልፍ/ዋጋ ራሶችን እንዲያካፍሉ እና የመሸጎጫውን መጠን ከምንጩ ላይ እንዲቆርጡ ያስችላቸዋል።
ቴክኒካዊ ግንዛቤ
PagedAttention ቨርቹዋል ሜሞሪ ፔጅ ከኦፕሬቲንግ ሲስተሞች ተበድሯል፡ መሸጎጫው የሚኖረው በፍለጋ ሠንጠረዥ ውስጥ በተቀረጹ ቋሚ መጠን ባላቸው ብሎኮች ነው፣ ስለዚህ ጥያቄዎች የሚፈልጓቸውን ብሎኮች ብቻ ይጠቀማሉ እና ተመሳሳይ ቅድመ ቅጥያ (ልክ እንደ የጋራ የስርዓት ጥያቄ) ተመሳሳይ ብሎኮችን ሊያመለክቱ ይችላሉ። ባለብዙ ጭንቅላት ድብቅ ትኩረት (ኤምኤልኤ)፣ በ DeepSeek ሞዴሎች ውስጥ ጥቅም ላይ የዋለው K እና Vን ወደ ትንሽ የጋራ ድብቅ ቬክተር ይጭናል፣ ትክክለኛነትን እየጠበቀ ማህደረ ትውስታን በሚያስደንቅ ሁኔታ ይቆርጣል።
የKV መሸጎጫ ማመቻቸትን መቆጣጠር
የKV መሸጎጫ አንድ ትራንስፎርመር ያሰላቸው ቁልፎችን እና እሴቶችን ያከማቻል ስለዚህ ለእያንዳንዱ አዲስ ማስመሰያ አይሰራም - ግን እስከ ጊጋባይት ድረስ ፊኛ ማድረግ ይችላል። የKV መሸጎጫ ማመቻቸት ይቀንሳል እና ያንን ማህደረ ትውስታ ያስተዳድራል ስለዚህ ሞዴሎች ረዘም ያለ አውድ ለብዙ ተጠቃሚዎች በአንድ ጊዜ ያገለግላሉ። የKV Cache Optimization የሞዴል ጥራትን፣ የመሠረተ ልማት ወጪን፣ መዘግየትን እና አስተማማኝነትን የሚነካ ቴክኒካል ግንባታ ነው። ጥልቅ ግንዛቤን ለመገንባት የKV Cache Optimizationን እንደ ኦፕሬቲንግ ሞዴል እንጂ አንድ ባህሪ አይደለም፡ የሚፈለጉትን ውጤቶች ይግለጹ፣ ግምቶችን ያብራሩ እና ስርዓቱ ምን ማድረግ እንደሚችል አሁንም የባለሙያዎችን ፍርድ ከሚያስፈልገው ለይ።
በተግባር፣ የKV Cache Optimization የሚጠቀሙ ጠንካራ ቡድኖች አርክቴክቸር፣ ዳታ እና የመሰረተ ልማት ምርጫዎችን ከአስተማማኝነት እና ከወጪ ጋር ያሻሽላሉ። ግልጽ የስኬት መስፈርቶችን ይመዘግባሉ፣ በተጨባጭ መረጃ እና የስራ ፍሰቶች ላይ ይፈትሻሉ፣ እና የአንድ ጊዜ ቤንችማርክ ከማሸነፍ ይልቅ በተስተዋሉ የውድቀት ቅጦች ላይ ተመስርተው ይደግማሉ። ይህ የንድፈ ሃሳባዊ ግንዛቤ በምርት፣ ፖሊሲ እና ኦፕሬሽኖች ላይ ወደ ዘላቂ አቅም የሚቀየርበት ነው።
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ. በተመሳሳይ ጊዜ፣ አንድ ቤንችማርክን ማሻሻል ሰፋ ያሉ የስርዓት ድክመቶችን መደበቅ ይችላል። በጣም ጠንካራው አካሄድ የሙከራ ፍጥነትን ከአስተዳደር ዲሲፕሊን ጋር ማጣመር ነው፡ አብራሪዎችን ማስኬድ፣ ማስረጃን መያዝ፣ የውሳኔ ምዝግብ ማስታወሻዎችን ማተም እና የሞዴል ባህሪ፣ የተጠቃሚ የሚጠበቁ እና የቁጥጥር መስፈርቶች ሲዳብሩ ጥበቃዎችን ያለማቋረጥ ማዘመን ነው።
ስልታዊ ተጽእኖ
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ. ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ. ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የእውነተኛ-ዓለም አተገባበር
የVLLM ፔጅድ ትኩረት የ KV ብሎኮችን ያለ ማህደረ ትውስታ መቆራረጥ በማሸግ ብዙ ጊዜያዊ የውይይት ክፍለ ጊዜዎችን ያቀርባል
የቡድን-መጠይቅ ትኩረት በላማ ሞዴሎች የKV መሸጎጫ መጠንን ስለሚቀንስ ረዘም ያሉ አውዶች ከጂፒዩ ማህደረ ትውስታ ጋር ይጣጣማሉ
በረዥም ሰነድ ማጠቃለያ ወቅት የ KV መሸጎጫውን ወደ 8-ቢት (KV8) በመለካት የመሸጎጫ ማህደረ ትውስታን በግማሽ ለመቀነስ።
በሺዎች በሚቆጠሩ የኤፒአይ ጥያቄዎች ላይ የKV ብሎኮችን የጋራ ስርዓት ጥያቄን እንደገና የሚጠቀም መሸጎጫ ቅድመ ቅጥያ
የትግበራ ቅጦች
KV መሸጎጫ ማመቻቸት በተግባር
የVLLM ፔጅድ ትኩረት የ KV ብሎኮችን ያለ ማህደረ ትውስታ መቆራረጥ በማሸግ ብዙ ተከታታይ የውይይት ክፍለ ጊዜዎችን ያቀርባል።
የVLLM ፔጅድ ትኩረት የ KV ብሎኮችን ያለማስታወሻ ክፍፍል በማሸግ ብዙ ጊዜ የውይይት ክፍለ ጊዜዎችን በማገልገል ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ ፣ለጫፍ ጉዳዮች የሰውን እድገት መንገድ ሲይዙ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
KV መሸጎጫ ማመቻቸት በተግባር
የቡድን-መጠይቅ ትኩረት በላማ ሞዴሎች የKV መሸጎጫ መጠንን ስለሚቀንስ ረዘም ያሉ አውዶች ከጂፒዩ ማህደረ ትውስታ ጋር ይጣጣማሉ።
የቡድን-መጠይቅ ትኩረት በላማ ሞዴሎች የKV መሸጎጫ መጠንን በመቀነስ ረዘም ያሉ አውዶች ከጂፒዩ ማህደረ ትውስታ ጋር የሚስማሙ ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ እድገት መንገድን ሲጠብቁ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
KV መሸጎጫ ማመቻቸት በተግባር
በረዥም ሰነድ ማጠቃለያ ወቅት የKV መሸጎጫውን ወደ 8-ቢት (KV8) በመለካት የመሸጎጫ ማህደረ ትውስታን በግማሽ ይቀንሳል።
የKV መሸጎጫውን ወደ 8-ቢት (KV8) በመለካት የመሸጎጫ ማህደረ ትውስታን በረዥም ሰነድ ማጠቃለያ ጊዜ በግማሽ መቀነስ ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ እድገት መንገድን ይጠብቁ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
KV መሸጎጫ ማመቻቸት በተግባር
በሺዎች በሚቆጠሩ የኤፒአይ ጥያቄዎች ላይ የKV ብሎኮችን የጋራ ስርዓት ጥያቄን እንደገና የሚጠቀም መሸጎጫ ቅድመ ቅጥያ።
በሺዎች በሚቆጠሩ የኤፒአይ ጥያቄዎች ላይ የKV ብሎኮችን እንደገና ጥቅም ላይ የሚውል መሸጎጫ ቅድመ-ቅጥያ ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ከፊት ሲወስኑ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰውን እድገት መንገድ ሲይዙ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።