PuzzleKV LLM KV-cache ማከማቻን ለመቀነስ ገጽ-ጥበባዊ መጭመቅ ሃሳብ ያቀርባል

ምን ተፈጠረ

ተመራማሪዎች የPuzzleKVን ሃሳብ ያቀርባሉ፣ በገጽ ላይ ጥበበኛ የሆነ ዝቅተኛ ደረጃ የመበስበስ ዘዴ በረዥም አውድ ትልቅ የቋንቋ ሞዴል ፍንጭ ጊዜ ጥቅም ላይ የዋለውን የቁልፍ እሴት መሸጎጫ። ወረቀቱ እንደሚለው ሙከራዎቹ አብዛኛውን የሚለካውን የሙሉ የKV አፈጻጸም ጠብቀው ማከማቻን በከፍተኛ ሁኔታ እየቀነሱ ቆይተዋል።

በነሀሴ 24፣ 2026 ለarXiv የቀረበው ወረቀቱ በትልልቅ የቋንቋ ሞዴሎች የረጅም ጊዜ አውድ ውስጥ ቀዳሚ ምልክቶችን ለማቆየት የሚያስፈልገውን ማህደረ ትውስታን ይመለከታል። ያ የተያዘው መረጃ በቁልፍ እሴት ወይም በኬቪ መሸጎጫ ውስጥ ይከማቻል። ደራሲዎቹ የ KV-cache መጭመቅን የእነዚያን ቀደምት ቶከኖች በማመንጨት ጊዜ መጠቀማቸውን በመቀጠል የማከማቻ ወጪን ለመቀነስ መንገድ አድርገው ይገልጹታል። ምንጩ የመሸጎጫ-ማስታወሻ ችግርን ለሥራው እንደ ማዕከላዊ አነሳሽነት ያቀርባል, ይልቁንም አጠቃላይ ቴክኒኮችን እንደ ሁለተኛ ደረጃ ከማመልከት ይልቅ.

PuzzleKV እያንዳንዱን የራስ KV መሸጎጫ ወደ ቋሚ ርዝመት አመክንዮአዊ ገፆች ይከፋፍላል እና እያንዳንዱን የተጠናቀቀ ገጽ እንደ ገለልተኛ የማመቂያ ክፍል ይመለከታቸዋል። ደራሲዎቹ በግለሰብ ገፆች ውስጥ ጉልህ የሆነ ዝቅተኛ ደረጃ መዋቅር እንዳስተዋሉ፣ ይህም ማለት በአንድ ገጽ ውስጥ ያለው መረጃ በተቀነሰ ልኬቶች ሊወከል ይችላል ይላሉ። ዘዴው በእያንዳንዱ የሞዴል ንብርብር እና በ KV ጭንቅላት ውስጥ ገጾችን በተናጠል ያበላሻል. ከዚያም በሁለቱም ያልተጨመቁ፣ ወይም ጥቅጥቅ ያሉ፣ ገፆች እና የታመቁ፣ ወይም ፋክተሬትድ፣ ገጾች ላይ ትኩረትን ያሰላል። በራስ ሰር መገለል በሚደረግበት ጊዜ፣ አዲስ ብቁ የሆኑ ገጾች እየጨመሩ ይሄዳሉ። ወረቀቱ አሰራሩን ከሥልጠና ነፃ እና ከካሊብሬሽን ነፃ አድርጎ ይገልፃል።

ደራሲዎቹ በሞዴሎች፣ የአውድ ርዝማኔዎች እና መለኪያዎች በተዛማጅ የማከማቻ በጀቶች ላይ የተደረጉ ሙከራዎችን ሪፖርት አድርገዋል። በግምት 60% የሚሆነው የመጀመሪያው የKV-cache ማከማቻ፣ PuzzleKV በሁለቱም በተገመገሙ ሞዴሎች እና በሁሉም የቤንችማርክ ቅንጅቶች ላይ ከ96% በላይ የሙሉ የKV አፈጻጸም አሳይቷል። እንዲሁም ከግሎባል SVD በ RULER ላይ እና በሎንግቤንች ላይ የውድድር አፈጻጸምን በተመለከተ ከፍተኛ ግኝቶችን ሪፖርት አድርገዋል። ለበለጠ ኃይለኛ ቅነሳ፣ ወረቀቱ PuzzleKVን ከቁጥር ጋር በማጣመር ከ93% በላይ የሙሉ የKV አፈጻጸምን የመጀመሪያውን ማከማቻ 18.7% በመጠቀም ሪፖርት ያደርጋል። ምንጩ በቀረበው ጽሑፍ ውስጥ የሞዴል ስሞችን፣ የግለሰብ ቤንችማርኮችን፣ የአሂድ ጊዜ መለኪያዎችን ወይም የሃርድዌር ውቅርን አይሰጥም።

አንድ ላይ ሲጠቃለል, መግለጫው የመሸጎጫ ውክልና, የገጽ-ጥበብ መበስበስ, የትኩረት ስሌት እና የተዘገበ የማከማቻ ነጥቦችን ይሸፍናል. እንዲሁም የቀረበው መለያ ድንበሮችን ይለያል፡ ምንጩ የቤንችማርክ ስሞችን እና የአፈጻጸም ንፅፅሮችን ይሰጣል፣ የሞዴል ስሞች፣ ዝርዝር ውጤቶች፣ የአሂድ ጊዜ መለኪያዎች እና የሃርድዌር ውቅር ሳይገለጹ ይቀራሉ።

የምንጭ ዝርዝሮች: arxiv.org ↗

ለምን አስፈላጊ ነው።

የKV-cache ማህደረ ትውስታ የረጅም ጊዜ አውድ መረጃን ሊገድብ ይችላል። ሪፖርት የተደረገው ውጤት ከወረቀቱ ግምገማዎች በላይ የሚይዝ ከሆነ፣ በገጽ ላይ ጥበባዊ መጨናነቅ የማህደረ ትውስታ መስፈርቶችን ሊቀንስ እና በቋሚ የማከማቻ በጀቶች ውስጥ ረዘም ያለ አውድ ማገልገልን የበለጠ ተግባራዊ ሊያደርግ ይችላል።

ተግባራዊው ጉዳይ በአውድ ርዝመት እና በማስታወስ መካከል ያለ ልዩነት ነው። ትልቅ የKV መሸጎጫ ከቀደምት ቶከኖች የበለጠ መረጃን ይጠብቃል፣ ነገር ግን በማጣቀሻ ጊዜ የማከማቻ መስፈርቶችን ይጨምራል። ያንን መሸጎጫ መጨናነቅ ስለዚህ ስርዓቱ በቋሚ የማህደረ ትውስታ በጀት ውስጥ ምን ያህል አውድ ማስተናገድ እንደሚችል ላይ ተጽእኖ ሊያሳድር ይችላል። አዲስ የሰለጠነ ሞዴል ከመጠየቅ ይልቅ የተጠናቀቁትን የመሸጎጫ ክፍሎችን ውክልና በመቀነስ በቀጥታ የሚገድቡ የእንቆቅልሽ ኬቪ ኢላማዎች።

የወረቀቱ ሪፖርት ውጤቶች በሁለት የተለያዩ የማከማቻ ቦታዎች ላይ አፈጻጸምን ስለሚገልጹ ጠቃሚ ሊሆኑ ይችላሉ። የመጀመሪያው ከ96% በላይ የወረቀቱን ሙሉ የKV ማመሳከሪያ አፈጻጸም ከዋናው ማከማቻ በግምት 60% ይይዛል። ሁለተኛው የታቀደውን መበስበስን ከቁጥር ጋር በማጣመር ከ 93% በላይ ከዋናው ማከማቻ 18.7% ሪፖርት ያደርጋል። እነዚህ ውጤቶች አጠቃላይ ከሆኑ፣ አቀራረቡ ለኦፕሬተሮች ረጅም አውድ ሞዴሎችን በሚያቀርቡበት ጊዜ የማህደረ ትውስታ ፍጆታን ከውጤት ጥራት ጋር ለማመጣጠን ሌላ መንገድ ሊሰጥ ይችላል።

የገጽ-ጥበባዊ ንድፍ እንዲሁ የወረቀቱ ዋና ቴክኒካዊ ልዩነት ከምንጩ ውስጥ ከተገለጹት ቀደምት አቀራረቦች ነው። እነዚያ አቀራረቦች ከሞዴል ክብደቶች፣ የመለኪያ ማነቃቂያዎች ወይም በሰፊው መሸጎጫ ክልል ላይ የጋራ መሠረት የተገኙ ቋሚ ትንበያ ቦታዎችን ይጠቀማሉ። PuzzleKV በምትኩ ትናንሽ መሸጎጫ ክልሎች ጠቃሚ የአካባቢ መዋቅር ሊኖራቸው እና ራሳቸውን ችለው ሊጨቁኗቸው እንደሚችሉ ያስባል። ያ ውክልናውን ለአካባቢያዊ ልዩነት የበለጠ ምላሽ እንዲሰጥ ሊያደርግ ይችላል፣ ነገር ግን የቀረበው ምንጭ የጸሐፊዎቹን ሙከራዎች ብቻ ነው የሚዘግበው። ዘዴው በሰፊው የላቀ፣ ለምርት ዝግጁ የሆነ ወይም በሁሉም የሞዴል አርክቴክቸር እና የስራ ጫናዎች ላይ ጠቃሚ መሆኑን አያረጋግጥም።

ውጤቱን ለመተርጎም ይህ ልዩነት አስፈላጊ ነው. ሪፖርት የተደረጉት መቶኛዎች በተጠቀሱት የማከማቻ በጀቶች መሠረት የወረቀቱን ንጽጽር ከ Full KV ጋር ያብራራሉ። በቀረበው ምንጭ ውስጥ ስለ ማሰማራት እያንዳንዱን ጥያቄ አይመልሱም ወይም ለእያንዳንዱ ሞዴል እና የስራ ጫና ውጤት አይመሰርቱም። ስለዚህ እምቅ እሴቱ የተዘገበው የማስታወስ እና የአፈጻጸም ግንኙነት በተግባር ጠቃሚ ሆኖ ከመቀጠሉ ጋር የተያያዘ ነው።

ቀጥሎ ምን እንደሚታይ

ወረቀቱ ስሪት-አንድ arXiv ቅድመ-ህትመት ነው፣ እና ምንጩ የተገመገሙትን ሞዴሎችን፣ ሃርድዌርን፣ የቆይታ ጊዜ ውጤቶችን፣ የትግበራ መገኘትን ወይም ራሱን የቻለ ማባዛትን አይለይም። እነዚያ ዝርዝሮች የተዘገበው የማከማቻ ትርፍ ወደ ተግባራዊ አገልግሎት ጥቅማጥቅሞች መተርጎም አለመሆኑን ይወስናሉ።

በጣም አስፈላጊው የሚቀጥለው ጥያቄ የተዘገበው አፈጻጸም ከወረቀቱ ከተገለጹት መቼቶች ውጭ ግምገማን ይተርፋል ወይ የሚለው ነው። ምንጩ RULER እና LongBench የሚል ስም ሰጥቷል እና ሙከራዎቹ ሁለት ሞዴሎችን፣ በርካታ የአውድ ርዝማኔዎችን እና የቤንችማርክ ቅንብሮችን ይሸፍናሉ፣ ነገር ግን ሞዴሎቹን አይለይም ወይም የእያንዳንዱን ተግባር ውጤት አያሳይም። አርክቴክቸር፣ የትኩረት አቀማመጥ፣ የቅደም ተከተል ርዝመት እና የተግባር አይነትን ለመቅረጽ ዘዴው ምን ያህል ሚስጥራዊነት እንዳለው ለመገመት አንባቢዎች እነዚያን ዝርዝሮች ያስፈልጋሉ።

የማከማቻ ቅነሳ ዝቅተኛ የአገልግሎት ዋጋ ወይም ፈጣን ግምት ጋር ተመሳሳይ አይደለም። የቀረበው ጽሑፍ የቆይታ ጊዜን፣ የመተላለፊያ ይዘትን፣ የማህደረ ትውስታን የመተላለፊያ ይዘትን፣ የሃይል አጠቃቀምን፣ ከራስ በላይ መጨናነቅን ወይም ሙከራዎቹ የሰሩበትን ሃርድዌር ሪፖርት አያደርግም። PuzzleKV በሁለቱም ጥቅጥቅ ያሉ እና በተመረቱ ገፆች ላይ ትኩረትን ያሰላል እና ገጾችን በጨመረ መጠን ስለሚጨመቅ፣ የአተገባበር ዝርዝሮች የማህደረ ትውስታ ቁጠባዎች የተጣራ የስራ ማስኬጃ ጥቅማጥቅሞችን ያስገኙ እንደሆነ ላይ ተጽእኖ ሊያሳድሩ ይችላሉ። የወረቀት ማከማቻ የይገባኛል ጥያቄዎችን ስለ ማሰማራት ኢኮኖሚክስ የይገባኛል ጥያቄዎች ከመተርጎምዎ በፊት እነዚያ መለኪያዎች አስፈላጊ ናቸው።

በቁጥር የተደረገው ውጤትም የተለየ ምርመራን ያረጋግጣል። ወረቀቱ መጠኑ ሲጨመር ከ93% በላይ የሙሉ የKV አፈጻጸምን በ18.7% ኦሪጅናል ማከማቻ ዘግቧል፣ነገር ግን ምንጩ የቁጥር ፕላኑን፣ ትክክለኛነትን፣ የስህተት ስርጭትን ወይም ውጤቱን በተግባራት ላይ አንድ አይነት የሚተገበር መሆኑን አልገለፀም። ቅድመ ህትመቱ እንደ ስሪት አንድ ተለይቷል እና በቀረበው ምንጭ ውስጥ ራሱን የቻለ አልተረጋገጠም። ኮድ መልቀቅ፣ ከሌሎች የመሸጎጫ-መጭመቂያ ዘዴዎች ጋር ሰፋ ያለ ንፅፅር እና ተጨማሪ ሞዴሎችን ማባዛት የስልቱን ተግባራዊ ተደራሽነት እና ውስንነት ያብራራል።

ተጨማሪ ማስረጃዎች የወረቀቱን አጠቃላይ ውጤት ከትክክለኛ አጠቃቀም ጋር ያገናኛሉ። በተለይም የጎደሉት የሞዴል ማንነቶች፣ የየስራ ውጤቶች፣ የስርዓት መለኪያዎች፣ የቁጥር ዝርዝሮች፣ ኮድ እና ገለልተኛ ማባዛት ዘዴው ለማገልገል አስፈላጊ በሆኑ ቅንብሮች ውስጥ ምን ያህል ወጥነት ያለው ባህሪ እንዳለው ክፍት ይተዋል። እነዚያ ግድፈቶች ስራው ሲዳብር መከተል ያለባቸው ዋና ነገሮች ናቸው።

ተዛማጅ መመሪያዎች እና ጥያቄዎች