Lu xew
Gëstukat yi Lyuke Wang, Zhuo Li ak Guangxu Zhu ñoo dugal VisCache, muy benn kaada buy wàññi njëgu xayma ak fàttaliku ci wàllu xam-xam bu yàgg ci misaali làkk yu yaatu ci wàllu gis-gis. Këyit dañu ko jox arXiv ci 25 ut 2026, ba noppi di fësal benn anam bu am ñaari etap buy dindi xibaar yu bari yuy wane, di jéema baña yàq xibaar yu am solo ci liggéeyu bàyyi xel ci model bi.
Këyit dafay wax ci benn jafe-jafe sistem bu jëm ci làkku gis-gis ci modeli làkk yu mag: ci contexte bu gudd mën na soxla calcul ak mémoire bu bari ndax model bi dafay tëye cache yu am valeur key, wala KV. Cache yooyu bokk nañu ci jumtukaayi bàyyi xel yi, te dañuy denc leeral yi ñuy jëfandikoo ci modelu liggéey yi ci topp. Auteur yi dañu wax ni pexe compression yi fi nekk dañuy faral di dagg ay token yu ñuy gis ak ay couche model ci anam wu wuute, te loolu mën na sànni xibaar ci anam wu tolloowul ba noppi wàññi performance. VisCache dañu ko wane ni benn kaadaru plug-and-play bu amul benn tàggat, ngir gëna tànneef ci kompresioŋ bi.
VisCache amna ñaari etape yuñ xamle. Bi ci njëkk mooy xeetu làkku gis-gis bu woyof bi dafay segg redondance temporel ci yebal ay keyframe yuy joxe leeral ci wàllu semantik. Li tax ñu def loolu mooy wàññi leeral yiñy baamtu ci seeni toppalante, ndax kadre yu bari yi ci wetam duñu def lu bari ci ëmbiit bu bees. Ñaareel ba mooy téere bi dafay wane PruneKV, di algorithm buñ defar ngir wër doxalinu bàyyi xel ci misaali làkku gis-gis. Abstract bi dafa wax ni PruneKV dafay jëfandikoo xaaj bu parabolik ci budget yiy dagg ci diisaay yi ak ab doxalin bu yeesal bu asymétrique: dafay tànnee dagg caabi yi ci diggante valeur yi. Luñu bëgga wax mooy denc context critique bi boole ci wàññi cache biñ denc.
Ci jàngat yiñ tënk ci abstract bi, bindkat yi dañu wax ni VisCache amna gaawaay bu yegg ba 2.35 yoon ci ak wàññi jëfandikoo mémoire ci noonu lañu denc 19% ba 28% ci cache KV. Neena ñu itam ni dafa wéy di am taxawaayu taxawaayu joŋante ak li ñu njëkka def ba noppi jur njariñu xarañteef ak njariñu liggéey. Source bi dafay xamme liggéey bi ni version 1 bu benn arXiv preprint ba noppi wax ni kode bi amna, waaye joxewul tur model yiñ natt, ensemble done, poñ yi ci niveau liggéey, configuration hardware, natt latency, njuumte wala anam yu gëna jub ci ginaaw gaawaay bu gëna mag.
Ay leeral ci cosaan: arxiv.org ↗
Lu tax mu am solo
Sudee liñu xamle ci resultaa yi dafa weesu li bindkat yi jàngat, wàññi li ñuy laaj ci KV-cache mën na tax sistemu làkku gis-gis bu yàgg gëna yomb te gëna yomba doxal ci biir ay jafe-jafe ci mémoire. Loolu mën na am solo ci aplikaasioŋ yiy jàngat wideo yu gudd, nataal yu toppalante wala yeneen dugal yu bari, ndigam balluwaay bi mënul wane waajal liggéey, méngoo model bu yaatu wala liggéey ci àdduna dëgg.
Njariñu liggéey bi ci jëfandikoo gi mingi aju ci liñuy xoole ci moo gën ci tàggat model. Sistemu làkku gis-gis yiy jëfandikoo wideo yu gudd wala nataal yu yaatu mën nañu leen tënk ci memory ak ci xayma yu bari doonte ginaaw bi ñu tàggatee benn model. Benn anam buy denc liggéey yu bari ak cache visuel bu gëna ndaw mën na may ay dugal yu bari ñu mëna ànd ak memory accelerator bi jàppandi, wàññi dem bi ak dikk bi ci done yiñ cache te mën na wàññi njëg wala latency ci sarwis multimodal yi. Loolu ay njeexital yu mekaniism biñ xamle la, duñu ay njariñ yu balluwaay bi defar boppam.
Xeetu jëfandikoo gi ñu nara def dafay wane lu tax contexte visuel bi wara am paj mu wuute ak contexte text bi. Wideo mën na am kadre yu bari te du am benn coppite ci semantik bi, waaye limu kadre yu néew mën na am xibaar bu am solo ngir tontu benn laaj. Ci anam wu mel nii, solo su wane gi mën na wuute ci wàll wu nekk ci model bi. Seggal keyframe këyit bi ak dagg-dependent layer ñu ngi ko defar ci wuute yooyu, du jëfandikoo benn sàrtu tëye fépp. Sudee gis-gis bi am doole, mën na may developpeur yi beneen anam ngir mëna yoriinu jumtukaayi model multimodal yi te duñu tàggataat model bu nekk ngir wane ko ci anam wu gàtt.
Reklamasioŋ yi ñu ngi nekk ci njëkk. Ibtidaa bi ab dugal la bu arXiv, du firnde ci nanngu buñu xoolaat ci seeni moroom wala ñu delloo ko ci boppam. "Performance compétitive" nekkul garanti bu leer, te abstract bi waxul ndax anam wi dafay denc njubte ci liggéey yépp, guddaayu wideo, xeetu nataal wala aplikaasioŋ yu am jafe-jafe. Du firndeel itam ni gaawaay biñ xamle dina tekki ci faktiiru niir yu gëna ndaw wala latency bu gëna baax ci jëfandikukat bi, ndax njariñ yooyu a ngi aju ci hardware, jëfandikoo losisel, batching ak njëgu etape filtrage biy yokk.
Mekanism buy weccoo xalaat: naka lay doxee
Saytu xarala yu bees yi ci ginaaw yokkute bii ci anam wu weccoo xalaat.
Which component of an AI application is the machine-learning model itself?
Li nga wara seetaan ci topp
Laaj yi gëna am solo ñooy ndax VisCache dafay yamale ci yeneen xeeti làkki gis-gis, liggéey, dugal yi ñuy gis ak environmaa hardware, ak ba ñaata njub lañuy ñàkk ci jafe-jafe yi. Replication independent, code génne ak resultaa benchmark yu leer dina am solo ngir jàngat ndax njariñu efficacité bi ñu xamle dafay wane sistem yu am njariñ yu bari wala resultaa bu yam ci anam yi ñuy saytoo këyit bi.
Li njëkk mooy ñu mëna am doom. Auteur yi neena ñu kode amna, kon gëstukat yi ak insiñër yi ci biti mën nañu natt ndax 2.35-yoon gaawaay bu gëna mag biñ wax ak 19% ba 28% range retention ñu ngi baamtu ci benn configuration yi. Xam-xam bu am njariñ dafay àndaale ak firnde yu mat sëkk, model ak coverage dataset, latency end-to-end, mémoire bu mag, jëfandikoo energie ak njëg yi modelu segg bu woyof bi dugal. Resultaa bi gëna mag kese du wane njariñ li ci bari liggéey.
Gëstukat yi dañu wara xoolaat itam jafe-jafe yi dagg garab yi waral. Tanneef kadre bu am solo mën na dindi mbir yu gàtt waaye am solo, waaye compression cache bu metti mën na indi jafe-jafe ci mbir yi, jëf yi wala relation yiy feeñ benn yoon kese. Design asymétrique key- ak valeur-fusion mën nañu denc yenn xibaar yi gëna baax ci dagg uniform, waaye source bi xamul ban liggéey moo gëna am solo wala naka njuumte yi di soppikoo su retention bi wàññeekoo. Kon jàngat yi dañu wara saytu gis-gis yu ndaw yi, xalaat yu yàgg yi ak toppalante yu wuute wala yu leerul, baña yam ci poñ yiñ dajale kese.
Fi may jeexalee mooy, fàww ñu tàqale li ñuy wax ci deployment ak li ñuy wax ci gëstu. Xamu ñu ci balluwaay bii ban xeetu làkku gis-gis moo mëna jëfandikoo VisCache te kenn duko soppi, ndax anam wi dafay dox ci yeneen xeeti gaawaay, wala njariñ yi ci des su model yi di liggéey jëfandikukat yu bari ci benn yoon. Version yu ëlëg ci këyit bi, jàngat yuñ xoolaat ci seeni jàppante, benchmark yu gëna yaatu ak rapoor yu bawoo ci jëfandikukat yu moom seen bopp mën nañu leeral mbir yooyu. Ba foofu, VisCache dañu ko gëna xamee ni proposition gëstu bu am njariñ ak njariñu efficacité buñ xamle, te baña nekk pexe universel buñ firndeel ngir multimodal bu yàgg.