ጥናት ጂፒዩዎችን ከመጨመሪያ LLM ማህደረ ትውስታ ጋር በርካሽ አገልግሎት ያወዳድራል።
አዲስ የarXiv ወረቀት የ tensor ትይዩነትን ከKV-cache compression ጋር በማስታወሻ ላይ ለተመሰረተ ትልቅ የቋንቋ ሞዴል አገልግሎት ያወዳድራል፣መጭመቂያው በተሞከሩት አወቃቀሮቹ ውስጥ ከ1.20 እስከ 2.00 እጥፍ ርካሽ እንደነበር ዘግቧል፣ ተጨማሪ ጂፒዩዎች ደግሞ የቆይታ ጊዜን የቀነሰው ብቸኛው የተፈተነ አካሄድ ነው።