एआई न्यूज।बिना शोर के.

अध्ययन में सस्ती सेवा के लिए जीपीयू जोड़ने की तुलना एलएलएम मेमोरी को कंप्रेस करने से की गई है

एक नया arXiv पेपर मेमोरी-बाउंड बड़े भाषा मॉडल सेवा के लिए केवी-कैश संपीड़न के साथ टेंसर समानता की तुलना करता है, रिपोर्ट करता है कि इसके परीक्षण किए गए कॉन्फ़िगरेशन में संपीड़न 1.20 से 2.00 गुना सस्ता था, जबकि अतिरिक्त जीपीयू एकमात्र परीक्षण दृष्टिकोण था जिसने विलंबता को कम किया था।