ذاكرة التخزين المؤقت كيلو فولت

تقوم ذاكرة التخزين المؤقت KV بتخزين متجهات المفتاح والقيمة التي قام المحول بحسابها بالفعل للرموز المميزة السابقة، لذلك لا يتعين عليه إعادة حسابها لكل كلمة جديدة يقوم بإنشائها. هذا هو السبب الأكبر الذي يجعل إنشاء النص سريعًا - والشيء الرئيسي الذي يستهلك ذاكرة وحدة معالجة الرسومات الخاصة بك أثناء المحادثات الطويلة.

تحتفظ ذاكرة التخزين المؤقت KV بالمفتاح ومتجهات القيمة من الرموز المميزة السابقة حتى يتمكن الاهتمام من إعادة استخدامها بدلاً من إعادة الحساب.

The cache reuses keys and values computed for earlier tokens instead of rebuilding them at every decode step. The new query still attends over cached positions, so attention work and cache memory continue to grow with context length.

تنمو ذاكرة التخزين المؤقت مع طول التسلسل والطبقات والرؤوس، وغالبًا ما تصبح المستهلك المهيمن لذاكرة وحدة معالجة الرسومات في خدمة السياق الطويل.

يتيح الاستعلام المجمع والاستعلام المتعدد لرؤوس الاستعلامات المتعددة مشاركة عدد أقل من مجموعات المفاتيح/القيم، مما يؤدي إلى تقليص ذاكرة التخزين المؤقت بشكل كبير.

التعبئة المسبقة تملأ ذاكرة التخزين المؤقت بـ K/V الخاص بالموجه؛ يقوم فك التشفير بإلحاق K/V لرمز مميز جديد في كل خطوة ويعيد الانتباه إلى ذاكرة التخزين المؤقت.