কেভি ক্যাশে

কেভি ক্যাশে একটি ট্রান্সফরমার পূর্ববর্তী টোকেনগুলির জন্য ইতিমধ্যেই গণনা করা কী এবং মান ভেক্টর সংরক্ষণ করে, তাই এটি উত্পন্ন প্রতিটি নতুন শব্দের জন্য তাদের পুনরায় গণনা করতে হবে না। টেক্সট জেনারেশন দ্রুত হওয়ার একমাত্র সবচেয়ে বড় কারণ - এবং দীর্ঘ কথোপকথনের সময় আপনার GPU মেমরি খাওয়ার প্রধান জিনিস।

কেভি ক্যাশে আগের টোকেন থেকে কী এবং মান ভেক্টর ধারণ করে যাতে মনোযোগ পুনরায় গণনা করার পরিবর্তে সেগুলিকে পুনরায় ব্যবহার করতে পারে।

The cache reuses keys and values computed for earlier tokens instead of rebuilding them at every decode step. The new query still attends over cached positions, so attention work and cache memory continue to grow with context length.

ক্যাশে ক্রম দৈর্ঘ্য, স্তর এবং মাথার সাথে বৃদ্ধি পায়, প্রায়শই দীর্ঘ-প্রসঙ্গ পরিবেশনের ক্ষেত্রে GPU মেমরির প্রভাবশালী ভোক্তা হয়ে ওঠে।

দলবদ্ধ-কোয়েরি এবং বহু-কোয়েরি মনোযোগ একাধিক ক্যোয়ারী হেডকে কম কী/মান সেট শেয়ার করতে দেয়, ক্যাশে যথেষ্ট পরিমাণে সঙ্কুচিত করে।

প্রিফিল প্রম্পটের K/V দিয়ে ক্যাশে পূরণ করে; ডিকোড প্রতিটি ধাপে একটি নতুন টোকেনের K/V যুক্ত করে এবং ক্যাশের উপর পুনরায় যোগ করে।