প্রযুক্তিগত গাইড
কেভি ক্যাশে অপ্টিমাইজেশান
কেভি ক্যাশে একটি ট্রান্সফরমার ইতিমধ্যেই গণনা করা কী এবং মানগুলি সংরক্ষণ করে তাই এটি প্রতিটি নতুন টোকেনের জন্য পুনরায় কাজ করে না — তবে এটি গিগাবাইটে বেলুন করতে পারে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
কেভি ক্যাশে অপ্টিমাইজেশান সেই মেমরিকে সঙ্কুচিত করে এবং পরিচালনা করে যাতে মডেলগুলি একবারে আরও ব্যবহারকারীদের কাছে দীর্ঘ প্রসঙ্গ পরিবেশন করে।
গভীর ডুব
In a transformer, each new token attends to all previous tokens via attention's keys (K) and values (V). Recomputing K and V for the whole sequence at every step would be quadratic and wasteful, so models cache them: the KV cache. The downside is size. The cache grows linearly with sequence length, batch size, layers, and heads, so a long-context request can consume more GPU memory than the model weights themselves. Optimization tackles this from several angles: paged memory (vLLM's PagedAttention) stores the cache in non-contiguous blocks to reduce fragmentation and enable sharing; quantization stores K and V in 8-bit or 4-bit; and architectural changes like Grouped-Query Attention (GQA) and Multi-Query Attention (MQA) let many query heads share fewer key/value heads, slashing cache size at the source.
বাস্তব-বিশ্ব বাস্তবায়ন
vLLM's PagedAttention serving many concurrent chat sessions by packing KV blocks while reducing memory fragmentation
লামা মডেলগুলিতে গোষ্ঠীবদ্ধ-কোয়েরি মনোযোগ কেভি ক্যাশের আকার হ্রাস করে যাতে দীর্ঘ প্রসঙ্গগুলি GPU মেমরিতে ফিট করে
দীর্ঘ-নথির সংক্ষিপ্তকরণের সময় ক্যাশে মেমরিকে মোটামুটি অর্ধেক করতে কেভি ক্যাশে 8-বিট (KV8) এ পরিমাপ করা
প্রিফিক্স ক্যাশিং যা হাজার হাজার API অনুরোধ জুড়ে একটি শেয়ার্ড সিস্টেম প্রম্পটের KV ব্লক পুনরায় ব্যবহার করে
কেভি ক্যাশে অপ্টিমাইজেশানের ভবিষ্যত
কনটেক্সট উইন্ডোগুলি কয়েক হাজার বা লক্ষ লক্ষ টোকেন পর্যন্ত প্রসারিত হওয়ার সাথে সাথে কেভি ক্যাশে পরিবেশনের প্রধান খরচ হয়ে ওঠে। আক্রমনাত্মক ক্যাশে কম্প্রেশন এবং উচ্ছেদ (কম মনোযোগ টোকেন বাদ দেওয়া), ডিফল্ট হিসাবে ক্রস-রিকোয়েস্ট প্রিফিক্স শেয়ারিং, CPU বা NVMe-তে কোল্ড ক্যাশে অফলোড করা এবং MLA এবং GQA-এর মতো আর্কিটেকচারগুলি মানসম্মত হওয়ার প্রত্যাশা করুন। ক্যাশে ম্যানেজমেন্ট ক্রমবর্ধমান স্তর এবং স্মার্ট প্রিফেচিং সহ একটি সম্পূর্ণ মেমরি অনুক্রমের অনুরূপ হবে৷
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the KV Cache Optimization quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
কেভি ক্যাশে অপ্টিমাইজেশান কি?
কেভি ক্যাশে একটি ট্রান্সফরমার ইতিমধ্যেই গণনা করা কী এবং মানগুলি সংরক্ষণ করে তাই এটি প্রতিটি নতুন টোকেনের জন্য পুনরায় কাজ করে না — তবে এটি গিগাবাইটে বেলুন করতে পারে। কেভি ক্যাশে অপ্টিমাইজেশান সেই মেমরিকে সঙ্কুচিত করে এবং পরিচালনা করে যাতে মডেলগুলি একবারে আরও ব্যবহারকারীদের কাছে দীর্ঘ প্রসঙ্গ পরিবেশন করে।
কেভি ক্যাশে কি সঞ্চয় করে এবং কেন?
আগের টোকেনগুলি থেকে ক্যাশিং কী এবং মানগুলি প্রতিটি নতুন টোকেনে মনোযোগ গণনা পুনরায় করা এড়ায়, সময় বাঁচায়।
কেন কেভি ক্যাশে একটি মেমরি সমস্যা হতে পারে?
প্রসঙ্গ দৈর্ঘ্য এবং সঙ্গতি সহ ক্যাশে আকারের স্কেল, তাই দীর্ঘ অনুরোধগুলি প্রচুর পরিমাণে GPU মেমরি ব্যবহার করতে পারে।
PagedAttention কি অপারেটিং-সিস্টেম ধারণা ধার করে?
PagedAttention একটি টেবিলের মাধ্যমে ম্যাপ করা অ-সংলগ্ন স্থির-আকারের ব্লকগুলিতে ক্যাশে সংরক্ষণ করে, ঠিক OS পেজিংয়ের মতো।
কিভাবে গ্রুপড-কোয়েরি এবং মাল্টি-কোয়েরি মনোযোগ কেভি ক্যাশের আকার কমিয়ে দেয়?
একাধিক ক্যোয়ারী হেড জুড়ে কী/মান হেড শেয়ার করা মানে সঞ্চয় করার জন্য অনেক কম K এবং V ভেক্টর।
কেভি ক্যাশে উপসর্গ ভাগ করে নেওয়ার একটি সুবিধা কী?
একটি শেয়ার্ড সিস্টেম প্রম্পট একই KV এন্ট্রি তৈরি করে, তাই একাধিক অনুরোধ একই ব্লকগুলিকে নকল করার পরিবর্তে নির্দেশ করতে পারে।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড