التخزين المؤقت الفوري
يتيح التخزين المؤقت الفوري لنموذج الذكاء الاصطناعي إعادة استخدام العمل الحسابي الذي قام به على جزء متكرر من النص بدلاً من إعادة معالجته في كل مرة.
نظرة عامة
It dramatically cuts cost and latency when the same long instructions, documents, or examples appear in request after request.
الغوص العميق
عندما يقرأ نموذج اللغة مطالبة، فإنه يحول كل رمز مميز إلى حالات رقمية داخلية تسمى متجهات القيمة الرئيسية (KV) من خلال طبقات الانتباه الخاصة به. عادةً ما يحدث هذا حديثًا عند كل طلب، حتى لو كان 90% من الموجه متطابقًا. يقوم التخزين المؤقت السريع بتخزين حالات KV المحسوبة مسبقًا لبادئة محددة، لذلك يمكن للطلب اللاحق الذي يبدأ بنفس النص أن ينتقل مباشرة إلى الجزء الجديد. يعرض مقدمو الخدمة مثل Anthropic وOpenAI ذلك عن طريق السماح لك بوضع علامة على بادئة مستقرة؛ تتم محاسبة زيارات ذاكرة التخزين المؤقت بخصم كبير (غالبًا 90٪ من تكلفة الإدخال) والاستجابة بشكل أسرع. إنه مثالي لروبوتات الدردشة ذات مطالبات النظام الثابتة، أو خطوط أنابيب RAG التي تعيد استخدام نفس المستندات، أو الوكلاء الذين يعيدون تشغيل التواريخ الطويلة.
البصيرة الفنية
يعمل التخزين المؤقت لأن انتباه المحول سببي: كل رمز مميز يهتم فقط بالرموز المميزة التي تسبقه. لذا فإن حالات KV للبادئة لا تتغير أبدًا عند إلحاق رموز مميزة جديدة بعد ذلك. يتم تحديد ذاكرة التخزين المؤقت على تطابق تام للرمز المميز لتلك البادئة، ولهذا السبب حتى التعديل المكون من حرف واحد في وقت مبكر من الموجه يبطل كل شيء في اتجاه مجرى النهر. تكون ذاكرة التخزين المؤقت قصيرة العمر (بالدقائق)، ويتم تخزينها لكل مزود، وعادةً ما يجب أن تتجاوز الكتلة القابلة للتخزين المؤقت الحد الأدنى لعدد الرموز المميزة.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل التخزين المؤقت الفوري
توقع أن يصبح التخزين المؤقت تلقائيًا وأطول عمرًا، حيث يكتشف مقدمو الخدمة النطاقات القابلة لإعادة الاستخدام بدلاً من طلب علامات يدوية. قد يسمح التخزين المؤقت الهرمي والجزئي للتعديلات في منتصف المطالبة بإعادة استخدام الأجزاء غير المتغيرة على كلا الجانبين. بينما يتنقل الوكلاء بين السياقات الضخمة وتاريخ الأدوات، ستكون ذاكرات التخزين المؤقت المشتركة بين الجلسات والمستخدمين لمطالبات النظام المشترك أمرًا أساسيًا لجعل سياقات المليون رمز قابلة للتطبيق اقتصاديًا، وسوف تتبنى النماذج الموجودة على الجهاز إعادة استخدام KV مماثلة للاستدلال المحلي السريع.
التنفيذ في العالم الحقيقي
يقوم برنامج الدردشة الآلي لدعم العملاء بتخزين سياسة 5000 رمز مميز ومطالبة نظام النغمات مؤقتًا، بحيث تدفع كل رسالة مستخدم فقط السعر الكامل للسؤال الجديد.
يقوم تطبيق الاسترجاع المعزز (RAG) بتخزين مستند مرجعي كبير مؤقتًا مرة واحدة، ثم يجيب على العديد من الأسئلة المتعلقة به مقابل جزء صغير من التكلفة.
يقوم مساعد الترميز بتخزين محتويات قاعدة تعليمات برمجية كبيرة أو ملف كبادئة ثابتة بينما يطرح المطور أسئلة متابعة متتالية.
يقوم وكيل الذكاء الاصطناعي بتخزين نص استخدام الأداة الطويل والمتزايد مؤقتًا بحيث لا تؤدي كل خطوة جديدة إلى إعادة فاتورة المحادثة السابقة بأكملها.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt Caching quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
الأمن الفوري لمنظمة العفو الدولية
الأسئلة المتداولة
What is Prompt Caching?
يتيح التخزين المؤقت الفوري لنموذج الذكاء الاصطناعي إعادة استخدام العمل الحسابي الذي قام به على جزء متكرر من النص بدلاً من إعادة معالجته في كل مرة. فهو يقلل التكلفة وزمن الوصول بشكل كبير عندما تظهر نفس التعليمات أو المستندات أو الأمثلة الطويلة في طلب بعد طلب.
ما الذي يقوم التخزين المؤقت الفوري بتخزينه وإعادة استخدامه في المقام الأول؟
يحفظ التخزين المؤقت حالات انتباه KV المحسوبة لبادئة مستقرة حتى لا يلزم إعادة حسابها في كل طلب.
لماذا يجب أن تتطابق البادئة المخزنة مؤقتًا تمامًا مع الرمز المميز؟
نظرًا لأن كل رمز مميز يهتم فقط بالرموز المميزة السابقة، فإن تغيير الرمز المميز المبكر يبطل كل حالة تعتمد عليه، مما يؤدي إلى كسر ذاكرة التخزين المؤقت.
ما هو السيناريو الذي يستفيد أكثر من التخزين المؤقت السريع؟
يؤتي التخزين المؤقت ثماره عند إعادة استخدام جزء كبير ومتطابق عبر العديد من الطلبات، مثل موجه نظام ثابت أو مستند مشترك.
ما هي التكلفة التقريبية لزيارات ذاكرة التخزين المؤقت لرموز الإدخال لدى كبار مقدمي الخدمة؟
عادةً ما يقوم مقدمو الخدمة بخصم تكلفة الإدخال المخزن مؤقتًا بحوالي 90% من معدل الإدخال العادي، والسبب الرئيسي وراء توفير التخزين المؤقت للمال.
أين يجب وضع المحتوى القابل لإعادة الاستخدام لزيادة عدد مرات الوصول إلى ذاكرة التخزين المؤقت؟
يتيح وضع المحتوى الثابت أولاً كبادئة والمحتوى المتغير بعد ذلك إعادة استخدام البادئة المخزنة مؤقتًا بينما تتم معالجة الرموز المميزة الجديدة فقط.