خدمة التعبئة المسبقة وفك التشفير المفصلة
بنية خدمة تقسم استدلال نموذج اللغة الكبير إلى مرحلتين منفصلتين - التعبئة المسبقة وفك التشفير - وتشغيلها على مجموعات مختلفة من وحدات معالجة الرسومات.
نظرة عامة
It matters because these two phases have opposite hardware appetites, and forcing them onto the same machines wastes capacity and hurts latency.
الغوص العميق
عندما يجيب LLM، فإنه يعمل على مرحلتين. يقرأ الملء المسبق الموجه بالكامل مرة واحدة وينشئ ذاكرة التخزين المؤقت لقيمة المفتاح (KV)؛ هذا عبارة عن انفجار كبير ومتوازي ومرتبط بالحوسبة يشبع وحدات الرياضيات الخاصة بوحدة معالجة الرسومات. يقوم فك التشفير بعد ذلك بإنشاء الرموز المميزة واحدًا تلو الآخر، حيث تقرأ كل خطوة ذاكرة التخزين المؤقت KV بالكامل - وهو تدفق مرتبط بعرض النطاق الترددي للذاكرة، وحساب خفيف. عند التشغيل معًا، تؤدي عملية التعبئة المسبقة الطويلة إلى إيقاف فك تشفير الجميع (حظر رأس الخط)، ويؤدي تجميع الاثنين إلى حدوث تداخل. يؤدي التصنيف إلى التعبئة المسبقة لأحد تجمعات وحدات معالجة الرسومات (GPU) وفك التشفير في تجمع آخر، ونقل ذاكرة التخزين المؤقت KV بينهما عبر اتصالات بينية سريعة مثل NVLink أو InfiniBand. يتم ضبط كل مجموعة وتوسيع نطاقها بشكل مستقل، مما يؤدي إلى تحسين الإنتاجية الجيدة، وتنعيم زمن الاستجابة، والسماح للمشغلين بتحقيق أهداف ضيقة للوقت حتى الرمز الأول والوقت لكل رمز مميز في وقت واحد.
البصيرة الفنية
وتختلف المرحلتان في عنق الزجاجة. تقوم عملية التعبئة المسبقة بمعالجة جميع الرموز المميزة بالتوازي، لذلك يتم قياس FLOPs الخاصة بها بطول سريع وتبلغ الحد الأقصى لنوى الموتر. فك التشفير هو انحدار تلقائي: يحتاج كل رمز مميز جديد إلى تمرير أمامي واحد يعيد قراءة ذاكرة التخزين المؤقت الكاملة لـ KV من HBM، لذلك يتم التحكم في الإنتاجية من خلال عرض النطاق الترددي للذاكرة، وليس الحساب. يستغل التصنيف ذلك عن طريق تحديد الحجم، والتجميع، وحتى اختيار توازي مختلف لكل تجمع، ثم شحن ذاكرة التخزين المؤقت KV من عمال التعبئة المسبقة لفك تشفير العمال.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل خدمة التعبئة المسبقة وفك التشفير المفصلة
توقع أن يصبح التصنيف افتراضيًا في مجموعات الإنتاج. قامت أنظمة مثل DistServe، وSplitwise، وMooncake بنشرها، كما أصبح الآن vLLM وNVIDIA Dynamo يشحنان أوضاعًا مصنفة. تعمل الأبحاث على تحسينات نقل ذاكرة التخزين المؤقت KV، وتجميع ذاكرة التخزين المؤقت وإعادة استخدامها عبر الطلبات، وإعادة التوازن الديناميكي لنسب التعبئة المسبقة/فك التشفير في ظل حركة المرور المتغيرة، والتكامل الأكثر إحكامًا مع التخزين المؤقت للبادئة والتعبئة المسبقة المقسمة. مع نمو نوافذ السياق إلى ملايين الرموز المميزة، يصبح فصل هذه المراحل ضروريًا بشكل متزايد لتقديم خدمة فعالة من حيث التكلفة ومنخفضة زمن الاستجابة.
التنفيذ في العالم الحقيقي
يقوم مساعد الدردشة بتوجيه مطالبات المستندات الطويلة إلى مجموعة تعبئة مسبقة كثيفة الحوسبة، ثم يقوم بتدفق الردود من مجموعة فك ترميز مُحسّنة للذاكرة للحفاظ على سلاسة زمن استجابة الكتابة.
يتيح NVIDIA Dynamo وvLLM للمشغلين نشر مجموعات عاملة منفصلة للتعبئة المسبقة وفك التشفير، بحيث لا يؤدي تدفق المطالبات الطويلة إلى تجميد الأجيال المستمرة.
يقوم Mooncake (الذي يستخدمه Kimi من Moonshot AI) بتفكيك التعبئة المسبقة وفك التشفير وإضافة مجموعة KV-cache موزعة لتقليل عمليات إعادة الحساب السريعة الزائدة عن الحاجة على نطاق واسع.
تُخصص خدمة إكمال التعليمات البرمجية مجموعة تعبئة مسبقة صغيرة للمطالبات القصيرة ومجموعة كبيرة لفك التشفير، نظرًا لأن معظم التكلفة تأتي من دفق العديد من الرموز المميزة للمخرجات.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Disaggregated Prefill and Decode Serving quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
KServe والعرض النموذجي على Kubernetes
الأسئلة المتداولة
What is Disaggregated Prefill and Decode Serving?
بنية خدمة تقسم استدلال نموذج اللغة الكبير إلى مرحلتين منفصلتين - التعبئة المسبقة وفك التشفير - وتشغيلها على مجموعات مختلفة من وحدات معالجة الرسومات. وهذا أمر مهم لأن هاتين المرحلتين لديهما شهية متعارضة للأجهزة، وإجبارهما على نفس الأجهزة يؤدي إلى إهدار القدرة ويضر بزمن الوصول.
ما هو السبب الأساسي للأجهزة لفصل التعبئة المسبقة وفك التشفير في مجموعات GPU المختلفة؟
تقوم عملية التعبئة المسبقة بمعالجة الموجه بالكامل بالتوازي وتشبع الحوسبة، بينما يقرأ فك التشفير ذاكرة التخزين المؤقت KV في كل خطوة ويقتصر على عرض النطاق الترددي للذاكرة - وهو ما يتعارض مع الرغبات التي تبرر مجموعات منفصلة ومضبوطة بشكل مستقل.
ما هي بنية البيانات التي يجب نقلها من عمال التعبئة المسبقة إلى فك تشفير العمال؟
تقوم عملية التعبئة المسبقة بإنشاء ذاكرة التخزين المؤقت KV للموجه؛ يحتاج فك التشفير إلى ذاكرة التخزين المؤقت لمواصلة الإنشاء، لذلك يتم شحن ذاكرة التخزين المؤقت عبر اتصال بيني سريع إلى مجمع فك التشفير.
ما هي المشكلة التي يقللها التصنيف على وجه التحديد في إعداد وحدة معالجة الرسومات المشتركة؟
في وحدات معالجة الرسومات المشتركة، يمكن أن يؤدي انفجار التعبئة المسبقة الطويلة إلى منع خطوات فك التشفير المستمرة؛ فصلهم يمنع هذا التداخل ويثبت زمن انتقال الذيل.
لماذا يمكن تجميع التعبئة المسبقة بقوة مع فك تشفير الفوائد من الضبط المختلف؟
يقوم الملء المسبق بمعالجة جميع الرموز المميزة معًا، لذا فإن الدفعات الأكبر تغذي نوى الموتر جيدًا؛ يُنشئ فك التشفير رمزًا مميزًا واحدًا في كل مرة ويتم ربطه بالذاكرة، لذلك يتم قياسه بشكل مختلف.
ما هي الوصلات البينية التي تُستخدم عادةً لنقل ذاكرة التخزين المؤقت KV بين التجمعات المنفصلة؟
هناك حاجة إلى روابط ذات نطاق ترددي عالٍ وزمن وصول منخفض مثل NVLink (العقدة الداخلية) وInfiniBand (العقدة البينية) حتى لا يصبح نقل ذاكرة التخزين المؤقت KV هو عنق الزجاجة الجديد.