التاليالدليل التالي
KServe والعرض النموذجي على Kubernetes
التقنية
الدليل الفني
خدمة التعبئة المسبقة وفك التشفير المفصلة
بنية خدمة تقسم استدلال نموذج اللغة الكبير إلى مرحلتين منفصلتين - التعبئة المسبقة وفك التشفير - وتشغيلها على مجموعات مختلفة من وحدات معالجة الرسومات.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It matters because these two phases have opposite hardware appetites, and forcing them onto the same machines wastes capacity and hurts latency.
الغوص العميق
عندما يجيب LLM، فإنه يعمل على مرحلتين. يقرأ الملء المسبق الموجه بالكامل مرة واحدة وينشئ ذاكرة التخزين المؤقت لقيمة المفتاح (KV)؛ هذا عبارة عن انفجار كبير ومتوازي ومرتبط بالحوسبة يشبع وحدات الرياضيات الخاصة بوحدة معالجة الرسومات. يقوم فك التشفير بعد ذلك بإنشاء الرموز المميزة واحدًا تلو الآخر، حيث تقرأ كل خطوة ذاكرة التخزين المؤقت KV بالكامل - وهو تدفق مرتبط بعرض النطاق الترددي للذاكرة، وحساب خفيف. عند التشغيل معًا، تؤدي عملية التعبئة المسبقة الطويلة إلى إيقاف فك تشفير الجميع (حظر رأس الخط)، ويؤدي تجميع الاثنين إلى حدوث تداخل. يؤدي التصنيف إلى التعبئة المسبقة لأحد تجمعات وحدات معالجة الرسومات (GPU) وفك التشفير في تجمع آخر، ونقل ذاكرة التخزين المؤقت KV بينهما عبر اتصالات بينية سريعة مثل NVLink أو InfiniBand. يتم ضبط كل مجموعة وتوسيع نطاقها بشكل مستقل، مما يؤدي إلى تحسين الإنتاجية الجيدة، وتنعيم زمن الاستجابة، والسماح للمشغلين بتحقيق أهداف ضيقة للوقت حتى الرمز الأول والوقت لكل رمز مميز في وقت واحد.
التنفيذ في العالم الحقيقي
يقوم مساعد الدردشة بتوجيه مطالبات المستندات الطويلة إلى مجموعة تعبئة مسبقة كثيفة الحوسبة، ثم يقوم بتدفق الردود من مجموعة فك ترميز مُحسّنة للذاكرة للحفاظ على سلاسة زمن استجابة الكتابة.
يتيح NVIDIA Dynamo وvLLM للمشغلين نشر مجموعات عاملة منفصلة للتعبئة المسبقة وفك التشفير، بحيث لا يؤدي تدفق المطالبات الطويلة إلى تجميد الأجيال المستمرة.
يقوم Mooncake (الذي يستخدمه Kimi من Moonshot AI) بتفكيك التعبئة المسبقة وفك التشفير وإضافة مجموعة KV-cache موزعة لتقليل عمليات إعادة الحساب السريعة الزائدة عن الحاجة على نطاق واسع.
تُخصص خدمة إكمال التعليمات البرمجية مجموعة تعبئة مسبقة صغيرة للمطالبات القصيرة ومجموعة كبيرة لفك التشفير، نظرًا لأن معظم التكلفة تأتي من دفق العديد من الرموز المميزة للمخرجات.
مستقبل خدمة التعبئة المسبقة وفك التشفير المفصلة
توقع أن يصبح التصنيف افتراضيًا في مجموعات الإنتاج. قامت أنظمة مثل DistServe، وSplitwise، وMooncake بنشرها، كما أصبح الآن vLLM وNVIDIA Dynamo يشحنان أوضاعًا مصنفة. تعمل الأبحاث على تحسينات نقل ذاكرة التخزين المؤقت KV، وتجميع ذاكرة التخزين المؤقت وإعادة استخدامها عبر الطلبات، وإعادة التوازن الديناميكي لنسب التعبئة المسبقة/فك التشفير في ظل حركة المرور المتغيرة، والتكامل الأكثر إحكامًا مع التخزين المؤقت للبادئة والتعبئة المسبقة المقسمة. مع نمو نوافذ السياق إلى ملايين الرموز المميزة، يصبح فصل هذه المراحل ضروريًا بشكل متزايد لتقديم خدمة فعالة من حيث التكلفة ومنخفضة زمن الاستجابة.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Disaggregated Prefill and Decode Serving quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Disaggregated Prefill and Decode Serving?
بنية خدمة تقسم استدلال نموذج اللغة الكبير إلى مرحلتين منفصلتين - التعبئة المسبقة وفك التشفير - وتشغيلها على مجموعات مختلفة من وحدات معالجة الرسومات. وهذا أمر مهم لأن هاتين المرحلتين لديهما شهية متعارضة للأجهزة، وإجبارهما على نفس الأجهزة يؤدي إلى إهدار القدرة ويضر بزمن الوصول.
ما هو السبب الأساسي للأجهزة لفصل التعبئة المسبقة وفك التشفير في مجموعات GPU المختلفة؟
تقوم عملية التعبئة المسبقة بمعالجة الموجه بالكامل بالتوازي وتشبع الحوسبة، بينما يقرأ فك التشفير ذاكرة التخزين المؤقت KV في كل خطوة ويقتصر على عرض النطاق الترددي للذاكرة - وهو ما يتعارض مع الرغبات التي تبرر مجموعات منفصلة ومضبوطة بشكل مستقل.
ما هي بنية البيانات التي يجب نقلها من عمال التعبئة المسبقة إلى فك تشفير العمال؟
تقوم عملية التعبئة المسبقة بإنشاء ذاكرة التخزين المؤقت KV للموجه؛ يحتاج فك التشفير إلى ذاكرة التخزين المؤقت لمواصلة الإنشاء، لذلك يتم شحن ذاكرة التخزين المؤقت عبر اتصال بيني سريع إلى مجمع فك التشفير.
ما هي المشكلة التي يقللها التصنيف على وجه التحديد في إعداد وحدة معالجة الرسومات المشتركة؟
في وحدات معالجة الرسومات المشتركة، يمكن أن يؤدي انفجار التعبئة المسبقة الطويلة إلى منع خطوات فك التشفير المستمرة؛ فصلهم يمنع هذا التداخل ويثبت زمن انتقال الذيل.
لماذا يمكن تجميع التعبئة المسبقة بقوة مع فك تشفير الفوائد من الضبط المختلف؟
يقوم الملء المسبق بمعالجة جميع الرموز المميزة معًا، لذا فإن الدفعات الأكبر تغذي نوى الموتر جيدًا؛ يُنشئ فك التشفير رمزًا مميزًا واحدًا في كل مرة ويتم ربطه بالذاكرة، لذلك يتم قياسه بشكل مختلف.
ما هي الوصلات البينية التي تُستخدم عادةً لنقل ذاكرة التخزين المؤقت KV بين التجمعات المنفصلة؟
هناك حاجة إلى روابط ذات نطاق ترددي عالٍ وزمن وصول منخفض مثل NVLink (العقدة الداخلية) وInfiniBand (العقدة البينية) حتى لا يصبح نقل ذاكرة التخزين المؤقت KV هو عنق الزجاجة الجديد.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع