تضيف Deepgram إمكانية رؤية الفوترة ووحدة معالجة الرسومات إلى عمليات نشر SageMaker AI الخاصة بها

ماذا حدث

أعلنت Deepgram عن إضافتين لقابلية المراقبة لنماذج تحويل الكلام إلى نص وتحويل النص إلى كلام التي تم نشرها كنقاط نهاية في الوقت الحقيقي Amazon SageMaker AI. تقوم المقاييس المحسنة بنشر بيانات الاستخدام والفوترة إلى حساب CloudWatch الخاص بالعميل، في حين تعرض عمليات التكامل بين Prometheus وOpenTelemetry قياسات المحرك والمضيف ووحدة معالجة الرسومات من خلال إمكانية المراقبة التفصيلية لـ SageMaker AI.

يتعلق إعلان Deepgram بنماذج تحويل الكلام إلى نص وتحويل النص إلى كلام التي تعمل كحزم نماذج AWS Marketplace على نقاط نهاية الوقت الفعلي Amazon SageMaker AI في حساب AWS الخاص بالعميل. تقول الشركة إن الصوت والنصوص تظل داخل هذا الحساب بينما يوفر SageMaker عناصر التحكم في النشر والقياس والمراقبة. يصور المنشور الإمكانات الجديدة على أنها تسد فجوة الرؤية: يمكن لمراقبة نقطة النهاية القياسية إظهار التوفر ومعالجة الطلب، ولكنها قد لا تكشف عن ميزات الكلام المستخدمة، أو الوحدات التي تدفع رسوم السوق أو كيفية استخدام الاستدلال لكل وحدة معالجة رسومات.

الإضافة الأولى، والتي تسمى Deepgram Enhanced Metrics، ترسل معلومات الفوترة والاستخدام إلى Amazon CloudWatch من خلال سجلات CloudWatch Embedded Metric Format المكتوبة في المخرجات القياسية للحاوية. يقوم SageMaker بإعادة توجيه هذا الإخراج إلى مجموعة سجلات CloudWatch الخاصة بنقطة النهاية، حيث يقوم CloudWatch باستخراج السجلات وتحويلها إلى مقاييس عادية. وفقًا للمصدر، لا تتطلب العملية أي وكيل منفصل أو إذن جانبي أو إذن IAM إضافي وتعمل مع عزل شبكة AWS Marketplace لأنها تستخدم مسار تسجيل SageMaker-to-CloudWatch الحالي. مساحة اسم الفوترة هي Deepgram/SageMakerInference. يمثل مقياس ConsumedUnits الخاص به وحدات استدلال قابلة للفوترة للبث المكتمل وطلبات التسجيل المسبق وطلبات تحويل النص إلى كلام، بينما يصف AudioDurationSeconds وCharCount الصوت المعالج والأحرف المركبة. يقول Deepgram أن هذه القيم هي نفس القيم المستخدمة في الفواتير المقدرة لـ AWS Marketplace.

ينبعث تدفق الاستخدام الثاني، Deepgram/SelfHosted، من خادم Deepgram API ويوضح كيفية استخدام حركة المرور للخدمة بدلاً من تسوية الفاتورة مباشرة. يسرد المصدر مقاييس البث والحجم المسجل مسبقًا، ومستويات النموذج مثل nova-3 والتدفق، والميزات بما في ذلك التنويع، والتنسيق الذكي، والتنقيح، والمطالبة بالمصطلحات الرئيسية. يتم تجميع هذه المقاييس عبر نقاط نهاية Deepgram في حساب AWS والمنطقة. يقول المنشور أنهم يستخدمون أبعادًا ذات أصل منخفض بدون نصوص أو إدخال تحويل النص إلى كلام أو معرفات لكل طلب، لكنهم لا يتضمنون اسم نقطة النهاية أو معرف المثيل. يمكن تعطيل تدفق الاستخدام من خلال تجاوز متغير البيئة، في حين لا يمكن تعطيل تدفق الفوترة لأن Deepgram يصفه كجزء من مسار القياس.

بالنسبة للعمليات ذات المستوى الأدنى، تقول Deepgram أن حاوياتها تكشف عن مقاييس Prometheus التي يمكن لإمكانية المراقبة التفصيلية لـ SageMaker AI جمعها من خلال OpenTelemetry Collector المُدار بواسطة AWS والذي يعمل على كل مثيل لنقطة النهاية. تتضمن البيانات الناتجة مقاييس مصدر DCGM لوحدات معالجة الرسومات الفردية، ومقاييس مصدر العقدة لوحدة المعالجة المركزية والذاكرة المضيفة، ومقاييس محرك Deepgram مثل طلبات البث النشطة وسعة التدفق المقدرة. يقول المصدر أن كل سلسلة تحمل تسميات موارد SageMaker، بما في ذلك معرفات نقطة النهاية والمتغيرات والمثيلات. يمكن للعملاء الاستعلام عن نقطة نهاية أو مثيل أو وحدة معالجة رسومات معينة باستخدام PromQL من خلال CloudWatch أو Grafana أو أي أداة أخرى متوافقة. يتم تمكين إمكانية المراقبة التفصيلية افتراضيًا لنقاط النهاية التي تم إنشاؤها حديثًا، مع تكرار نشر مدته 60 ثانية، بينما تتطلب نقاط النهاية الأقدم تحديث تكوين نقطة النهاية باستخدام النشر باللون الأزرق/الأخضر.

تفاصيل المصدر: aws.amazon.com ↗

لماذا يهم

تستهدف التغييرات مشكلة عملية في الذكاء الاصطناعي المستضاف ذاتيًا: يمكن للعملاء مراقبة ما إذا كانت نقطة النهاية تعمل، ولكن قد يفتقرون إلى الرؤية في ميزات النموذج التي تدفع الاستخدام، والوحدات التي تقف وراء فواتير السوق، وقدرة المسرعات الفردية. يصف المصدر طريقة لربط تلك الأسئلة التشغيلية والمالية دون فتح الوصول إلى الشبكة الصادرة من الحاوية النموذجية.

الأهمية المباشرة هي الرؤية التشغيلية. لا يمثل استنتاج الكلام عبء عمل موحد: يمكن لجلسات البث وطلبات الصوت وتحويل النص إلى كلام المسجلة مسبقًا أن تضع متطلبات مختلفة على النشر، ويمكن للميزات الاختيارية تغيير حجم المعالجة أو استخدام الموارد. تهدف مقاييس الاستخدام على مستوى الحساب في Deepgram إلى إظهار تلك الاختلافات في المصطلحات التي يمكن للمشغلين وفرق التمويل استخدامها. يمكن للعميل فحص مقدار حركة المرور المستخدمة للتدوين أو مقارنة استهلاك طبقة النموذج بمرور الوقت. قد يساعد ذلك المؤسسات على تحديد أنماط الاستخدام غير المتوقعة، أو تصميم أنظمة رد المبالغ المدفوعة الداخلية، أو تحديد أحمال العمل التي يجب توجيهها إلى عمليات نشر مختلفة. ويعرض المصدر هذه على أنها استخدامات للمقاييس، وليست مدخرات مثبتة أو تحسينات في الأداء.

يمكن أن يؤدي اتصال الفوترة إلى تسهيل تدقيق عمليات شراء الذكاء الاصطناعي المستندة إلى السوق. تقول Deepgram أن مقياس ConsumedUnits يحمل نفس قيم الوحدات القابلة للفوترة المستخدمة لقياس AWS Marketplace، مما يسمح للعملاء بمقارنة إجماليات CloudWatch مع فاتورة AWS الخاصة بهم. وهذا أكثر تحديدًا من عدد الطلبات، لأن الطلب قد يمثل جلسة بث أو كمية من الصوت أو حجم من الأحرف المركبة. يقول المصدر إن ميزات CloudWatch العادية، بما في ذلك لوحات المعلومات والإنذارات والرياضيات المترية، يمكن تطبيقها على البيانات. ولا تقدم نتيجة تسوية أو معدل خطأ أو مراقبة محاسبية أو تأكيد مستقل بأن المقاييس تتطابق دائمًا مع الفاتورة. ستظل المنظمات بحاجة إلى فحوصاتها المالية وفحوصات الامتثال الخاصة بها.

تعالج المقاييس لكل وحدة معالجة رسومات (GPU) والمقاييس على مستوى المحرك مشكلة مختلفة: تخطيط السعة في عملية نشر موسعة. يمكن أن يؤدي المتوسط ​​على مستوى الأسطول إلى حجب المسرع المثقل، في حين أن أعداد الطلبات وحدها قد لا تظهر مساحة رأسية للتدفق المتزامن. تقول Deepgram أنه يمكن مقارنة سعة التدفق المقدرة لمحركها بالطلبات النشطة لتوفير إشارة تم الإبلاغ عنها من قبل المحرك لاتخاذ قرارات القياس، ويمكن فحص مقاييس وحدة معالجة الرسومات بشكل منفصل في مثيلات وحدة معالجة الرسومات المتعددة. يمكن أن يساعد هذا المشغلين على التحقيق في الاستخدام غير المتكافئ، أو ضبط حدود القياس التلقائي، أو تحديد متى يصبح نوع المثيل بمثابة عنق الزجاجة. الصياغة مهمة: رقم السعة هو تقدير المحرك، وليس ضمانًا تم التحقق من صحته بشكل مستقل لعدد التدفقات التي سيدعمها المثيل تحت كل تنسيق صوتي أو نموذج أو مجموعة ميزات أو نمط عبء عمل.

كما أن زاوية الأمن والحوكمة ملموسة أيضًا. يقول المصدر إن حاويات AWS Marketplace تعمل مع عزل الشبكة ولا يمكنها إجراء اتصالات خارجية، وهو تصميم اختاره بعض العملاء لأسباب تتعلق بالأمان والامتثال. يحتفظ مسار القياس عن بعد المقترح من Deepgram بالقياسات داخل بيئة CloudWatch الخاصة بالعميل دون مطالبة الحاوية بفتح مسار الشبكة. يقول المصدر أيضًا أن الأبعاد المدرجة لا تحتوي على معلومات تعريف شخصية ولا تتضمن النصوص أو معرفات الطلب. تصف هذه البيانات البنية المعلنة، وليس تقييمًا كاملاً للخصوصية: يظل العملاء مسؤولين عن تكوين AWS وإعدادات الاحتفاظ وضوابط الوصول والالتزامات التنظيمية بموجب نموذج المسؤولية المشتركة.

ماذا تشاهد بعد ذلك

لا يوفر المصدر قياسات مستقلة لمراقبة النفقات العامة أو توفير التكاليف أو دقة تقديرات السعة أو اعتماد العملاء. ستحتاج الفرق التي تفكر في النشر إلى اختبار ما إذا كانت مقاييس الفوترة على مستوى الحساب دقيقة بما فيه الكفاية، وما إذا كانت تقديرات المحرك تتطابق مع حركة المرور المرصودة وما هي التكاليف الإضافية لـ CloudWatch والتسجيل واستضافة وحدة معالجة الرسومات التي تؤدي إلى بيئاتهم الخاصة.

المجهول الأول هو الأداء في العالم الحقيقي. لا يقوم الإعلان بالإبلاغ عن وحدة المعالجة المركزية أو الذاكرة أو التخزين أو الكمون الزائد لكتابة المقاييس المضمنة أو إلغاء نقاط نهاية Prometheus أو نشر البيانات كل 60 ثانية. كما أنه لا يحدد رسوم CloudWatch للسجلات والمقاييس أو تكاليف التجميع أو أي تأثير على سلوك القياس التلقائي. لاحظ AWS وDeepgram أن استضافة نقطة النهاية، ومثيلات وحدة معالجة الرسومات، وسجلات ومقاييس CloudWatch، والشبكات والبنية التحتية ذات الصلة يمكن أن تتحمل جميعها رسومًا، حتى أثناء تجربة Deepgram المعلنة للنماذج لمدة 14 يومًا. سيحتاج المستخدمون المحتملون إلى قياسات خاصة بعبء العمل بدلاً من افتراض أن إمكانية المراقبة المحسنة محايدة من حيث التكلفة.

المسألة الثانية هي التفاصيل المترية. يتم تجميع تدفقات الفوترة والاستخدام الخاصة بـ Deepgram عبر نقاط النهاية في الحساب والمنطقة ولا تحدد نقطة النهاية أو المثيل. قد يكون هذا كافيًا لإعداد التقارير المالية على نطاق واسع، لكنه لا يمكنه في حد ذاته الإجابة على أي عملية نشر قد ولّد حجمًا معينًا. يعتمد التحليل لكل نقطة نهاية ولكل وحدة معالجة رسومات على مسار Prometheus وOpenTelemetry المنفصل وعلى تمكين إمكانية المراقبة التفصيلية. يقول المصدر إن نقاط النهاية الجديدة تم تمكين هذا الإعداد افتراضيًا ويمكن تحديث نقاط النهاية الأقدم، لكنه لا يصف حالات حافة الترحيل أو فترات الاحتفاظ أو قوالب لوحة المعلومات أو كيف يجب على المشغلين التعامل مع السلاسل المفقودة أو المتأخرة أو المتضاربة.

تستحق إشارة السعة أيضًا التحقق من الصحة. يصف Deepgram قدرة المحرك المقدرة على أنها تقدير المحرك الخاص للتدفقات المتزامنة المستدامة. لا يوضح المصدر كيفية حساب هذا التقدير، أو كيفية تغيره مع طبقة النموذج أو الميزات الممكنة، أو كيفية أدائه أثناء ارتفاع حركة المرور والظروف المتدهورة. يجب على المشغلين مقارنتها بزمن الاستجابة والأخطاء وقائمة الانتظار والجلسات المكتملة قبل استخدامها كمشغل للقياس التلقائي. تظل مقاييس SageMaker القياسية مثل ConcurrentRequestsPerModel وFirstChunkLatency وInvocation5XXErrors ذات صلة لأن التدفقات الجديدة تكملها بدلاً من استبدالها.

أخيرًا، يحدد الإعلان مدى توفر عمليات نشر Deepgram SageMaker AI، ولكن ليس التأثير الأوسع على النظام البيئي. ولا يذكر عدد العملاء الذين اعتمدوا المقاييس، وما إذا كان بائعو الذكاء الاصطناعي الكلامي الآخرون يقدمون رؤية مماثلة، أو ما إذا كانت AWS ستوسع نفس التكامل إلى حزم النماذج الإضافية. المتابعة العملية هي ما إذا كان بإمكان المستخدمين تسوية الفواتير بشكل موثوق، وعزل نقاط اتصال الموارد وإدارة الاستخدام على مستوى الميزات دون إضافة بنية تحتية جديدة. ستوضح الأدلة المستمدة من عمليات النشر المستقلة والسلوك المتري الموثق على مدى فترات أطول وتجربة العملاء ما إذا كانت الميزة ستغير بشكل جوهري الإدارة اليومية للذكاء الاصطناعي للكلام المستضاف ذاتيًا.

الأدلة والاختبارات ذات الصلة