دليل الصوت AI
نفيديا ريفا ونيمو الكلام
NVIDIA Riva عبارة عن SDK مُسرّع بواسطة GPU لإنتاج الكلام AI (ASR، TTS، والترجمة)، في حين أن NeMo هي مجموعة أدوات مفتوحة المصدر للتدريب وضبط النماذج الأساسية.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
Together they let developers build fast, customizable voice applications that run on NVIDIA hardware.
الغوص العميق
NeMo (الوحدات العصبية) هو إطار عمل PyTorch مفتوح المصدر من NVIDIA لبناء الذكاء الاصطناعي للمحادثة. فهو يشحن نماذج مدربة مسبقًا للتعرف التلقائي على الكلام (ASR)، وتحويل النص إلى كلام (TTS)، ومهام اللغة الطبيعية، ويتم تنظيمها على شكل "وحدات عصبية" قابلة لإعادة الاستخدام يمكنك ضبطها على بياناتك الخاصة. Riva هو جانب النشر: فهو يجمع النماذج المحسنة خلف خادم gRPC المتدفق، باستخدام TensorRT وTriton Inference Server لتحقيق زمن استجابة منخفض على نطاق واسع. يقوم سير العمل النموذجي بتدريب نموذج في NeMo أو تكييفه، ثم تصديره إلى تنسيق Riva، ثم تقديمه للنسخ أو التوليف في الوقت الفعلي. تدعم Riva التعرف على البث من خلال الطوابع الزمنية على مستوى الكلمات، وأصوات TTS العصبية، وتسجيل المتحدث، والعديد من اللغات، وكلها مضبوطة لتعمل بكفاءة على وحدات معالجة الرسومات NVIDIA.
التنفيذ في العالم الحقيقي
يساعد النسخ الفوري لمركز الاتصال والوكيل المباشر في إجراء التسميات التوضيحية التي يتصل بها العميل باستخدام طوابع زمنية على مستوى الكلمة
إنشاء أصوات تحويل النص إلى كلام (TTS) ذات العلامات التجارية المخصصة لمساعد افتراضي من خلال ضبط FastPitch في NeMo على بضع ساعات من التسجيلات
التسميات التوضيحية المباشرة وترجمة الكلام لمؤتمرات الفيديو أو أحداث البث على وحدات معالجة الرسومات NVIDIA
ضبط نموذج Conformer ASR على المفردات الطبية أو القانونية الخاصة بالمجال باستخدام NeMo، ثم تقديمه من خلال Riva
مستقبل خطاب NVIDIA Riva وNeMo
تعمل NVIDIA على دفع Riva وNeMo نحو نماذج خطاب أساسية أكبر وأكثر تعدد اللغات وتكاملًا أكثر إحكامًا مع الوكلاء المعتمدين على LLM للمساعدين الصوتيين الشاملين. توقع تخصيصًا أكثر ثراءً (تعزيز الكلمات، والأصوات المخصصة من دقائق من البيانات)، وقوة أفضل للبيئة الصاخبة، والنشر الذي يمتد عبر وحدات معالجة الرسومات في مركز البيانات إلى الأجهزة المتطورة مثل Jetson. مع تطور NeMo جنبًا إلى جنب مع النماذج التوليدية، سيستمر الخط الفاصل بين التعرف على الكلام والترجمة والتفكير التحادثي في التلاشي في خطوط أنابيب موحدة في الوقت الفعلي.
وضعها موضع التنفيذ
لماذا يهم
- الوصول والوصول. يعمل على تحسين إمكانية الوصول من خلال واجهات النسخ والسرد والصوت.
- التكلفة والميزانية. يمكن للفرق الإعلامية شحن الصوت المصقول بشكل أسرع بميزانيات أصغر.
- السرعة والحجم. يمكن للأنظمة التي تواجه العملاء معالجة التفاعلات المنطوقة على نطاق أوسع.
احترس من
- تزداد مخاطر إساءة استخدام الصوت وانتحال الشخصية عند فقدان الموافقة.
- يمكن أن تنخفض الدقة عبر اللهجات أو اللهجات أو البيئات الصاخبة.
- يمكن الخلط بين الصوت الاصطناعي والكلام الأصيل دون تصنيف واضح.
الخطوات التالية
- الحصول على موافقة صريحة لالتقاط الصوت واستنساخه وإعادة استخدامه.
- اختبار الجودة عبر مكبرات الصوت المتنوعة وظروف الخلفية.
- تحديد متى يجب على الإنسان مراجعة المخرجات أو الموافقة عليها.
- قم بتسمية الصوت الاصطناعي واحتفظ بسجلات المصدر للمساءلة.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the NVIDIA Riva and NeMo Speech quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is NVIDIA Riva and NeMo Speech?
NVIDIA Riva عبارة عن SDK مُسرّع بواسطة GPU لإنتاج الكلام AI (ASR، TTS، والترجمة)، في حين أن NeMo هي مجموعة أدوات مفتوحة المصدر للتدريب وضبط النماذج الأساسية. يتيحان معًا للمطورين إنشاء تطبيقات صوتية سريعة وقابلة للتخصيص تعمل على أجهزة NVIDIA.
ما هو الفرق الأساسي بين نيمو وريفا؟
NeMo هي مجموعة أدوات مفتوحة المصدر لبناء نماذج الكلام واللغة وضبطها بشكل دقيق، في حين تقوم Riva بتجميع هذه النماذج وخدمتها لاستخدام الإنتاج بزمن وصول منخفض.
Which NVIDIA components does Riva documentation identify for optimized model execution and inference serving?
TensorRT and Triton have distinct execution and serving roles; particular batching and latency behavior depends on the deployed pipeline.
في خط أنابيب Riva TTS النموذجي، ما هو دور المشفر الصوتي مثل HiFi-GAN؟
يتنبأ نموذج صوتي مثل FastPitch بميزات الطيف من النص، ويقوم مشفر صوتي عصبي مثل HiFi-GAN بتحويل هذه الميزات إلى الشكل الموجي المسموع النهائي.
ما الذي يتيحه "بث" ASR في Riva؟
يقوم التعرف على البث بمعالجة الصوت في أجزاء صغيرة ويصدر نتائج جزئية في الوقت الفعلي تقريبًا، بدلاً من انتظار انتهاء الكلام بالكامل.
ما هو مثال على التخصيص الذي يتيحه NeMo لنماذج الكلام؟
يتيح NeMo للمطورين ضبط النماذج المدربة مسبقًا على بياناتهم الخاصة، على سبيل المثال تكييف نموذج ASR للتعرف على المصطلحات الطبية أو القانونية المتخصصة.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع