موشي خطاب مزدوج كامل
Moshi هو برنامج ذكاء اصطناعي صوتي مفتوح المصدر في الوقت الفعلي من Kyutai يتحدث ويستمع في نفس الوقت - مزدوج الاتجاه - بدلاً من اتخاذ أدوار صارمة.
نظرة عامة
That removes the awkward lag and rigid turn-taking of traditional voice assistants.
الغوص العميق
يعد Moshi، الذي أصدره المختبر الفرنسي Kyutai في عام 2024، نموذجًا أساسيًا لتحويل الكلام إلى كلام مصمم للمحادثة الطبيعية ذات زمن الوصول المنخفض. على عكس مساعدي خطوط الأنابيب الذين يقومون بتحويل الكلام إلى نص، ثم نموذج اللغة، ثم تحويل النص إلى كلام، يتعامل موشي مع الصوت بشكل مباشر ومستمر. فكرتها الأساسية هي الازدواج الكامل: فهي تصمم دفقين صوتيين في وقت واحد - الخاص بالمستخدم والآخر الخاص به - حتى تتمكن من الاستماع أثناء التحدث، والتعامل مع المقاطعات، والقناة الخلفية باستخدام "mhm"، والتداخل بشكل طبيعي كما يفعل البشر. يصل زمن الوصول إلى حوالي 160-200 مللي ثانية، وهو أقل بكثير من تأخر المساعد النموذجي. تحت الغطاء، فإنه يقرن نموذج لغة النص والصوت ذو معلمة 7B (الهيليوم) مع Mimi، وهو برنامج ترميز صوتي عصبي يضغط الكلام إلى رموز منفصلة يمكن للنموذج توليدها. أصدر Kyutai الأوزان والرموز بشكل علني.
البصيرة الفنية
تكمن خدعة Moshi في برنامج الترميز Mimi الخاص به، والذي يحول الصوت المستمر إلى دفق منخفض معدل البت من الرموز المنفصلة عند 12.5 هرتز، بما في ذلك الرمز الدلالي المقطر. يتنبأ نموذج اللغة برموز الكلام الخاصة به ورموز الكلام الخاصة بالمستخدم في تدفقات متوازية ومتوافقة مع الوقت، لذلك لا يتعين على الجيل أبدًا التوقف "للاستماع". تتنبأ طريقة "المونولوج الداخلي" بالنص قبل الصوت، مما يؤدي إلى تحسين الجودة اللغوية وتماسك ما يقوله موشي بالفعل.
التأثير الاستراتيجي
الوصول والوصول
يعمل على تحسين إمكانية الوصول من خلال واجهات النسخ والسرد والصوت.
التكلفة والميزانية
يمكن للفرق الإعلامية شحن الصوت المصقول بشكل أسرع بميزانيات أصغر.
السرعة والحجم
يمكن للأنظمة التي تواجه العملاء معالجة التفاعلات المنطوقة على نطاق أوسع.
مستقبل خطاب موشي ثنائي الاتجاه
أصبحت نمذجة الإرسال المزدوج الكامل نموذجًا للذكاء الاصطناعي الصوتي الطبيعي، مما يؤثر على الأنظمة عبر الصناعة. توقع إصدارات أصغر حجمًا على الجهاز، ودعمًا متعدد اللغات، وزمن وصول أقل، وتكاملًا مع الوكلاء وخدمة العملاء وأدوات إمكانية الوصول. ونظرًا لأن موشي مفتوح، فيمكن للباحثين استكشافه وتحسينه بحرية. لا تزال التحديات قائمة حول الموثوقية الواقعية، والسلامة في الكلام المتداخل، والفروق الدقيقة العاطفية، ولكن التحول من تبادل الأدوار الصارم إلى المحادثة السلسة والمتقطعة من المرجح أن يكون دائمًا.
التنفيذ في العالم الحقيقي
رفيق صوتي بدون استخدام اليدين يمكنك مقاطعة منتصف الجملة، مع ردود في أقل من 200 مللي ثانية.
خط أساس بحثي مفتوح لدراسة الحوار المنطوق ثنائي الاتجاه في الوقت الفعلي بدون وجود صناديق سوداء خاصة.
مساعدو إمكانية الوصول الذين يتحدثون بسلاسة مع المستخدمين الذين يحتاجون إلى ذهاب وإياب سريع وطبيعي.
إنشاء نماذج أولية لروبوتات صوتية لخدمة العملاء قابلة للمقاطعة تعمل على الرد والرد بينما لا يزال المتصل يتحدث.
المخاطر والدرابزين
تزداد مخاطر إساءة استخدام الصوت وانتحال الشخصية عند فقدان الموافقة.
يمكن أن تنخفض الدقة عبر اللهجات أو اللهجات أو البيئات الصاخبة.
يمكن الخلط بين الصوت الاصطناعي والكلام الأصيل دون تصنيف واضح.
خارطة طريق التنفيذ
الحصول على موافقة صريحة لالتقاط الصوت واستنساخه وإعادة استخدامه.
اختبار الجودة عبر مكبرات الصوت المتنوعة وظروف الخلفية.
تحديد متى يجب على الإنسان مراجعة المخرجات أو الموافقة عليها.
قم بتسمية الصوت الاصطناعي واحتفظ بسجلات المصدر للمساءلة.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Moshi Full-Duplex Speech quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
تطبيع النص للكلام
الأسئلة المتداولة
What is Moshi Full-Duplex Speech?
Moshi هو برنامج ذكاء اصطناعي صوتي مفتوح المصدر في الوقت الفعلي من Kyutai يتحدث ويستمع في نفس الوقت - مزدوج الاتجاه - بدلاً من اتخاذ أدوار صارمة. يؤدي ذلك إلى إزالة التأخر المحرج والتحويل الصارم للمساعدين الصوتيين التقليديين.
ماذا يعني "الازدواج الكامل" في سياق موشي؟
ويعني الازدواج الكامل أن النموذج يتعامل مع الصوت الوارد والصادر في وقت واحد، حتى يتمكن من الاستماع أثناء التحدث والتعامل مع المقاطعات بشكل طبيعي.
ما هي المنظمة التي أطلقت سراح موشي؟
تم تطوير Moshi وفتحه بواسطة Kyutai، وهو مختبر أبحاث فرنسي للذكاء الاصطناعي، في عام 2024.
ما هو ميمي في نظام موشي؟
Mimi هو برنامج ترميز الصوت العصبي الذي يضغط الكلام المستمر في دفق منخفض معدل البت من الرموز المنفصلة التي يمكن للنموذج إنشاؤها.
كيف يختلف Moshi عن خط أنابيب المساعد الصوتي التقليدي؟
يقوم المساعدون التقليديون بربط الكلام بالنص، ونموذج اللغة، وتحويل النص إلى كلام؛ Moshi هو نموذج واحد لتحويل الكلام إلى كلام يتعامل مع الصوت بشكل مستمر.
ما هو وقت الاستجابة للمحادثة الذي يستهدفه موشي تقريبًا؟
يحقق Moshi زمن وصول يبلغ حوالي 160-200 مللي ثانية، وهو أقل بكثير من المساعدين الصوتيين التقليديين، مما يتيح التداخل والانقطاع الطبيعي.