ДаліНаступний посібник
Нормалізація тексту для мовлення
Аудіо AI
Аудіо AI GUIDE
Повнодуплексне мовлення Moshi
Moshi — це голосовий штучний інтелект із відкритим вихідним кодом у режимі реального часу від Kyutai, який розмовляє та слухає одночасно — у дуплексному режимі — замість чіткої черги.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Це усуває незручну затримку та жорстку чергування традиційних голосових помічників.
Глибоке занурення
Moshi, випущений французькою лабораторією Kyutai у 2024 році, є основною моделлю синтезу мовлення, розробленою для природної розмови з низькою затримкою. На відміну від конвеєрних помічників, які об’єднують мовлення в текст, потім мовну модель, а потім текст у мовлення, Moshi обробляє аудіо безпосередньо та постійно. Його ключова ідея полягає в повному дуплексі: він одночасно моделює два аудіопотоки — користувальницький і власний — щоб він міг слухати під час розмови, обробляти переривання, передавати зворотний канал за допомогою «mhm» і природно накладатися, як це роблять люди. Він досягає затримки близько 160-200 мілісекунд, що набагато нижче типової затримки асистента. Під капотом він поєднує модель мови тексту та аудіо з параметрами 7B (Helium) із Mimi, нейронним аудіокодеком, який стискає мову в окремі токени, які модель може генерувати. Кютай відкрито оприлюднив ваги та код.
Реалізація в реальному світі
Голосовий співрозмовник, якого ви можете переривати на півслові, відповідаючи менше ніж за 200 мілісекунд.
Базовий рівень відкритих досліджень для вивчення повнодуплексного голосового діалогу в режимі реального часу без власних чорних ящиків.
Асистенти доступності, які плавно спілкуються з користувачами, яким потрібен швидкий і природний обмін даними.
Створення прототипів переривчастих голосових ботів служби підтримки клієнтів, які передають зворотний канал і реагують, поки абонент ще говорить.
Майбутнє повнодуплексного мовлення Moshi
Повнодуплексне моделювання стає шаблоном для природного голосового штучного інтелекту, що впливає на системи в усій галузі. Очікуйте менших версій на пристрої, багатомовної підтримки, меншої затримки та інтеграції в агенти, службу підтримки та інструменти доступності. Оскільки Moshi відкритий, дослідники можуть вільно досліджувати та вдосконалювати його. Проблеми залишаються пов’язані з достовірністю фактів, безпекою в мовленні, що збігається, і емоційним нюансом, але перехід від жорсткої черги до плавної розмови, яка переривається, ймовірно, буде постійним.
Застосування на практиці
Чому це важливо
- Доступ і охоплення. Це покращує доступність завдяки транскрипції, дикторському тексту та голосовому інтерфейсу.
- Вартість і бюджет. Медіа-команди можуть доставляти якісний аудіо швидше за менші бюджети.
- Швидкість і масштаб. Системи, орієнтовані на клієнта, можуть обробляти голосову взаємодію у більшому масштабі.
Зверніть увагу на
- Ризик неправильного використання голосу та видавання себе за іншу особу зростає, якщо згоди немає.
- Точність може впасти через акценти, діалекти чи шумне середовище.
- Синтетичне аудіо можна прийняти за автентичне мовлення без чіткого маркування.
Наступні кроки
- Отримайте чітку згоду на захоплення голосу, клонування та повторне використання.
- Перевірте якість на різних динаміках і фонових умовах.
- Визначте, коли людина повинна переглядати або затверджувати результати.
- Позначайте синтетичне аудіо та зберігайте записи про походження для підзвітності.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Moshi Full-Duplex Speech quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Що таке повнодуплексне мовлення Moshi?
Moshi — це голосовий штучний інтелект із відкритим вихідним кодом у режимі реального часу від Kyutai, який розмовляє та слухає одночасно — у дуплексному режимі — замість чіткої черги. Це усуває незручну затримку та жорстку чергування традиційних голосових помічників.
Що означає «повний дуплекс» у контексті Moshi?
Повний дуплекс означає, що модель обробляє вхідний і вихідний звук одночасно, тож вона може слухати під час розмови та природно обробляти переривання.
Яка організація випустила Moshi?
Moshi була розроблена та відкрита Kyutai, французькою дослідницькою лабораторією ШІ, у 2024 році.
Що таке Мімі в системі Moshi?
Mimi — це нейронний аудіокодек, який стискає безперервне мовлення в потік окремих токенів із низькою швидкістю передачі даних, які може генерувати модель.
Чим Moshi відрізняється від традиційного конвеєра голосового помічника?
Традиційні помічники з’єднують мовлення в текст, мовну модель і перетворення тексту в мовлення; Moshi — це єдина модель мовлення, яка безперервно обробляє аудіо.
На яку приблизно затримку розмови орієнтується Moshi?
Moshi досягає затримки близько 160-200 мс, що набагато менше, ніж у типових голосових помічників, що забезпечує природне перекриття та переривання.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми