AudioGen Синтез тексту в аудіо
AudioGen — це модель Meta, яка перетворює текстові описи на реалістичні звуки навколишнього середовища та звукові ефекти, як-от «гавкіт собаки під щебетання птахів». Це важливо, тому що він дозволяє творцям генерувати немовленнєві аудіо з простої мови, можливості, якої давно немає в генеративному штучному інтелекті.
Глибоке занурення
AudioGen, випущений Meta AI у 2022 році, — це авторегресійна мовна модель, яка генерує загальний звук (звукові ефекти, сцени навколишнього середовища, звуки тварин і предметів) безпосередньо з текстових підказок. На відміну від систем перетворення тексту в мовлення, вона орієнтована на безладний світ повсякденного звуку. Спочатку він стискає необроблений аудіо в послідовність дискретних маркерів за допомогою нейронного кодека (автокодувальник у стилі EnCodec із залишковим векторним квантуванням). Потім мовна модель Transformer вчиться передбачати ці звукові маркери на основі текстового опису, закодованого окремим текстовим кодувальником. Щоб покращити розуміння композиції, автори змішували та об’єднували аудіосемпли під час навчання, щоб модель могла вивчати комбінації, наприклад звуки, що накладаються. Пізніше AudioGen став частиною бібліотеки AudioCraft Meta разом із музичною моделлю MusicGen.
Технічне розуміння
AudioGen має два етапи. По-перше, аудіоавтокодувальник вчиться відображати форми хвиль у компактний потік дискретних маркерів і назад. По-друге, Transformer навчається з метою мовного моделювання, щоб передбачити наступний аудіотокен на основі попередніх маркерів плюс обумовлення тексту. Вказівки без класифікатора та багатопотокове моделювання кодової книги покращують точність і вирівнювання тексту. Генерування аудіо означає вибірку токенів авторегресійно, а потім декодування їх назад у хвилю за допомогою кодека.
Стратегічний вплив
Доступ і охоплення
Це покращує доступність завдяки транскрипції, дикторському тексту та голосовому інтерфейсу.
Вартість і бюджет
Медіа-команди можуть доставляти якісний аудіо швидше за менші бюджети.
Швидкість і масштаб
Системи, орієнтовані на клієнта, можуть обробляти голосову взаємодію у більшому масштабі.
Майбутнє синтезу тексту в аудіо AudioGen
Перетворення тексту в аудіо ведеться до вищої частоти дискретизації, довших узгоджених сцен і жорсткішого контролю над часом і просторовим розміщенням звуків. Очікуйте інтеграції в відеоінструменти, які автоматично додають відповідні звукові ефекти, інструменти доступності, які описують сцени на слух, і ігрові механізми, які синтезують навколишнє аудіо на вимогу. Поєднання моделей токенів у стилі AudioGen із методами розповсюдження та сильнішими кодувальниками тексту повинно покращити реалістичність, а інструменти водяних знаків і визначення походження допоможуть відрізнити синтетичний звук від записаного.
Реалізація в реальному світі
Створення Фолі та звукових ефектів для фільмів та ігор із текстових підказок
Створення звукових пейзажів навколишнього середовища (дощ, рух, ліси) для програм і інструментів для медитації
Створення прототипів аудіо для відеопроектів без ліцензування фондових бібліотек
Створювати спеціальні звуки сповіщень і сповіщень, описані простою мовою
Ризики та огорожі
Ризик неправильного використання голосу та видавання себе за іншу особу зростає, якщо згоди немає.
Точність може впасти через акценти, діалекти чи шумне середовище.
Синтетичне аудіо можна прийняти за автентичне мовлення без чіткого маркування.
Дорожня карта впровадження
Отримайте чітку згоду на захоплення голосу, клонування та повторне використання.
Перевірте якість на різних динаміках і фонових умовах.
Визначте, коли людина повинна переглядати або затверджувати результати.
Позначайте синтетичне аудіо та зберігайте записи про походження для підзвітності.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AudioGen Text-to-Audio Synthesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Диференційований аудіосинтез DDSP
Часті запитання
What is AudioGen Text-to-Audio Synthesis?
AudioGen — це модель Meta, яка перетворює текстові описи на реалістичні звуки навколишнього середовища та звукові ефекти, як-от «гавкіт собаки під щебетання птахів». Це важливо, тому що він дозволяє творцям генерувати немовленнєві аудіо з простої мови, можливості, якої давно немає в генеративному штучному інтелекті.
Що в основному створює AudioGen?
AudioGen спеціалізується на немовному, загальному аудіо, такому як звуки навколишнього середовища та ефекти, створені з текстових підказок.
Який перший етап розробки AudioGen?
Нейронний кодек-автокодер стискає необроблений аудіо в окремі токени, які потім може передбачити мовна модель.
Який тип моделі передбачає звукові маркери?
AudioGen використовує авторегресійний трансформатор, який передбачає аудіотокени один за одним, залежно від тексту.
Чому автори змішували та об’єднували аудіо під час навчання?
Додавання змішаних і об’єднаних кліпів покращило здатність AudioGen компонувати кілька звуків, описаних разом у підказці.
Яка більша бібліотека Meta містить AudioGen?
AudioGen є частиною бібліотеки AudioCraft Meta, яка також містить модель MusicGen.