Розширення та продовження AI Music

Розширення бере наявний кліп і генерує те, що буде далі. Одним із поширених підходів є авторегресійне продовження. MusicGen від Meta, випущений у 2023 році як частина AudioCraft, перетворює аудіо в окремі токени за допомогою нейронного кодека під назвою EnCodec і передбачає подальші токени після тих, які ви надаєте, подібно до того, як мовна модель продовжує речення. Такі споживчі служби, як Suno і Udio, пропонують це як функцію розширення, яка зазвичай дозволяє вибрати початкову точку та змінити текст або стиль для нового розділу. Inpainting відновлює замасковану область посередині, зберігаючи аудіо з обох сторін, що корисно для фіксації тексту пісні або заміни чотирьох тактів. Дифузійні моделі підходять для цього, оскільки відоме аудіо можна утримувати фіксованим, тоді як приглушено лише замаскований діапазон. Режими перетворення аудіо в аудіо або реміксування, як-от той, який Stability AI представив у Stable Audio 2.0 у 2024 році, частково додають шум до вхідного сигналу та відновлюють його за новою підказкою, тому структура зберігається під час зміни тембру та стилю. Налаштування міцності визначає, скільки залишилося оригіналу. Стовбурова робота поєднує відокремлення та породження. Моделі поділу джерела, такі як Demucs з відкритим вихідним кодом Meta, поділяють мікс на вокал, ударні, бас та інше; потім генератор може додати або замінити одну частину залежно від решти. Обмеження реальні. Тривалий дрейф розширень: темп, тональність, баланс міксу та тембр голосу можуть блукати. Об'єднання можуть клацати або стрибати в гучності. Моделі бачать обмежене контекстне вікно, тому мотив з першої хвилини може бути забутий. Поширеною помилкою є те, що модель розуміє структуру пісні так, як це розуміє музикант; він відповідає шаблонам у нещодавньому аудіо. Права також зберігаються: розширення комерційного запису, яким ви не володієте, створює похідне від нього, а умови багатьох послуг забороняють завантажувати аудіо, на яке у вас немає прав.