Модели диффузии для аудио

Диффузионный генератор изучает процесс обратного искажения, который может преобразовать представление шума в структурированную выборку. Точная целевая параметризация и правила выборки различаются, поэтому каждую реализацию не следует описывать как буквальное вычитание одного идентичного прогноза шума. Аудио предоставляет несколько возможных представлений. DiffWave и WaveGrad изучают генерацию сигналов, в то время как скрытые системы выполняют свою генеративную работу в обученном сжатом представлении. Спектральная система может генерировать частотно-временное представление, а затем использовать связанную модель реконструкции или вокодер. Эти этапы преобразования влияют на измерение качества и ресурсов. AudioLDM использует контрастирующую предварительную подготовку языка и звука, CLAP, для соединения обусловленных представлений. В оригинальной статье модель скрытой диффузии обучается с помощью встраивания звука и использования встраивания текста в качестве условий во время выборки. Это особый кросс-модальный дизайн, а не правило, согласно которому каждый шумоподавитель использует перекрестное внимание текста одинаково. Fast Time-Conditioned Latent Audio Diffusion представляет собой еще один пример: изученные скрытые аудио, текстовые функции и явные сигналы синхронизации в заявленной оригинальной системе Stable Audio. Способность модели генерировать аудиосэмпл не определяет точное время события, точность транскрипции или права, закрепленные за каждым выходом. Методы меньшего количества шагов и согласованное обучение являются связанными областями исследований по ускорению, но одно только сокращение количества итераций не доказывает одинаковое качество или меньшее затраченное время для каждой реализации аудио. В оценках должно быть указано представление, обученная модель, условия, сэмплер, декодер, частота дискретизации, продолжительность и аппаратное обеспечение при сравнении генерируемых звуков.