확산 분광사진 확산
Riffusion은 사운드를 그림으로 처리하여 음악을 생성하는 영리한 해킹입니다. Stable Diffusion 이미지 모델을 미세 조정하여 스펙트로그램을 그린 다음 해당 이미지를 다시 오디오로 변환합니다.
개요
중요한 이유는 한 매체(이미지)를 위해 만들어진 도구가 거의 새로운 아키텍처 없이 다른 매체(음악)를 만들어낼 수 있음을 보여주기 때문입니다.
심층 분석
Seth Forsgren과 Hayk Martiros가 2022년 말에 출시한 Riffusion은 취미 프로젝트로 시작되었습니다. 핵심 요령: 스펙트로그램은 수평 축이 시간, 수직 축이 주파수, 픽셀 밝기가 음량인 2D 이미지입니다. Stable Diffusion은 이미 텍스트 프롬프트에서 이미지를 생성했기 때문에 제작자는 수천 개의 쌍을 이루는 스펙트로그램-텍스트 예제에서 이미지를 미세 조정했습니다. '펑키 재즈 베이스'로 프롬프트를 표시하면 해당 사운드의 스펙트로그램에서 무작위 노이즈를 제거합니다. 재생 가능한 오디오를 만들기 위해 Riffusion은 누락된 위상 정보를 재구성하는 Griffin-Lim 알고리즘을 통해 스펙트로그램을 실행합니다. 확산은 프롬프트 사이를 원활하게 보간할 수 있기 때문에 Riffusion은 연속 클립을 통해 한 스타일을 다른 스타일로 변형하여 원활하게 반복할 수도 있습니다.
기술적 통찰력
Riffusion은 잠재 확산 파이프라인을 변경하지 않고 재사용합니다. U-Net은 CLIP 텍스트 임베딩에 따라 조정된 잠재 이미지에서 가우스 노이즈를 반복적으로 제거합니다. 유일한 영역별 작업은 스펙트로그램 표현(멜 스케일, 로그 전력)과 예측된 크기 스펙트로그램을 다시 파형으로 바꾸는 Griffin-Lim 위상 재구성입니다. 위상은 인코딩 중에 폐기되므로 Griffin-Lim의 반복 추정은 특징적인 '물 같은' 아티팩트의 주요 소스입니다.
전략적 영향
접근 및 도달
전사, 내레이션, 음성 인터페이스를 통해 접근성을 향상시킵니다.
비용 및 예산
미디어 팀은 더 적은 예산으로 세련된 오디오를 더 빠르게 출시할 수 있습니다.
속도와 규모
고객 대면 시스템은 음성 상호 작용을 더 큰 규모로 처리할 수 있습니다.
확산 스펙트로그램 확산의 미래
Riffusion은 스펙트로그램-이미지 브리지 작동을 입증했으며, 그 아이디어는 이제 더 큰 오디오 시스템 내부에 존재하며 Riffusion이라는 회사가 되었습니다. 손실이 많은 Griffin-Lim을 학습된 신경 보코더로 대체하여 보다 깨끗한 위상을 구현하고 스펙트로그램 확산을 잠재 오디오 코덱과 결합할 미래 도구를 기대하세요. 이미지 모델을 새로운 양식으로 리디렉션할 수 있다는 더 광범위한 교훈은 연구자들이 기존의 사전 훈련된 백본에서 오디오 및 비디오 생성기를 부트스트랩하는 방법에 계속 영향을 미칩니다.
실제 구현
'긴장된 신디웨이브 추적'과 같은 텍스트 프롬프트에서 인디 비디오 게임을 위한 짧은 반복 배경 트랙 생성
두 가지 음악 스타일 사이를 원활하게 전환합니다. 하나의 클립에 '트로피컬 하우스'를 '로파이 힙합'으로 섞다
라이선스 비용 없이 YouTube 동영상 및 팟캐스트용 로열티 프리 주변 음악 침대 제작
음악가가 디지털 오디오 워크스테이션에서 적절하게 다시 녹음할 멜로디 또는 리듬 아이디어의 프로토타입 제작
위험 및 가드레일
동의가 없으면 음성 오용 및 명의 도용 위험이 높아집니다.
악센트, 방언 또는 시끄러운 환경에서는 정확도가 떨어질 수 있습니다.
합성 오디오는 명확한 라벨링이 없으면 실제 음성으로 오인될 수 있습니다.
구현 로드맵
음성 캡처, 복제 및 재사용에 대한 명시적인 동의를 얻습니다.
다양한 화자와 배경 조건에서 품질을 테스트합니다.
사람이 출력을 검토하거나 승인해야 하는 시기를 정의합니다.
합성 오디오에 라벨을 붙이고 책임을 묻기 위해 출처 기록을 보관하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Riffusion Spectrogram Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
DiffWave 확산 보코더
자주 묻는 질문
확산 스펙트로그램 확산이란 무엇인가요?
Riffusion은 사운드를 그림으로 처리하여 음악을 생성하는 영리한 해킹입니다. Stable Diffusion 이미지 모델을 미세 조정하여 스펙트로그램을 그린 다음 해당 이미지를 다시 오디오로 변환합니다. 이는 하나의 매체(이미지)용으로 제작된 도구가 거의 새로운 아키텍처 없이 다른 매체(음악)를 생성할 수 있다는 점을 보여주기 때문에 중요합니다.
Riffusion이 음악을 생성하기 위해 미세 조정한 기존 AI 모델은 무엇입니까?
Riffusion은 이미지 확산 모델인 Stable Diffusion을 미세 조정하여 오디오로 변환되는 스펙트로그램 이미지를 생성합니다.
스펙트로그램은 두 축에서 무엇을 나타냅니까?
스펙트로그램에서 가로축은 시간, 세로축은 주파수, 밝기는 음량을 나타냅니다.
Riffusion에 Griffin-Lim과 같은 알고리즘이 필요한 이유는 무엇입니까?
스펙트로그램은 크기를 저장하지만 위상은 삭제하므로 Griffin-Lim은 반복적으로 위상을 추정하여 재생 가능한 파형을 재구성합니다.
두 개의 프롬프트를 혼합할 때 확산이 Riffusion에 어떤 기능을 제공합니까?
확산 모델은 잠재 공간에서 보간하여 Riffusion이 한 음악 스타일에서 다른 음악 스타일로 지속적으로 변형되도록 할 수 있습니다.
Riffusion은 원래 어떻게 만들어지고 출시되었나요?
Riffusion은 Seth Forsgren과 Hayk Martiros의 취미 프로젝트로 시작되었으며 2022년 후반에 공개되었습니다.