개요
이는 연구적이고 창의적인 예입니다. 그 출력에는 청취와 기술 검증이 필요합니다.
심층 분석
2022년 취미 프로젝트로 출시된 Riffusion은 쌍을 이루는 텍스트와 스펙트로그램 이미지에서 Stable Diffusion를 미세 조정했습니다. 스펙트로그램은 시간을 수평으로, 주파수를 수직으로 배치하며 픽셀 강도는 크기 또는 에너지를 나타냅니다. 이 버전은 멜 주파수 표현을 사용합니다. 생성된 크기 표현에는 위상이 생략되어 있습니다. Riffusion은 Griffin-Lim 반복을 사용하여 위상을 추정하고 파형을 재구성하므로 가청 아티팩트가 발생할 수 있습니다. 이미지 모델 적용은 오디오 생성 경로를 보여주지만 음악적 품질이나 라이센스 상태를 보장하지는 않습니다.
실제 구현
텍스트 프롬프트에서 짧은 음악 스케치 탐색
신속한 변화가 생성된 스펙트로그램 패턴에 어떻게 영향을 미치는지 비교
건전한 아이디어 간의 전환을 탐색하기 위해 프롬프트 임베딩 간 보간
오디오 워크스테이션에서 음악적 아이디어를 편곡하거나 녹음하기 전에 프로토타입 제작
확산 스펙트로그램 확산의 미래
Riffusion은 스펙트로그램 이미지를 생성하고 파형을 재구성하여 오디오에 대한 이미지 확산 파이프라인을 적용하는 한 가지 방법을 보여줍니다. 핵심 프로젝트는 더 이상 적극적으로 유지 관리되지 않는 것으로 표시됩니다. 생성된 클립은 재구성 아티팩트와 해당 용도에 적합한 권리가 있는지 확인해야 합니다.
실천에 옮기기
왜 중요한가요?
- 접근 및 도달. 전사, 내레이션, 음성 인터페이스를 통해 접근성을 향상시킵니다.
- 비용 및 예산. 미디어 팀은 더 적은 예산으로 세련된 오디오를 더 빠르게 출시할 수 있습니다.
- 속도와 규모. 고객 대면 시스템은 음성 상호 작용을 더 큰 규모로 처리할 수 있습니다.
조심하세요
- 동의가 없으면 음성 오용 및 명의 도용 위험이 높아집니다.
- 악센트, 방언 또는 시끄러운 환경에서는 정확도가 떨어질 수 있습니다.
- 합성 오디오는 명확한 라벨링이 없으면 실제 음성으로 오인될 수 있습니다.
다음 단계
- 음성 캡처, 복제 및 재사용에 대한 명시적인 동의를 얻습니다.
- 다양한 화자와 배경 조건에서 품질을 테스트합니다.
- 사람이 출력을 검토하거나 승인해야 하는 시기를 정의합니다.
- 합성 오디오에 라벨을 붙이고 책임을 묻기 위해 출처 기록을 보관하세요.
계속 탐색하세요
무료 뉴스레터
일일 AI 브리핑 받기
매주 평일 아침마다 3개의 검증된 AI 스토리를 일반 영어로 작성합니다. 무료이며, 광고 없음.
매주 평일마다 한 번 이메일을 받습니다. 한 번 클릭으로 구독 해지. 주소를 판매하거나 공유하지 않습니다.
자신을 테스트해 보세요
Take the Riffusion Spectrogram Diffusion quiz
모든 답변에 즉각적인 피드백과, 과정을 통과하면 검증 가능한 ID가 있는 공유 가능한 인증서를 제공합니다.
무료 AI 교육을 지원합니다. AI Understanding는 501(c)(3) 비영리 단체입니다 — 광고 없음, 유료 장벽 없음, 영원히. 기부하기
자주 묻는 질문
확산 스펙트로그램 확산이란 무엇인가요?
Riffusion은 텍스트-이미지 확산 모델을 적용하여 스펙트로그램 이미지를 생성하고 파형을 재구성하여 오디오를 생성합니다. 이는 연구적이고 창의적인 예입니다. 그 출력에는 청취와 기술 검증이 필요합니다.
Riffusion이 음악을 생성하기 위해 미세 조정한 기존 AI 모델은 무엇입니까?
Riffusion은 이미지 확산 모델인 Stable Diffusion을 미세 조정하여 오디오로 변환되는 스펙트로그램 이미지를 생성합니다.
Riffusion 스펙트로그램 이미지에서 일반적으로 시간 증가를 나타내는 방향은 무엇입니까?
스펙트로그램은 시간을 수평으로, 주파수를 수직으로 매핑합니다.
Riffusion에 Griffin-Lim과 같은 알고리즘이 필요한 이유는 무엇입니까?
스펙트로그램은 크기를 저장하지만 위상은 삭제하므로 Griffin-Lim은 반복적으로 위상을 추정하여 재생 가능한 파형을 재구성합니다.
Riffusion에서 프롬프트 보간이 수행할 수 있는 작업은 무엇입니까?
Riffusion의 파이프라인은 프롬프트 보간을 지원하여 프롬프트 조건이 지정된 두 세대 간의 전환을 허용합니다.
Riffusion은 원래 어떻게 만들어지고 출시되었나요?
Riffusion은 Seth Forsgren과 Hayk Martiros의 취미 프로젝트로 시작되었으며 2022년 후반에 공개되었습니다.