주크박스
Jukebox는 OpenAI의 2020년 신경망으로, 특정 아티스트 스타일의 노래 목소리, 악기, 가사까지 포함된 원시 음악 오디오를 생성합니다.
개요
It was a landmark proof that AI could model the actual waveform of song-length music, not just notes.
심층 분석
2020년 4월 OpenAI에서 출시한 Jukebox는 기호 음이 아닌 원시 오디오로 음악을 생성합니다. 즉, 보컬을 포함한 실제 사운드를 생성합니다. 웹에서 스크랩한 대략 120만 곡(약 절반 정도)의 노래를 LyricWiki의 가사 및 메타데이터와 결합하여 훈련했습니다. 장르, 아티스트 스타일, 가사에 따라 조건을 지정할 수 있으며, 그러면 해당 아티스트처럼 (흐릿하더라도) 알아볼 수 있을 것입니다. 출력은 몇 분 동안 실행됩니다. 문제는 속도와 충실도입니다. 생성 속도가 극도로 느려서 1분의 오디오를 렌더링하는 데 약 9시간이 걸렸으며 결과는 웅웅거리고 시끄러운 품질을 나타냈습니다. 주크박스는 세련된 제품이 아니라 연구 결과였지만 가능성에 대한 기대를 재창조했습니다.
기술적 통찰력
Jukebox는 VQ-VAE 자동 인코더를 사용하여 세 가지 시간 해상도로 원시 오디오를 압축하여 긴 파형을 훨씬 짧은 개별 코드 시퀀스로 전환합니다. 그런 다음 자동 회귀 변환기는 아티스트, 장르, 가사를 조건으로 이러한 코드를 한 번에 하나씩 예측하고, 업샘플러는 고주파 세부 정보를 추가합니다. 수백만 개의 오디오 샘플을 순차적으로 생성해야 하기 때문에 하위 레벨 코드를 44.1kHz 파형으로 다시 디코딩하면 생성 속도가 너무 느려집니다.
전략적 영향
접근 및 도달
전사, 내레이션, 음성 인터페이스를 통해 접근성을 향상시킵니다.
비용 및 예산
미디어 팀은 더 적은 예산으로 세련된 오디오를 더 빠르게 출시할 수 있습니다.
속도와 규모
고객 대면 시스템은 음성 상호 작용을 더 큰 규모로 처리할 수 있습니다.
주크박스의 미래
Jukebox 자체는 이제 거의 역사적인 이정표가 되었으며, 몇 초 만에 거의 CD 수준의 노래를 생성하는 Suno 및 Udio와 같은 더 빠른 확산 및 잠재 오디오 모델로 대체되었습니다. 핵심 아이디어(개별 오디오 토큰 및 가사 조절)는 현대 시스템에서 계속 살아있습니다. 미래의 원시 오디오 모델은 생성 시간을 단축하고, 보컬 선명도를 높이고, 미세한 제어 기능을 추가할 것으로 예상되는 반면, Jukebox가 저작권이 있는 녹음에 대한 교육에 대해 처음 제기한 저작권 문제는 점점 더 커질 것입니다.
실제 구현
Jukebox를 참조 아키텍처로 사용하여 신경망이 긴 형식의 원시 오디오 및 노래하는 목소리를 모델링하는 방법을 연구하는 연구원입니다.
선택한 아티스트의 거친 스타일로 새로운 가사를 부르는 으스스하고 로파이적인 'AI 커버'를 생성하는 음악가와 애호가.
MIDI 스타일 노트 생성에서 보컬을 포함한 완전한 원시 오디오 합성으로의 도약을 시연하는 교육자.
사운드 디자이너와 실험적인 아티스트는 Jukebox의 흐릿하고 몽환적인 질감을 리믹스와 콜라주의 원재료로 활용합니다.
위험 및 가드레일
동의가 없으면 음성 오용 및 명의 도용 위험이 높아집니다.
악센트, 방언 또는 시끄러운 환경에서는 정확도가 떨어질 수 있습니다.
합성 오디오는 명확한 라벨링이 없으면 실제 음성으로 오인될 수 있습니다.
구현 로드맵
음성 캡처, 복제 및 재사용에 대한 명시적인 동의를 얻습니다.
다양한 화자와 배경 조건에서 품질을 테스트합니다.
사람이 출력을 검토하거나 승인해야 하는 시기를 정의합니다.
합성 오디오에 라벨을 붙이고 책임을 묻기 위해 출처 기록을 보관하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Jukebox quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
상징적 음악 세대
자주 묻는 질문
What is Jukebox?
Jukebox는 OpenAI의 2020년 신경망으로, 특정 아티스트 스타일의 노래 목소리, 악기, 가사까지 포함된 원시 음악 오디오를 생성합니다. 이는 AI가 음표뿐만 아니라 노래 길이 음악의 실제 파형을 모델링할 수 있다는 획기적인 증거였습니다.
Jukebox가 MIDI를 출력하는 시스템과 같은 이전의 상징적 음악 AI와 다른 점은 무엇입니까?
주크박스는 실제 음악 사운드를 원시 오디오로 모델링하므로 음표 데이터만 출력하는 기호 시스템과 달리 보컬과 악기 음색을 생성할 수 있습니다.
Jukebox는 누가, 대략 언제 출시했나요?
OpenAI는 보컬로 음악을 생성하기 위한 연구 모델로 2020년 4월 Jukebox를 출시했습니다.
Jukebox의 실제적인 주요 제한 사항은 무엇이었습니까?
원시 오디오 샘플을 샘플별로 디코딩하기 때문에 Jukebox는 1분 분량의 음악을 생성하는 데 약 9시간이 걸리므로 실시간 사용에는 실용적이지 않습니다.
Transformers에서 긴 원시 오디오를 관리할 수 있도록 만들기 위해 Jukebox는 어떤 핵심 기술을 사용합니까?
Jukebox는 VQ-VAE 자동 인코더를 사용하여 파형을 개별 토큰으로 압축합니다. 그런 다음 Transformer는 오디오로 다시 업샘플링하기 전에 자동 회귀적으로 모델링합니다.
Jukebox의 출력을 무엇으로 조정할 수 있나요?
주크박스는 장르, 모방할 아티스트, 가사를 받아들이고 그 가사를 그 스타일로 노래하려고 시도합니다.