MusicLM: Iṣatunṣe Iṣatunṣe ati Awọn ami Akositiki
MusicLM jẹ awoṣe ọrọ-si-orin Google ti o ṣe agbekalẹ ohun afetigbọ gigun nipasẹ ilana ilana ti awọn ami atunmọ fun igbekalẹ orin ati awọn ami akusitiki fun alaye ohun.
Jin Dive
Ti kede nipasẹ Google Iwadi ni ibẹrẹ ọdun 2023, MusicLM ṣe agbekalẹ iran orin gẹgẹbi asọtẹlẹ awọn ilana ti awọn ami ohun afetigbọ, bii awoṣe ede kan sọ asọtẹlẹ awọn ọrọ. O nlo awọn ipo-iṣaaju ti awọn aṣoju: awọn ami atunmọ (lati awoṣe ti a pe ni w2v-BERT) gba eto ipele giga bi orin aladun ati ariwo lori awọn igba pipẹ, lakoko ti awọn ami acoustic (lati SoundStream neural codec) gba awọn alaye to dara bi timbre ati sojurigindin. Ipele akọkọ n ṣe agbekalẹ awọn ami atunmọ lati itọ ọrọ, lẹhinna awọn ipele nigbamii kun ni alaye akositiki ti o ni ilodi si lori awọn atunmọ wọnyẹn. Imudara ọrọ wa lati MuLM/MuLan, ifisinu ọrọ-orin apapọ ti a ti kọ ikẹkọ bẹ awọn apejuwe ati ilẹ ohun ni aaye kanna. Ilana ti a ṣeto yii jẹ ki MusicLM duro ni ibamu pẹlu orin ni iṣẹju diẹ ju ki o lọ lẹhin iṣẹju diẹ.
Imọ-imọ-ẹrọ
Ero bọtini ni sisọ ọna ṣiṣe lati awoara kọja ilana ilana àmi kan. Awọn ami itọka isokuso jẹ fọnka ati iyipada-lọra, nitorinaa Amunawa le ṣe awoṣe fọọmu igba pipẹ laisi gigun ọkọọkan nla kan. Awọn ami-ami Acoustic jẹ ipon ati iwọn-giga, ṣugbọn wọn nilo nikan ni asọtẹlẹ asọtẹlẹ lori awọn atunmọ ti o wa titi tẹlẹ, ti o jẹ ki ipele kọọkan jẹ itọpa. Sọdiwọn fekito aloku ti SoundStream ṣe agbejade awọn koodu akositiki ti o fẹlẹfẹlẹ ti oluyipada ipari kan yipada pada si awọn fọọmu igbi 24 kHz.
Ipa Ilana
Wiwọle ati arọwọto
O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
Iye owo ati isuna
Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
Iyara ati iwọn
Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ojo iwaju ti MusicLM: Itumọ Iṣatunṣe ati Awọn ami Akositiki
Ona ami akosori MusicLM di awoṣe fun awọn ọna ṣiṣe nigbamii bi MusicGen ati awọn irinṣẹ orin iṣowo. Reti imudara orin aladun wiwọ (hum a tune, gba eto ni kikun), awọn orin ti iṣeto ni kikun gun pẹlu awọn ẹsẹ ati awọn akorin, ati iṣakoso to dara julọ lori awọn irinṣẹ ati bọtini. Awọn ọran elegun jẹ ofin ati ti iṣe: iwe-aṣẹ data ikẹkọ, ifọwọsi olorin, ati ohun afetigbọ ti ipilẹṣẹ omi ki o le ṣe iyatọ si orin ti eniyan ṣe ni bayi aringbungbun si imuṣiṣẹ.
Real-World imuse
Yipada apejuwe iṣẹlẹ ti a kọ sinu fiimu tabi Dimegilio trailer, fun apẹẹrẹ. 'apọju orchestral kọ pẹlu akorin'
Ṣiṣẹda orin isale ni ilodi si lori akọle aworan tabi paapaa awọn apejuwe kikun fun awọn fifi sori ẹrọ aworan
Nlọ orin aladun kukuru tabi súfèé sinu eto ohun-elo ni kikun
Ṣiṣejade awọn orin-ọja orin oriṣiriṣi ni oriṣiriṣi awọn akoko ati awọn iṣesi fun ipolowo ati awọn olupilẹṣẹ akoonu
Awọn ewu & Awọn ọna iṣọ
ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Ilana Ilana imuse
Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the MusicLM: Hierarchical Semantic and Acoustic Tokens quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iran Aami Orin
Awọn ibeere ti a beere nigbagbogbo
What is MusicLM: Hierarchical Semantic and Acoustic Tokens?
MusicLM jẹ awoṣe ọrọ-si-orin Google ti o ṣe agbekalẹ ohun afetigbọ gigun nipasẹ ilana ilana ti awọn ami atunmọ fun igbekalẹ orin ati awọn ami akusitiki fun alaye ohun.
Bawo ni MusicLM ṣe ṣe itọju iṣẹ ṣiṣe ti ipilẹṣẹ orin?
MusicLM ṣe agbekalẹ iran orin bi asọtẹlẹ adaṣe adaṣe lori awọn ami ohun afetigbọ, iru si bii awoṣe ede ṣe sọ asọtẹlẹ awọn ọrọ.
Kini ipa ti awọn ami atọmọ ni MusicLM?
Awọn ami ami atunmọ (lati w2v-BERT) gba isokuso, ọna iyipada lọra gẹgẹbi orin aladun ati ariwo lori awọn igba pipẹ.
Eyi ti paati pese awọn itanran akositiki apejuwe awọn bi timbre ati sojurigindin?
Awọn ami akositiki wa lati inu kodẹki nkankikan SoundStream ati koodu awọn alaye to dara gẹgẹbi timbre ati sojurigindin.
Bawo ni MusicLM ṣe so itọ ọrọ si ohun orin bi?
MuLan ti ni ikẹkọ ki awọn apejuwe ọrọ ati maapu ohun afetigbọ ti o baamu si awọn aaye to wa nitosi ni aaye ifisinu pinpin, ti n muu muumulẹ ọrọ ṣiṣẹ.
Kini idi ti ipo-iṣakoso, apẹrẹ ti o ni ipele ṣe iranlọwọ pẹlu eto gigun-gun?
Awọn ami atunmọ fọnka yipada laiyara, nitorinaa Amunawa le ṣe awoṣe fọọmu igba pipẹ daradara ṣaaju ki alaye akositiki ipon ti kun ni.