AudioGen Ọrọ-si-Asọpọ
AudioGen jẹ awoṣe Meta ti o yi awọn apejuwe ọrọ pada si awọn ohun ayika ti o daju ati awọn ipa ohun, bii 'igbó aja nigbati awọn ẹiyẹ n pariwo'. O ṣe pataki nitori pe o jẹ ki awọn olupilẹda ṣe agbekalẹ ohun ti kii ṣe ọrọ lati ede itele, agbara ti o padanu lati AI ipilẹṣẹ.
Jin Dive
AudioGen, ti a tu silẹ nipasẹ Meta AI ni ọdun 2022, jẹ awoṣe ede ti o ni adaṣe ti o ṣe agbejade ohun gbogboogbo (awọn ipa ohun, awọn iwoye ibaramu, ẹranko ati ohun) taara lati awọn itọ ọrọ. Ko dabi awọn ọna ṣiṣe ọrọ-si-ọrọ, o fojusi agbaye idoti ti ohun lojoojumọ. O kọkọ ṣe ohun afetigbọ aise sinu ọkọọkan ti awọn ami iyasọtọ nipa lilo kodẹki nkankikan (afọwọṣe ara-EnCodec kan pẹlu pipo iwọn fekito ti o ku). Awoṣe ede Ayirapada kan lẹhinna kọ ẹkọ lati ṣe asọtẹlẹ awọn ami ohun afetigbọ wọnyi ti o ni ilodi si lori apejuwe ọrọ ti o fi koodu si nipasẹ koodu koodu lọtọ. Lati ni ilọsiwaju oye akojọpọ, awọn onkọwe dapọ ati awọn ayẹwo ohun afetigbọ lakoko ikẹkọ ki awoṣe le kọ ẹkọ awọn akojọpọ bii awọn ohun agbekọja. AudioGen nigbamii di apakan ti ile-ikawe AudioCraft Meta pẹlu awoṣe orin MusicGen.
Imọ-imọ-ẹrọ
AudioGen ni awọn ipele meji. Ni akọkọ, oluyipada ohun afetigbọ kọ ẹkọ lati ṣe maapu awọn fọọmu igbi si ṣiṣan iwapọ ti awọn ami iyasọtọ ati sẹhin. Ẹlẹẹkeji, Ayipada kan ti ni ikẹkọ pẹlu ipinnu awoṣe-ede lati ṣe asọtẹlẹ ami ohun afetigbọ atẹle ti a fun awọn ami ami iṣaaju pẹlu imudara ọrọ. Itọnisọna-ọfẹ Kilasifafififififififififisonu ati awoṣe iwe koodu ṣiṣan-ọpọlọpọ ṣe ilọsiwaju iṣotitọ ati titete ọrọ. Ṣiṣẹda ohun afetigbọ tumọ si iṣapẹẹrẹ awọn ami aifọwọyi, lẹhinna yiyipada wọn pada si fọọmu igbi pẹlu kodẹki.
Ipa Ilana
Wiwọle ati arọwọto
O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
Iye owo ati isuna
Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
Iyara ati iwọn
Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ojo iwaju ti AudioGen Text-to-Audio Synthesis
Ọrọ-si-ohun n lọ si awọn oṣuwọn ayẹwo ti o ga julọ, awọn iwoye ibaramu gigun, ati iṣakoso wiwọ lori akoko ati ipo aye ti awọn ohun. Reti iṣọpọ sinu awọn irinṣẹ fidio ti o ṣafikun awọn ipa ohun ibaramu laifọwọyi, awọn irinṣẹ iraye si ti o ṣapejuwe awọn iwoye ni igbọran, ati awọn ẹrọ ere ti o ṣepọ ohun afetigbọ ibaramu lori ibeere. Apapọ awọn awoṣe tokini ara-ara AudioGen pẹlu awọn ọna kaakiri ati awọn koodu koodu ti o lagbara yẹ ki o mu ilọsiwaju pọ si, lakoko ti omi-omi ati awọn irinṣẹ iṣafihan yoo ṣe iranlọwọ iyatọ sintetiki lati ohun ti o gbasilẹ.
Real-World imuse
Ṣiṣẹda Foley ati awọn ipa ohun fun awọn fiimu ati awọn ere lati awọn itọ ọrọ
Ṣiṣẹda awọn iwoye ibaramu (ojo, ijabọ, awọn igbo) fun awọn ohun elo ati awọn irinṣẹ iṣaro
Ohun afetigbọ fun awọn iṣẹ akanṣe fidio laisi iwe-aṣẹ awọn ile-ikawe iṣura
Ṣiṣejade itaniji aṣa ati awọn ohun iwifunni ti a ṣalaye ni ede itele
Awọn ewu & Awọn ọna iṣọ
ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Ilana Ilana imuse
Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AudioGen Text-to-Audio Synthesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
DDSP Iyatọ Audio Synthesis
Awọn ibeere ti a beere nigbagbogbo
What is AudioGen Text-to-Audio Synthesis?
AudioGen jẹ awoṣe Meta ti o yi awọn apejuwe ọrọ pada si awọn ohun ayika ti o daju ati awọn ipa ohun, bii 'igbó aja nigbati awọn ẹiyẹ n pariwo'. O ṣe pataki nitori pe o jẹ ki awọn olupilẹda ṣe agbekalẹ ohun ti kii ṣe ọrọ lati ede itele, agbara ti o padanu lati AI ipilẹṣẹ.
Kini AudioGen ṣe ipilẹṣẹ akọkọ?
AudioGen ṣe amọja ni ti kii ṣe ọrọ, ohun gbogboogbo gẹgẹbi awọn ohun ayika ati awọn ipa ti a ṣejade lati awọn itọsọna ọrọ.
Kini ipele akọkọ ninu opo gigun ti epo AudioGen?
Codec autoencoder nkankikan ṣe compress ohun aise sinu awọn ami iyasọtọ ti awoṣe ede le lẹhinna sọtẹlẹ.
Iru awoṣe wo ni asọtẹlẹ awọn ami ohun ohun?
AudioGen nlo Ayipada autoregressive ti o sọ asọtẹlẹ awọn ami ohun kan lẹhin ekeji, ni ilodi si lori ọrọ.
Kini idi ti awọn onkọwe ṣe dapọ ati ṣoki ohun afetigbọ lakoko ikẹkọ?
Imudara pẹlu awọn agekuru idapọmọra ati isomọ ṣe ilọsiwaju agbara AudioGen lati ṣajọ awọn ohun pupọ ti a ṣalaye papọ ni itara kan.
Ewo ni ile-ikawe Meta tobi pẹlu AudioGen?
AudioGen jẹ apakan ti ile-ikawe AudioCraft Meta, eyiti o tun ni awoṣe MusicGen ninu.