Audio AI Itọsọna

Iyipada ohun

Iyipada ohun gbooro yipada idanimọ olukọ ti a fi ranṣẹ nipasẹ ọrọ kan lakoko ti o n wa lati pa akoonu ede rẹ mọ.

Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min

Lori iwe yi2 min ka
  1. Akopọ
  2. Jin Dive
  3. Real-World imuse
  4. Ojo iwaju ti Iyipada ohun
  5. Fifi o sinu iwa
  6. Tesiwaju Ṣiṣawari
  7. Awọn ibeere ti a beere nigbagbogbo

Akopọ

AutoVC ati CycleGAN-VC jẹ awọn ọna iwadi pẹlu awọn igbagbọ ikẹkọ pato ati awọn eto ayẹwo; awọn esi wọn ko ṣeto iṣẹ-ṣiṣe gbogbogbo kọja awọn olukọ tabi awọn ede.

Jin Dive

AutoVC n ṣafihan ọna autoencoder si iyipada ohun ati ṣe ayẹwo boya aṣoju bottleneck le pa akoonu ede mọ lakoko ti o dinku alaye olukọ. CycleGAN-VC n ṣe iwadi iyipada ohun ti ko ni ajọṣepọ nipa lilo awọn pipadanu iṣọkan-iyipo. Awọn wọnyi jẹ awọn apẹrẹ iwadi ti o yatọ pẹlu awọn esi ti o ni asopọ si awọn data wọn ati awọn idanwo. Ni ilana iṣelọpọ ohun-ọrọ deede, vocoder n tọka awọn ẹya ohun-ọrọ bii mel spectrogram si ohun-ọrọ akoko, gẹgẹ bi a ti ṣalaye ninu iwe Tacotron 2. ASVspoof ṣe ayẹwo awọn ọna ṣiṣe spoofing ati awọn ọna aabo lori awọn data ayẹwo; awọn esi ayẹwo ko ṣe idaniloju iṣẹ lori gbogbo ikanni tabi ikọlu.

Real-World imuse

Ṣe afiwe aṣoju bottleneck AutoVC ati ibi-afẹde atunṣe gẹgẹbi apẹrẹ iyipada ohun kan.

Ṣe iwadi CycleGAN-VC gẹgẹbi ọna iyipada ohun ti ko ni ajọṣepọ ti a ṣe ayẹwo ninu iwe rẹ.

Ṣe iyatọ awoṣe iyipada lati vocoder ti o ṣe agbejade ohun lati awọn ẹya ohun-ọrọ.

Lo ASVspoof gẹgẹbi ayẹwo fun ayẹwo ohun ti a spoofed tabi yipada, kii ṣe bi ẹri ti igbẹkẹle aye gangan fun oluyẹwo kan.

Ojo iwaju ti Iyipada ohun

Awọn afiwe iwaju yẹ ki o ṣe ijabọ awọn data, agbegbe olukọ ati ede, didara iyipada ati itọju akoonu lọtọ. Awọn idasilẹ aabo tabi ifilọlẹ nilo ẹri taara ju awọn iwe awoṣe ati awọn ayẹwo wọnyi lọ.

Fifi o sinu iwa

Kini idi ti o ṣe pataki

  • Wiwọle ati arọwọto. O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
  • Iye owo ati isuna. Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
  • Iyara ati iwọn. Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.

Ṣọra fun

  • ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
  • Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
  • Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.

Next awọn igbesẹ

  1. Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
  2. Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
  3. Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
  4. Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.

Tesiwaju Ṣiṣawari

Ìwé ìròyìn ọfẹ

Gba ìkànìyàn AI ojoojúmọ́

Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.

Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.

Ṣe idanwo fun ara rẹ

Gba idanwo Iyipada Ohun

Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.

Bẹrẹ adanwo

Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan

Awọn ibeere ti a beere nigbagbogbo

Kini iyipada ohùn?

Iyipada ohun yipada idanimọ olukọ ti a fi ranṣẹ nipasẹ ọrọ kan lakoko ti o n wa lati pa akoonu ede rẹ mọ. AutoVC ati CycleGAN-VC jẹ awọn ọna iwadi pẹlu awọn igbagbọ ikẹkọ pato ati awọn eto ayẹwo; awọn esi wọn ko ṣeto iṣẹ-ṣiṣe gbogbogbo kọja awọn olukọ tabi awọn ede.

Kini iyipada ohun nipa gbigbasilẹ?

Iyipada ohun paarọ idanimọ agbọrọsọ (timbre ati awọn abuda ohun) lakoko ti o tọju awọn ọrọ atilẹba ati nigbagbogbo akoko naa.

Agbara mojuto wo ni o jẹ ki eto kan yi ohun pada lakoko ti o tọju awọn ọrọ naa?

VC ṣe iyatọ ohun ti a sọ (akoonu) lati ẹniti o sọ (idanimọ agbọrọsọ), lẹhinna tun ṣe atunṣe akoonu orisun pẹlu idanimọ afojusun naa.

Bawo ni AutoVC ṣe ṣe iwuri fun awoṣe lati yọ idanimọ agbọrọsọ kuro ninu akoonu?

AutoVC nlo ọrun igo ti o ni wiwọ ti o fi ipa mu idanimọ agbọrọsọ jade, nlọ akoonu pupọ julọ, ati lẹhinna awọn ipo ti n ṣatunṣe lori ifisinu agbọrọsọ ibi-afẹde lọtọ.

Kini o ṣe iyatọ si ipilẹ data iyipada ohun 'ti o jọra' lati ọkan 'ti kii ṣe afiwe'?

Parallel VC nilo awọn igbasilẹ ti o ni ibamu ti awọn ọrọ kanna lati ọdọ awọn agbohunsoke mejeeji, lakoko ti awọn ọna ti kii ṣe afiwe le kọ ẹkọ lati ọrọ ti ko ni ibamu, eyiti o wulo julọ lati gba.

Kí ni ohun ti o jẹ ki ọna AutoVC “zero-shot” ninu eto iyipada ohun iwe?

AutoVC n ṣe ijabọ gbigbe ara ohun “zero-shot”: awoṣe le lo itọkasi lati olukọ afojusun ti ko ri ninu ikẹkọ, laisi igbesẹ ikẹkọ awoṣe lọtọ fun olukọ yẹn.