Audio AI Itọsọna
Tacotron 2
Tacotron 2 jẹ opin-si-opin ọrọ-si-ọrọ eto lati Google (2017) ti o yi ọrọ kikọ taara sinu a mel-spectrogram, eyi ti a nkankikan vocoder iyipada sinu igbesi aye ọrọ.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
O ṣe agbejade awọn gbigbasilẹ ohun ti o ni idije eniyan lori awọn ipilẹ bọtini.
Jin Dive
Tacotron 2 ni awọn ẹya akọkọ meji. Ni akọkọ, nẹtiwọọki ti o tẹle-si-tẹle pẹlu akiyesi ka awọn kikọ ọrọ ati asọtẹlẹ fireemu mel-spectrogram nipasẹ fireemu. Ayipada koodu kan yi awọn ohun kikọ pada si awọn aṣoju ti o farapamọ, ẹrọ ifarabalẹ ipo-itọju kan ṣe deede ọrọ si awọn fireemu ohun, ati pe oluyipada autoregressive kan njade spectrogram nigba ti 'aami iduro' kan kọ ẹkọ nigbati ọrọ ba pari. Ẹlẹẹkeji, olugbohunsafẹfẹ WaveNet kan ti o yipada mel-spectrogram yẹn sinu fọọmu igbi aise. Nipa pipin iṣoro naa ni ọna yii, Tacotron 2 kọ ẹkọ prosody, pronunciation, ati pacing lati data pẹlu imọ-ẹrọ ọwọ diẹ. O ṣaṣeyọri Dimegilio ero itumọ tumọ si isunmọ awọn gbigbasilẹ alamọdaju, ṣiṣe ni ami-ilẹ kan ni iṣelọpọ ohun ti ara ati awoṣe fun TTS nkankikan nigbamii.
Real-World imuse
Ngba agbara awọn ohun ti o dun ni agbara ni awọn ọja ati awọn oluranlọwọ ọrọ-si-ọrọ Google
Ṣiṣẹda alaye asọye fun awọn iwe ohun ati adarọ-ese
Pese awọn ohun fun awọn oluka iboju ati sọfitiwia iraye si
Ṣiṣẹ bi ipilẹ iwadi ati apẹẹrẹ ẹkọ fun awọn opo gigun ti TTS ti iṣan
Ọjọ iwaju ti Tacotron 2
Apẹrẹ ipele meji ti Tacotron 2 ṣe atilẹyin igbi ti TTS nkankikan. Yiyara ti kii ṣe autoregressive arọpo bi FastSpeech 2 yọkuro decoder lẹsẹsẹ fun iyara ati iduroṣinṣin, ati pe vocoder WaveNet ti wa ni bayi nigbagbogbo paarọ fun HiFi-GAN tabi awọn awoṣe itankale. Aaye naa n lọ si opin-si-opin ni kikun ati agbọrọsọ olona-pupọ, ikosile, ati awọn eto didi ohun-shot, ṣugbọn Tacotron 2 jẹ itọkasi ipilẹ fun awọn opo gigun ti spectrogram.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Wiwọle ati arọwọto. O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
- Iye owo ati isuna. Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
- Iyara ati iwọn. Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ṣọra fun
- ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
- Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
- Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Next awọn igbesẹ
- Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
- Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
- Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
- Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Tacotron 2 quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Tacotron 2?
Tacotron 2 jẹ opin-si-opin ọrọ-si-ọrọ eto lati Google (2017) ti o yi ọrọ kikọ taara sinu a mel-spectrogram, eyi ti a nkankikan vocoder iyipada sinu igbesi aye ọrọ. O ṣe agbejade awọn gbigbasilẹ ohun ti o ni idije eniyan lori awọn ipilẹ bọtini.
Aṣoju agbedemeji wo ni Tacotron 2 ṣe asọtẹlẹ lati ọrọ?
Tacotron 2's lẹsẹsẹ-si-atẹle nẹtiwọọki ṣe asọtẹlẹ mel-spectrogram kan, eyiti vocoder kan lẹhinna yipada si ohun ohun.
Kini o ṣe iyipada spectrogram Tacotron 2 sinu fọọmu igbi gangan?
Tacotron 2 ṣe afiwe asọtẹlẹ spectrogram rẹ pẹlu vocoder WaveNet ti a yipada lati ṣe agbekalẹ ohun afetigbọ aise ikẹhin.
Iṣoro wo ni ifarabalẹ ipo-iṣe iranlọwọ ṣe idiwọ?
Nipa gbigbe awọn tito tẹlẹ, akiyesi ifarabalẹ ipo dinku awọn ikuna bii awọn ọrọ ti a tun tabi silẹ.
How does Tacotron 2 determine that it has generated the end of an utterance?
Tacotron 2 predicts a stop token alongside mel frames; generation ends when the learned stopping condition is met.
Iru ara faaji gbogbogbo wo ni apakan ọrọ-si-spectrogram lo?
Tacotron 2 nlo kooduopo-decoder lẹsẹsẹ-si-tẹle awoṣe pẹlu akiyesi awọn kikọ maapu si awọn fireemu spectrogram.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii