Takotini 2
Tacotron 2 ni mfumo wa kuanzia-mwisho-hadi-mwisho kutoka kwa Google (2017) ambao hubadilisha maandishi yaliyoandikwa moja kwa moja kuwa mel-spectrogram, ambayo vokoda ya neural huibadilisha kuwa usemi unaofanana na maisha.
Muhtasari
It produced audio rivaling human recordings on key benchmarks.
Dive ya kina
Tacotron 2 ina sehemu kuu mbili. Kwanza, mtandao wa mfuatano-kwa-mfuatano wenye umakini husoma herufi za maandishi na kutabiri fremu ya mel-spectrogram kwa fremu. Kisimbaji hugeuza herufi kuwa wasilisho fiche, utaratibu wa tahadhari unaozingatia eneo hupanga maandishi kwa fremu za sauti, na avkodare otomatiki hutoa spectrogramu huku 'tokeni ya kusitisha' hujifunza matamshi yanapoisha. Pili, vokoda iliyorekebishwa ya WaveNet inabadilisha spectrogramu hiyo ya mel kuwa muundo mbichi wa mawimbi. Kwa kugawanya tatizo kwa njia hii, Tacotron 2 hujifunza prosody, matamshi, na kasi kutoka kwa data na uhandisi wa mkono mdogo. Ilipata alama ya wastani ya maoni karibu na rekodi za kitaalamu, na kuifanya kuwa muhimu katika usanisi wa sauti asilia na kiolezo cha TTS ya neva ya baadaye.
Ufahamu wa Kiufundi
Mel-spectrogram ni kiolesura cha werevu kati ya mitandao hii miwili: ni nyororo na rahisi kwa kielelezo makini kutabiri, lakini ni tajiri vya kutosha kwa vokoda kuunda upya sauti ya hali ya juu. Uangalifu unaozingatia eneo huzuia makosa ya kawaida kama vile maneno yaliyorudiwa au kuruka kwa kuzingatia mipangilio ya awali, na avkodare otomatiki yenye tokeni ya kusitisha iliyojifunza huruhusu kielelezo kushughulikia sentensi za urefu tofauti kwa uzuri.
Athari za kimkakati
Kufikia na kufikia
Huboresha ufikiaji kupitia manukuu, simulizi na violesura vya sauti.
Cost and budget
Timu za media zinaweza kusafirisha sauti iliyoboreshwa haraka na bajeti ndogo.
Kasi na kiwango
Mifumo inayowakabili wateja inaweza kuchakata mwingiliano wa mazungumzo kwa kiwango kikubwa.
Mustakabali wa Tacotron 2
Muundo wa hatua mbili wa Tacotron 2 ulichochea wimbi la TTS ya neva. Wafuasi wa haraka zaidi wasiotumia sauti kama FastSpeech 2 waliondoa avkodare mfuatano kwa kasi na uthabiti, na vokoda ya WaveNet sasa mara nyingi hubadilishwa kwa HiFi-GAN au miundo ya uenezi. Sehemu inaelekea kwenye mifumo ya uundaji wa sauti kutoka mwisho hadi mwisho na ya vipaza sauti vingi, inayoeleza, na isiyo na sifuri, lakini Tacotron 2 inasalia kuwa rejeleo la msingi la mabomba yanayotegemea spectrogram.
Utekelezaji wa Ulimwengu Halisi
Kuwezesha sauti za asili katika bidhaa na visaidizi vya Google vya kutuma maandishi hadi usemi
Inazalisha masimulizi ya kueleweka kwa vitabu vya sauti na podikasti
Kutoa sauti kwa visoma skrini na programu ya ufikivu
Inatumika kama msingi wa utafiti na mfano wa kufundisha kwa mabomba ya neural TTS
Hatari & Walinzi
Hatari za matumizi mabaya ya sauti na uigaji huongezeka wakati kibali kinakosekana.
Usahihi unaweza kushuka katika lafudhi, lahaja au mazingira yenye kelele.
Sauti ya syntetisk inaweza kudhaniwa kimakosa kuwa usemi halisi bila kuweka lebo wazi.
Ramani ya Utekelezaji
Pata idhini ya moja kwa moja ya kunasa sauti, kuunda na kutumia tena.
Jaribu ubora kwenye spika na hali mbalimbali za usuli.
Bainisha wakati ni lazima binadamu akague au aidhinishe matokeo.
Weka lebo sauti ya sintetiki na uhifadhi rekodi za asili kwa uwajibikaji.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tacotron 2 quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Mfano wa Prosody
Maswali yanayoulizwa mara kwa mara
What is Tacotron 2?
Tacotron 2 ni mfumo wa kuanzia-mwisho-hadi-mwisho kutoka kwa Google (2017) ambao hubadilisha maandishi yaliyoandikwa moja kwa moja kuwa mel-spectrogram, ambayo vokoda ya neural huibadilisha kuwa usemi unaofanana na maisha. Ilitoa rekodi za sauti zinazopingana na wanadamu kwenye vigezo muhimu.
Tacotron 2 inatabiri uwakilishi gani wa kati kutoka kwa maandishi?
Mtandao wa mfuatano wa Tacotron 2 unatabiri spectrogram ya mel, ambayo vokoda huigeuza kuwa sauti.
Ni nini kinachobadilisha spectrogram ya Tacotron 2 kuwa muundo halisi wa wimbi?
Tacotron 2 inaoanisha kitabiri chake cha spectrogram na vokoda iliyorekebishwa ya WaveNet ili kutoa sauti mbichi ya mwisho.
Je, umakini unaozingatia eneo husaidia kuzuia tatizo gani?
Kwa kuzingatia upangaji wa awali, umakini unaozingatia eneo hupunguza makosa kama vile maneno kurudiwa au kuachwa.
Je, Tacotron 2 inajuaje wakati wa kuacha kutoa matamshi?
Kisimbuaji kiotomatiki kinatabiri tokeni ya kusitisha, ikiruhusu kielelezo kushughulikia sentensi za urefu tofauti.
Ni mtindo gani wa usanifu wa jumla ambao sehemu ya maandishi-hadi-spectrogram hutumia?
Tacotron 2 hutumia muundo wa mfuatano wa kisimbaji-kwa-mfuatano kwa kuzingatia vibambo vya ramani kwa fremu za spectrogram.