StyleTTS 2 Itankale ara
StyleTTS 2 jẹ awoṣe ọrọ-si-ọrọ ti o tọju ‘ara’ ohun — prosody, imolara, ati timbre agbọrọsọ — gẹgẹbi oniyipada oniyipada ti a ṣe ayẹwo pẹlu awoṣe itankale, lẹhinna ṣajọpọ ohun pẹlu ikẹkọ ọta lodi si awoṣe ede ọrọ nla kan.
Akopọ
O ṣe pataki nitori pe o de ipele eniyan lori awọn itọkasi agbọrọsọ kan laisi iwulo agekuru itọkasi ni akoko inference.
Jin Dive
StyleTTS 2, ti a tu silẹ ni ọdun 2023 nipasẹ awọn oniwadi ni Ile-ẹkọ giga Columbia, n ṣe agbejade ọrọ nipa iṣapẹẹrẹ akọkọ 'fekito ara' wiwaba kan nipa lilo ilana itankale ti o ni ilodi si nikan lori ọrọ titẹ sii, lẹhinna yiyan ara yẹn pẹlu awọn foonu foonu sinu fọọmu igbi kan. Fekito ara n ṣakoso ohun gbogbo ti a ko kọ sinu ọrọ naa: oṣuwọn sisọ, contour intonation, awọn idaduro, ati awọ ẹdun. Ni pataki, o ṣafikun ikẹkọ ọta pẹlu awọn awoṣe ede-ọrọ ti a ti kọ tẹlẹ (WavLM) bi awọn alayatọ, titari abajade si ohun afetigbọ ti eniyan nitootọ. Lori ala-ilẹ LJSpeech o kọja awọn igbasilẹ eniyan ni awọn idiyele olutẹtisi, ati lori ọpọlọpọ agbọrọsọ LibriTTS ṣeto o baamu otitọ ilẹ - ami-iyọri kan fun didara TTS neural opin-si-opin.
Imọ-imọ-ẹrọ
Ẹtan bọtini jẹ itanka ara: dipo asọtẹlẹ ọkan prosody ti o wa titi, StyleTTS 2 awọn awoṣe ara bi pinpin iṣeeṣe ati awọn ayẹwo lati ọdọ rẹ nipasẹ awoṣe itọjade ti n ṣiṣẹ ni aaye wiwakọ kekere, nitorinaa gbolohun kanna le sọ ọpọlọpọ awọn ọna adayeba. Ipari-si-opin, asọtẹlẹ iye akoko, koodu koodu ara, oluyipada, ati iyasọtọ atako ti o da lori WavLM jẹ ikẹkọ ni apapọ, jẹ ki awọn gradients san lati didara igbi pada nipasẹ gbogbo opo gigun ti epo.
Ipa Ilana
Wiwọle ati arọwọto
O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
Iye owo ati isuna
Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
Iyara ati iwọn
Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ojo iwaju ti StyleTTS 2 Itankale ara
Reti itankale ara lati dapọ pẹlu didi ohun-shot odo nitori iṣẹju-aaya diẹ ti itọkasi ohun afetigbọ darí ara ti a ṣe ayẹwo, ati pẹlu awọn mimu idari ti o jẹ ki awọn olupilẹda tẹ itara, tcnu, tabi iyara ni gbangba. Awọn ẹya distilled fẹẹrẹfẹ ni ifọkansi lati ge iṣapẹẹrẹ itọka igbesẹ pupọ fun lilo akoko gidi lori awọn ẹrọ. Bi awọn awoṣe wọnyi ṣe de didara igbohunsafefe, isamisi omi ati ijẹrisi ifọkanbalẹ yoo di boṣewa lati koju ifọrọranṣẹ ati awọn ifiyesi ilokulo jinlẹ.
Real-World imuse
Ti o npese iwe ohun afetigbọ alaye ibi ti kanna agbọrọsọ nipa ti yatọ prosody kọja awọn ipin dipo kikeboosi monotone
Ṣiṣejade awọn ohun ihuwasi asọye fun awọn ere indie ati iwara laisi igbanisise awọn oṣere ohun pupọ
Awọn oluka iboju iraye si agbara ti o dun eniyan to fun gbigbọ fọọmu gigun
Ṣiṣẹda ohun e-eko agbegbe ti agbegbe pẹlu tcnu adayeba ati pacing lati ọrọ iwe afọwọkọ itele
Awọn ewu & Awọn ọna iṣọ
ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Ilana Ilana imuse
Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the StyleTTS 2 Style Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Riffusion Spectrogram Itankale
Awọn ibeere ti a beere nigbagbogbo
Kini StyleTTS 2 Style Diffusion?
StyleTTS 2 jẹ awoṣe ọrọ-si-ọrọ ti o tọju ‘ara’ ohun — prosody, imolara, ati timbre agbọrọsọ — gẹgẹbi oniyipada oniyipada ti a ṣe ayẹwo pẹlu awoṣe itankale, lẹhinna ṣajọpọ ohun pẹlu ikẹkọ ọta lodi si awoṣe ede ọrọ nla kan. O ṣe pataki nitori pe o de ipo adayeba ti ara eniyan lori awọn ami-ami agbọrọsọ ẹyọkan laisi nilo agekuru itọkasi ni akoko itọkasi.
Kini awoṣe StyleTTS 2 nipa lilo ilana itankale?
StyleTTS 2 ṣe apẹẹrẹ fekito ara onisẹpo kekere pẹlu awoṣe tan kaakiri, yiya prosody, imolara, ati awọn abuda agbọrọsọ ti a ko ṣe pato nipasẹ ọrọ naa.
Awoṣe ọrọ ti a ti kọkọ tẹlẹ wo ni a lo bi iyasoto ọta ni StyleTTS 2?
StyleTTS 2 nlo awọn awoṣe ede ọrọ nla gẹgẹbi WavLM gẹgẹbi awọn alayatọ ni ikẹkọ ọta lati Titari awọn abajade si ohun afetigbọ eniyan.
Kini idi ti StyleTTS 2 le sọ gbolohun kanna ni ọpọlọpọ awọn ọna adayeba?
Nitoripe a ṣe itọju ara bi oniyipada laileto ati ti a ṣe ayẹwo nipasẹ itankale, iran kọọkan le ṣe agbejade ti o yatọ ṣugbọn prosody adayeba fun ọrọ kanna.
Lori iru ala-igbohunsafẹfẹ ẹyọkan ni StyleTTS 2 ṣe royin pe o kọja awọn gbigbasilẹ eniyan ni awọn idiyele olutẹtisi?
Lori ipilẹ ala LJSpeech, StyleTTS 2 ṣaṣeyọri awọn idiyele adayeba ti olutẹtisi ti o kọja awọn gbigbasilẹ ilẹ-otitọ eniyan.
Kini ikẹkọ 'opin-si-opin' fun StyleTTS 2?
Ikẹkọ ipari-si-opin apapọ jẹ ki ipadanu lori didara ohun afetigbọ ipari ṣe imudojuiwọn asọtẹlẹ iye akoko, koodu koodu ara, ati iyipada papọ ju ni awọn ipele ti o ya sọtọ.