Návrh hlasu AI z textových popisů

Klonování hlasu a návrh hlasu řeší různé problémy. Klonování bere referenční zvuk konkrétní osoby a přizpůsobuje model převodu textu na řeč charakteristikám tohoto reproduktoru, takže výstup zní jako oni. Návrh hlasu začíná slovy. Systém mapuje popis věku, genderové prezentace, výšky, přízvuku, tempa, textury a nálady k hlasu, který dříve neexistoval. Nejtěžší část jsou tréninková data. Chcete-li zjistit, jak popisy souvisí s hlasy, model potřebuje velké množství řeči spárované s popisy a ruční označování tisíců hodin je drahé. Dokument z roku 2024 od Stability AI a University of Edinburgh ukázal řešení. Automaticky měřila atributy, jako je výška tónu, rychlost řeči, hluk a dozvuk, kombinovala je s popisky reproduktorů a jazykový model je přeměnil na přirozeně znějící popisy. Open source Parler-TTS Hugging Face je postaven na tomto přístupu. Komerční nástroje, jako je funkce Voice Design ElevenLabs generují několik kandidátských hlasů z výzvy a umožňují uživatelům uložit ten, který se jim líbí. Pomáhá oddělit hlasovou identitu (zabarvení, rozsah tónů, přízvuk) od přednesu (emoce, tempo, důraz). Některé systémy, jako jsou řiditelné modely TTS OpenAI, vám umožňují dávat pokyny, jak má mluvit přednastavený hlas, což mění předávání, ale nevytváří novou identitu. Hlasový design vytváří identitu sám. Omezení jsou skutečná. Popisy jsou vágní, protože „teplý“ znamená pro různé lidi různé věci. Generování dvakrát ze stejné výzvy obvykle dává různé hlasy. Akcenty a věk, které jsou v trénovacích datech vzácné, jsou vykresleny méně přesvědčivě. Obvyklá mylná představa je, že navržený hlas nemůže nikomu připomínat. Náhodou to může znít blízko skutečné osobě a mnoho služeb blokuje výzvy, které pojmenovávají skutečné lidi. Navržené hlasy se vyhýbají většině problémů se souhlasem při klonování, ale na odhalení, že zvuk je syntetický, stále záleží.