LegközelebbKövetkező útmutató
Reláció kinyerése szövegből
Nyelvi AI
Audio AI ÚTMUTATÓ
A mesterséges intelligencia hangtervezése vadonatúj szintetikus hangot hoz létre egy írott leírásból, például "meleg, idősebb férfi narrátor enyhe reszelővel", ahelyett, hogy valós személyről készült felvételeket másolna.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ez különbözik a hangklónozástól, amely egy adott hangszórót reprodukál a hangmintából. Ez azért fontos, mert az alkotók sajátos hangokat kaphatnak a hangoskönyvekhez, játékokhoz és alkalmazásokhoz anélkül, hogy bárki személyazonosságát klónoznák, bár a megtervezett hangok továbbra is gondoskodást és nyilvánosságra hozatalt igényelnek.
A hangklónozás és a hangtervezés különböző problémákat old meg. A klónozás egy adott személy referenciahangját veszi alapul, és egy szöveg-beszéd modellt a hangszóró jellemzői alapján alakít ki, így a kimenet hozzájuk hasonlóan hangzik. A hangtervezés szavakból indul ki. A rendszer leképezi az életkor, a nemek bemutatása, a hangmagasság, az akcentus, a tempó, a textúra és a hangulat leírását egy olyan hangra, amely korábban nem létezett. A kemény rész az edzésadatok. Ahhoz, hogy megtudjuk, hogyan kapcsolódnak a leírások a hangokhoz, egy modellnek nagy mennyiségű beszédre van szüksége leírásokkal párosítva, és több ezer óra kézi címkézés drága. A Stability AI és az Edinburghi Egyetem 2024-es tanulmánya bemutatott egy megoldást. Automatikusan mérte az olyan attribútumokat, mint a hangmagasság, beszédsebesség, zaj és visszhang, kombinálta ezeket a hangszórócímkékkel, és egy nyelvi modellel természetes hangzású leírásokká alakította őket. A Hugging Face nyílt forráskódú Parler-TTS-e erre a megközelítésre épül. Az olyan kereskedelmi eszközök, mint a ElevenLabs Hangtervező funkciója több jelölt hangot generálnak egy promptból, és lehetővé teszik a felhasználók számára, hogy elmentsék a nekik tetszőt. Segít elválasztani a hangazonosságot (hangszín, hangmagasság, akcentus) a közvetítéstől (érzelem, tempó, hangsúly). Egyes rendszerek, mint például a OpenAI irányítható TTS modelljei, lehetővé teszik, hogy utasítsák, hogyan beszéljen egy előre beállított hang, ami megváltoztatja a továbbítást, de nem hoz létre új identitást. A hangtervezés magát az identitást hozza létre. A korlátok valósak. A leírások homályosak, mivel a „meleg” különböző emberek számára mást jelent. Ha ugyanabból a promptból kétszer generál, általában különböző hangokat ad. Az edzésadatokban ritkán előforduló hangsúlyok és életkorok kevésbé meggyőzően jelennek meg. Általános tévhit, hogy egy megtervezett hang nem hasonlíthat senkire. Véletlenül egy valós személyhez közel hangozhat, és sok szolgáltatás blokkolja a valódi személyeket megnevező felszólításokat. A megtervezett hangok elkerülik a legtöbb beleegyezési problémát a klónozással kapcsolatban, de még mindig számít annak feltárása, hogy a hang szintetikus.
Egy játékstúdió egy kavicsos, lassan beszélő, középkorú kovácsot kérve prototípust készít egy karakterről, majd a hangvázlatot felhasználja a játéktesztekben, mielőtt eldönti, hogy emberi színészt alakít-e.
Egy hangoskönyv-producer több előzetest generál a "harmincas éveiben járó nyugodt női narrátorból, semleges akcentussal, nem kapkodó tempóval", kiválaszt egyet, és elmenti, hogy minden fejezet ugyanazt a hangot használja.
Egy fejlesztő a nyílt forráskódú Parler-TTS modellt használja, amely egy olyan hangszórót ír le, aki gyorsan beszél egy csendes szobában, és szövegen keresztül szabályozza a hangot és a rögzítési feltételeket.
Az a személy, aki beszédgeneráló eszközt használ, és nem rendelkezik saját hangfelvétellel, az életkorának és a regionális akcentusának megfelelőt tervez ahelyett, hogy általános alapértelmezettet használna.
Finomabb szabályozásra számíthat, mint például a tervezett hang csúszkák mentén történő beállítása az életkor vagy a légszomj alapján, az alulreprezentált akcentusok és nyelvek jobb kezelése, valamint az identitás és a kifejezés szorosabb elkülönítése. Valószínűleg a biztonsági intézkedések is folyamatosan fejlődnek: szűrők, amelyek blokkolják a valós személyek megnevezését, hasonlóság-ellenőrzéseket az ismert hangokhoz, valamint a hang vízjelét vagy származási metaadatait. A pusztán valódi személyre hasonlító hangok jogi kezelése nem szabályozott, és joghatóságonként eltérő, ezért a professzionális felhasználóknak dokumentálniuk kell a hang létrehozásának módját.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A mesterséges intelligencia hangtervezése vadonatúj szintetikus hangot hoz létre egy írott leírásból, például "meleg, idősebb férfi narrátor enyhe reszelővel", ahelyett, hogy valós személyről készült felvételeket másolna. Ez különbözik a hangklónozástól, amely egy adott hangszórót reprodukál a hangmintából. Ez azért fontos, mert az alkotók sajátos hangokat kaphatnak a hangoskönyvekhez, játékokhoz és alkalmazásokhoz anélkül, hogy bárki személyazonosságát klónoznák, bár a megtervezett hangok továbbra is gondoskodást és nyilvánosságra hozatalt igényelnek.
Klónozási feltételek valós személy felvételein. A tervezés leképez egy írott leírást egy olyan hangra, amely korábban nem létezett.
Ahhoz, hogy megtanuljuk, hogyan kapcsolódnak a szavak a hangokhoz, sok beszéd-leírás párra van szükség, és ezek kézzel történő írása nem skálázódik.
A mért attribútumok automatikusan természetes nyelvű leírásokká lettek konvertálva, ami elkerülte a nagyarányú kézi címkézést.
A kormányzás érzelmei vagy tempója befolyásolja a szállítást. A hang azonossága, például hangszíne és hangmagassága változatlan marad.
Egy leírás sok lehetséges hanghoz illeszkedik, így rögzített mag vagy mentett beágyazás nélkül minden futtatás más mintát vesz.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Reláció kinyerése szövegből
Nyelvi AI