Audio AI ÚTMUTATÓ

AI hangtervezés szöveges leírásokból

A mesterséges intelligencia hangtervezése vadonatúj szintetikus hangot hoz létre egy írott leírásból, például "meleg, idősebb férfi narrátor enyhe reszelővel", ahelyett, hogy valós személyről készült felvételeket másolna.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az AI hangtervezés jövője a szöveges leírásokból
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez különbözik a hangklónozástól, amely egy adott hangszórót reprodukál a hangmintából. Ez azért fontos, mert az alkotók sajátos hangokat kaphatnak a hangoskönyvekhez, játékokhoz és alkalmazásokhoz anélkül, hogy bárki személyazonosságát klónoznák, bár a megtervezett hangok továbbra is gondoskodást és nyilvánosságra hozatalt igényelnek.

Mély merülés

A hangklónozás és a hangtervezés különböző problémákat old meg. A klónozás egy adott személy referenciahangját veszi alapul, és egy szöveg-beszéd modellt a hangszóró jellemzői alapján alakít ki, így a kimenet hozzájuk hasonlóan hangzik. A hangtervezés szavakból indul ki. A rendszer leképezi az életkor, a nemek bemutatása, a hangmagasság, az akcentus, a tempó, a textúra és a hangulat leírását egy olyan hangra, amely korábban nem létezett. A kemény rész az edzésadatok. Ahhoz, hogy megtudjuk, hogyan kapcsolódnak a leírások a hangokhoz, egy modellnek nagy mennyiségű beszédre van szüksége leírásokkal párosítva, és több ezer óra kézi címkézés drága. A Stability AI és az Edinburghi Egyetem 2024-es tanulmánya bemutatott egy megoldást. Automatikusan mérte az olyan attribútumokat, mint a hangmagasság, beszédsebesség, zaj és visszhang, kombinálta ezeket a hangszórócímkékkel, és egy nyelvi modellel természetes hangzású leírásokká alakította őket. A Hugging Face nyílt forráskódú Parler-TTS-e erre a megközelítésre épül. Az olyan kereskedelmi eszközök, mint a ElevenLabs Hangtervező funkciója több jelölt hangot generálnak egy promptból, és lehetővé teszik a felhasználók számára, hogy elmentsék a nekik tetszőt. Segít elválasztani a hangazonosságot (hangszín, hangmagasság, akcentus) a közvetítéstől (érzelem, tempó, hangsúly). Egyes rendszerek, mint például a OpenAI irányítható TTS modelljei, lehetővé teszik, hogy utasítsák, hogyan beszéljen egy előre beállított hang, ami megváltoztatja a továbbítást, de nem hoz létre új identitást. A hangtervezés magát az identitást hozza létre. A korlátok valósak. A leírások homályosak, mivel a „meleg” különböző emberek számára mást jelent. Ha ugyanabból a promptból kétszer generál, általában különböző hangokat ad. Az edzésadatokban ritkán előforduló hangsúlyok és életkorok kevésbé meggyőzően jelennek meg. Általános tévhit, hogy egy megtervezett hang nem hasonlíthat senkire. Véletlenül egy valós személyhez közel hangozhat, és sok szolgáltatás blokkolja a valódi személyeket megnevező felszólításokat. A megtervezett hangok elkerülik a legtöbb beleegyezési problémát a klónozással kapcsolatban, de még mindig számít annak feltárása, hogy a hang szintetikus.

Valós megvalósítás

Egy játékstúdió egy kavicsos, lassan beszélő, középkorú kovácsot kérve prototípust készít egy karakterről, majd a hangvázlatot felhasználja a játéktesztekben, mielőtt eldönti, hogy emberi színészt alakít-e.

Egy hangoskönyv-producer több előzetest generál a "harmincas éveiben járó nyugodt női narrátorból, semleges akcentussal, nem kapkodó tempóval", kiválaszt egyet, és elmenti, hogy minden fejezet ugyanazt a hangot használja.

Egy fejlesztő a nyílt forráskódú Parler-TTS modellt használja, amely egy olyan hangszórót ír le, aki gyorsan beszél egy csendes szobában, és szövegen keresztül szabályozza a hangot és a rögzítési feltételeket.

Az a személy, aki beszédgeneráló eszközt használ, és nem rendelkezik saját hangfelvétellel, az életkorának és a regionális akcentusának megfelelőt tervez ahelyett, hogy általános alapértelmezettet használna.

Az AI hangtervezés jövője a szöveges leírásokból

Finomabb szabályozásra számíthat, mint például a tervezett hang csúszkák mentén történő beállítása az életkor vagy a légszomj alapján, az alulreprezentált akcentusok és nyelvek jobb kezelése, valamint az identitás és a kifejezés szorosabb elkülönítése. Valószínűleg a biztonsági intézkedések is folyamatosan fejlődnek: szűrők, amelyek blokkolják a valós személyek megnevezését, hasonlóság-ellenőrzéseket az ismert hangokhoz, valamint a hang vízjelét vagy származási metaadatait. A pusztán valódi személyre hasonlító hangok jogi kezelése nem szabályozott, és joghatóságonként eltérő, ezért a professzionális felhasználóknak dokumentálniuk kell a hang létrehozásának módját.

A gyakorlatba ültetés

Miért számít

  • Hozzáférés és elérés. Javítja a hozzáférhetőséget az átírás, a narráció és a hangfelületek révén.
  • Költség és költségvetés. A médiacsapatok kisebb költségvetéssel gyorsabban szállíthatják a csiszolt hanganyagot.
  • Sebesség és méretarány. Az ügyfélközpontú rendszerek nagyobb léptékben képesek feldolgozni a beszélt interakciókat.

Vigyázz

  • A beleegyezés hiányában nő a hanggal való visszaélés és a megszemélyesítés kockázata.
  • A pontosság csökkenhet az akcentusok, dialektusok vagy zajos környezetben.
  • A szintetikus hang összetéveszthető a hiteles beszéddel egyértelmű címkézés nélkül.

Következő lépések

  1. Kérjen kifejezett hozzájárulást a hangrögzítéshez, klónozáshoz és újrafelhasználáshoz.
  2. Tesztelje a minőséget különféle hangszórókon és háttérviszonyok között.
  3. Határozza meg, mikor kell egy embernek felülvizsgálnia vagy jóváhagynia a kimeneteket.
  4. Címkézze fel a szintetikus hanganyagot, és vezessen származási nyilvántartást az elszámoltathatóság érdekében.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the AI Voice Design from Text Descriptions quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az AI hangtervezés a szöveges leírásokból?

A mesterséges intelligencia hangtervezése vadonatúj szintetikus hangot hoz létre egy írott leírásból, például "meleg, idősebb férfi narrátor enyhe reszelővel", ahelyett, hogy valós személyről készült felvételeket másolna. Ez különbözik a hangklónozástól, amely egy adott hangszórót reprodukál a hangmintából. Ez azért fontos, mert az alkotók sajátos hangokat kaphatnak a hangoskönyvekhez, játékokhoz és alkalmazásokhoz anélkül, hogy bárki személyazonosságát klónoznák, bár a megtervezett hangok továbbra is gondoskodást és nyilvánosságra hozatalt igényelnek.

Mi az alapvető különbség a hangtervezés és a hangklónozás között?

Klónozási feltételek valós személy felvételein. A tervezés leképez egy írott leírást egy olyan hangra, amely korábban nem létezett.

Miért jelentenek nagy kihívást a betanítási adatok a hangtervezési modellek számára?

Ahhoz, hogy megtanuljuk, hogyan kapcsolódnak a szavak a hangokhoz, sok beszéd-leírás párra van szükség, és ezek kézzel történő írása nem skálázódik.

Hogyan hozott létre nagyszabású leírásokat a 2024-es Stability AI és az Edinburgh-i megközelítés?

A mért attribútumok automatikusan természetes nyelvű leírásokká lettek konvertálva, ami elkerülte a nagyarányú kézi címkézést.

Főleg mit változtat az az utasítás, amely azt mondja, hogy egy előre beállított hang izgatottabbnak tűnjön?

A kormányzás érzelmei vagy tempója befolyásolja a szállítást. A hang azonossága, például hangszíne és hangmagassága változatlan marad.

Miért tud két, azonos leírásból származó nemzedék különböző hangokat produkálni?

Egy leírás sok lehetséges hanghoz illeszkedik, így rögzített mag vagy mentett beágyazás nélkül minden futtatás más mintát vesz.