Il prossimoProssima guida
Estrazione delle relazioni dal testo
Intelligenza artificiale linguistica
GUIDA AI audio
Il design vocale dell'intelligenza artificiale crea una nuova voce sintetica da una descrizione scritta, ad esempio "un narratore maschio anziano e caloroso con un leggero aspro", invece di copiare le registrazioni di una persona reale.
Ascolta questa guidaNarrato dall'IA · ~3 min
Si differenzia dalla clonazione vocale, che riproduce un altoparlante specifico dall'audio campione. È importante perché i creatori possono ottenere voci distintive per audiolibri, giochi e app senza clonare l'identità di nessuno, anche se le voci progettate necessitano comunque di cura e divulgazione.
La clonazione e la progettazione vocale risolvono diversi problemi. La clonazione prende l'audio di riferimento di una determinata persona e condiziona un modello di sintesi vocale sulle caratteristiche di quell'oratore, in modo che l'output suoni come loro. La progettazione della voce inizia dalle parole. Il sistema mappa una descrizione di età, presentazione di genere, tono, accento, ritmo, consistenza e umore su una voce che prima non esisteva. La parte difficile sono i dati di addestramento. Per apprendere come le descrizioni si collegano alle voci, un modello ha bisogno di grandi quantità di discorsi abbinati a descrizioni e l'etichettatura manuale di migliaia di ore è costosa. Un documento del 2024 di Stability AI e dell’Università di Edimburgo ha mostrato una soluzione alternativa. Ha misurato automaticamente attributi come tono, velocità di pronuncia, rumore e riverbero, li ha combinati con le etichette degli altoparlanti e ha fatto in modo che un modello linguistico li trasformasse in descrizioni dal suono naturale. Parler-TTS open source di Hugging Face si basa su questo approccio. Strumenti commerciali come la funzione Voice Design di ElevenLabs generano diverse voci candidate da un prompt e consentono agli utenti di salvare quella che preferiscono. Aiuta a separare l'identità della voce (timbro, estensione del tono, accento) dall'emissione (emozione, ritmo, enfasi). Alcuni sistemi, come i modelli TTS orientabili di OpenAI, consentono di istruire come dovrebbe parlare una voce preimpostata, il che cambia la consegna ma non crea una nuova identità. Il design vocale crea l'identità stessa. Le limitazioni sono reali. Le descrizioni sono vaghe, poiché "caldo" significa cose diverse per persone diverse. Generare due volte dallo stesso prompt solitamente produce voci diverse. Gli accenti e le età rari nei dati di addestramento vengono resi in modo meno convincente. Un malinteso comune è che una voce progettata non possa assomigliare a nessuno. Per caso può sembrare vicino a una persona reale e molti servizi bloccano i prompt che nominano persone reali. Le voci progettate evitano la maggior parte dei problemi di consenso legati alla clonazione, ma la divulgazione che l'audio è sintetico è ancora importante.
Uno studio di gioco prototipa un personaggio richiedendo un fabbro di mezza età roco e dalla lingua lenta, quindi utilizza la bozza della voce nei test di gioco prima di decidere se scegliere un attore umano.
Un produttore di audiolibri genera diverse anteprime da "una calma narratrice sulla trentina, accento neutro, ritmo senza fretta", ne sceglie una e la salva in modo che ogni capitolo utilizzi la stessa voce.
Uno sviluppatore utilizza il modello Parler-TTS open source con un prompt che descrive un oratore che parla velocemente in una stanza tranquilla, controllando sia la voce che le condizioni di registrazione tramite testo.
Una persona che utilizza un dispositivo per la generazione del parlato e non ha registrazioni della propria voce, ne progetta uno che corrisponda alla sua età e al suo accento regionale invece di utilizzare un valore predefinito generico.
Aspettatevi un controllo più preciso, come la regolazione di una voce progettata lungo i cursori per età o respiro affannoso, una migliore gestione degli accenti e delle lingue sottorappresentati e una separazione più stretta tra identità e consegna. Probabilmente continueranno a svilupparsi anche le misure di sicurezza: filtri che bloccano le richieste di nominare persone reali, controlli di somiglianza con voci conosciute e filigrana audio o metadati di provenienza. Il trattamento legale delle voci che somigliano semplicemente a una persona reale non è definito e differisce in base alla giurisdizione, quindi gli utenti professionali dovrebbero conservare la documentazione di come è stata creata una voce.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il design vocale dell'intelligenza artificiale crea una nuova voce sintetica da una descrizione scritta, ad esempio "un narratore maschio anziano e caloroso con un leggero aspro", invece di copiare le registrazioni di una persona reale. Si differenzia dalla clonazione vocale, che riproduce un altoparlante specifico dall'audio campione. È importante perché i creatori possono ottenere voci distintive per audiolibri, giochi e app senza clonare l'identità di nessuno, anche se le voci progettate necessitano comunque di cura e divulgazione.
Condizioni di clonazione su registrazioni di una persona reale. Il design associa una descrizione scritta a una voce che prima non esisteva.
Imparare come le parole si relazionano alle voci richiede molte coppie discorso-descrizione e scriverle a mano non è scalabile.
Gli attributi misurati sono stati convertiti automaticamente in descrizioni in linguaggio naturale, evitando così l'etichettatura manuale su larga scala.
L'emozione o il ritmo dello sterzo influiscono sulla consegna. L'identità della voce, come il timbro e l'estensione dell'altezza, rimangono le stesse.
Una descrizione si adatta a molte voci possibili, quindi senza un seme fisso o un incorporamento salvato, ogni esecuzione ne campiona uno diverso.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Estrazione delle relazioni dal testo
Intelligenza artificiale linguistica