Il prossimoProssima guida
Demucs Separazione delle fonti musicali
IA audio
GUIDA AI audio
La separazione del parlato è il compito di separare le singole voci da una registrazione in cui più persone parlano contemporaneamente.
Ascolta questa guidaNarrato dall'IA · ~2 min
It tackles the 'cocktail party problem' that humans solve effortlessly but machines find genuinely hard.
Durante una festa rumorosa, puoi concentrarti su una conversazione filtrando il resto, un'abilità che lo psicologo Colin Cherry chiamò il "problema del cocktail party" nel 1953. I computer hanno difficoltà perché le voci sovrapposte si fondono in un'unica forma d'onda e il sistema non sa in anticipo quanti altoparlanti esistono o quale suono appartiene a chi. Gli algoritmi di separazione del parlato prendono l'audio mixato e producono una traccia separata e pulita per ciascun oratore. I primi approcci utilizzavano metodi statistici e array di microfoni per sfruttare i segnali spaziali. La svolta è arrivata con modelli di deep learning come Deep Clustering e TasNet/Conv-TasNet, che imparano a mascherare o ricostruire ogni voce direttamente dalla forma d’onda, anche con un singolo microfono.
Gli strumenti di trascrizione delle riunioni separano gli oratori sovrapposti in modo che le parole di ogni persona vengano attribuite correttamente nelle note.
Gli apparecchi acustici avanzati isolano chi parla in un ristorante affollato per facilitare la conversazione a chi li indossa.
La produzione di musica e podcast utilizza la separazione per dividere la voce dagli strumenti o districare il crosstalk tra gli host.
Le pipeline di riconoscimento vocale pre-separano l'audio misto in modo che ogni voce possa essere trascritta accuratamente.
La separazione si sta spostando verso condizioni aperte e reali: numero sconosciuto e mutevole di altoparlanti, stanze riverberanti e audio in streaming continuo. L'estrazione del parlante target, in cui dai al modello un breve campione vocale per estrarre solo quella persona, sta aumentando rapidamente. I modelli audiovisivi combinati utilizzano i movimenti delle labbra per disambiguare le voci. Aspettatevi che queste funzionalità siano integrate negli apparecchi acustici, negli auricolari e nella trascrizione delle riunioni, consentendo ai dispositivi di mettere in risalto chi volete ascoltare.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La separazione del parlato è il compito di separare le singole voci da una registrazione in cui più persone parlano contemporaneamente. Affronta il "problema del cocktail party" che gli esseri umani risolvono senza sforzo ma che le macchine trovano davvero difficile.
Coniato da Colin Cherry nel 1953, descrive la sfida di prestare attenzione a un singolo oratore quando molte persone parlano contemporaneamente.
La separazione produce un flusso pulito per altoparlante, districando le voci sovrapposte nella miscela.
Conv-TasNet utilizza un codificatore appreso sull'audio grezzo anziché uno spettrogramma fisso, consentendo una separazione ad alta fedeltà e a bassa latenza.
Il modello prevede una maschera per parlante; applicandolo alla miscela mantiene il contenuto di chi parla e sopprime il resto.
Invece di separare tutti, fornisci un segnale vocale e il modello estrae solo l'oratore target.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Demucs Separazione delle fonti musicali
IA audio