Il prossimoProssima guida
Mascheramento tempo-frequenza per la separazione delle sorgenti
Tecnico
GUIDA AI audio
Conv-TasNet is a time-domain neural speech-separation model that learns an encoder and decoder around a mask-based separator.
Ascolta questa guidaNarrato dall'IA · ~2 min
Its paper reports strong two- and three-speaker results, including comparisons to ideal magnitude masks on two-speaker separation benchmarks.
Conv-TasNet is a single-channel, speaker-independent speech-separation model. It uses a learned linear encoder to map waveform segments into a representation optimized for separating speakers. A temporal convolutional network (TCN) predicts masks over that representation, and a learned decoder reconstructs separated waveforms. The paper reports strong results on two- and three-speaker mixtures, including comparisons to ideal magnitude masks in two-speaker separation evaluations. These results are specific to the paper’s tasks and metrics.
Separare due relatori sovrapposti in una riunione registrata in modo che ciascuno possa essere trascritto in modo pulito.
Miglioramento del parlato negli auricolari e negli apparecchi acustici che isolano l'interlocutore target dalle chiacchiere di sottofondo.
Pre-elaborazione dell'audio rumoroso del call center prima di inviarlo al riconoscimento vocale automatico.
Eliminazione dei dialoghi sovrapposti nei podcast o nella postproduzione di film.
Conv-TasNet ha seminato un'intera famiglia di modelli nel dominio del tempo. Successori come DPRNN, SepFormer e TF-GridNet hanno spinto la qualità della separazione molto più in alto, ma Conv-TasNet rimane una base solida e leggera ed è ancora distribuito sui dispositivi dove il calcolo è limitato. Aspettatevi che il suo design TCN compatto continui ad apparire negli apparecchi acustici, negli auricolari e nelle conferenze in tempo reale, spesso distillati o quantizzati per funzionare in pochi millisecondi su chip mobili.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Conv-TasNet is a time-domain neural speech-separation model that learns an encoder and decoder around a mask-based separator. Its paper reports strong two- and three-speaker results, including comparisons to ideal magnitude masks on two-speaker separation benchmarks.
Conv-TasNet sostituisce la pipeline STFT fissa con un codificatore/decodificatore appreso in modo da separare l'audio nel dominio del tempo sulla forma d'onda grezza.
Il separatore è un TCN costruito da convoluzioni 1D dilatate impilate, che forniscono un ampio campo ricettivo pur rimanendo parallelizzabile.
Invece di una STFT fissa, una convoluzione 1D appresa codifica i pezzi della forma d'onda in una rappresentazione ottimizzata per il mascheramento.
Conv-TasNet è addestrato con la perdita SI-SNR combinata con un addestramento invariante per permutazione per gestire l'ordine sconosciuto di parlanti separati.
The paper reports outperforming several ideal time-frequency magnitude masks for two-speaker separation using objective and subjective evaluation.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Mascheramento tempo-frequenza per la separazione delle sorgenti
Tecnico