DalšíDalší průvodce
Časově-frekvenční maskování pro oddělení zdroje
Technický
Zvukový průvodce AI
Conv-TasNet is a time-domain neural speech-separation model that learns an encoder and decoder around a mask-based separator.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Its paper reports strong two- and three-speaker results, including comparisons to ideal magnitude masks on two-speaker separation benchmarks.
Conv-TasNet is a single-channel, speaker-independent speech-separation model. It uses a learned linear encoder to map waveform segments into a representation optimized for separating speakers. A temporal convolutional network (TCN) predicts masks over that representation, and a learned decoder reconstructs separated waveforms. The paper reports strong results on two- and three-speaker mixtures, including comparisons to ideal magnitude masks in two-speaker separation evaluations. These results are specific to the paper’s tasks and metrics.
Oddělení dvou překrývajících se řečníků v nahrané schůzce, aby každý mohl být čistě přepsán.
Vylepšení řeči ve sluchátkách a naslouchátkách, které izolují cílového mluvčího od chvění na pozadí.
Předzpracování hlučného zvuku call-centra před jeho předáním do automatického rozpoznávání řeči.
Vyčištění překrývajících se dialogů v podcastu nebo filmové postprodukci.
Conv-TasNet nasadil celou rodinu modelů časové domény. Nástupci jako DPRNN, SepFormer a TF-GridNet posunuli kvalitu separace mnohem výše, ale Conv-TasNet zůstává silnou a lehkou základní linií a je stále nasazován na zařízení, kde je výpočet omezen. Očekávejte, že jeho kompaktní design TCN se bude i nadále objevovat ve sluchadlech, sluchátkách a konferencích v reálném čase, často destilovaný nebo kvantovaný, aby běžel během milisekund na mobilních čipech.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Conv-TasNet is a time-domain neural speech-separation model that learns an encoder and decoder around a mask-based separator. Its paper reports strong two- and three-speaker results, including comparisons to ideal magnitude masks on two-speaker separation benchmarks.
Conv-TasNet nahrazuje pevné potrubí STFT naučeným kodérem/dekodérem, takže odděluje zvuk v časové doméně na nezpracovaném tvaru vlny.
Separátor je TCN vytvořený z naskládaných dilatovaných 1D konvolucí, které poskytují velké receptivní pole a přitom zůstávají paralelizovatelné.
Namísto pevného STFT kóduje naučená 1D konvoluce kousky tvaru vlny do reprezentace optimalizované pro maskování.
Conv-TasNet je trénován se ztrátou SI-SNR v kombinaci s permutačně-invariantním školením, aby zvládl neznámé uspořádání oddělených reproduktorů.
The paper reports outperforming several ideal time-frequency magnitude masks for two-speaker separation using objective and subjective evaluation.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Časově-frekvenční maskování pro oddělení zdroje
Technický