LegközelebbKövetkező útmutató
Idő-frekvencia maszkolás a forrás elkülönítéséhez
Műszaki
Audio AI ÚTMUTATÓ
Conv-TasNet is a time-domain neural speech-separation model that learns an encoder and decoder around a mask-based separator.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Its paper reports strong two- and three-speaker results, including comparisons to ideal magnitude masks on two-speaker separation benchmarks.
Conv-TasNet is a single-channel, speaker-independent speech-separation model. It uses a learned linear encoder to map waveform segments into a representation optimized for separating speakers. A temporal convolutional network (TCN) predicts masks over that representation, and a learned decoder reconstructs separated waveforms. The paper reports strong results on two- and three-speaker mixtures, including comparisons to ideal magnitude masks in two-speaker separation evaluations. These results are specific to the paper’s tasks and metrics.
Két egymást átfedő beszélő elválasztása egy rögzített értekezletben, így mindegyik tisztán leírható.
Beszédjavító fülhallgatók és hallókészülékek, amelyek elszigetelik a célzott beszélőt a háttérben zajló csevegéstől.
A call center zajos hangjának előfeldolgozása az automatikus beszédfelismerésbe való betáplálás előtt.
Az egymást átfedő párbeszédek tisztítása podcastban vagy film utómunkában.
A Conv-TasNet az időtartomány-modellek egész családját hozta létre. Az olyan utódok, mint a DPRNN, a SepFormer és a TF-GridNet, az elválasztási minőséget sokkal magasabb szintre emelték, de a Conv-TasNet továbbra is erős, könnyű alapvonal marad, és továbbra is az eszközön kerül alkalmazásra, ahol a számítások szűkösek. Számítson rá, hogy kompakt TCN kialakítása továbbra is megjelenik a hallókészülékekben, fülhallgatókban és valós idejű konferenciákon, gyakran desztillálva vagy kvantálva, hogy ezredmásodperceken belül működjön mobil chipeken.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Conv-TasNet is a time-domain neural speech-separation model that learns an encoder and decoder around a mask-based separator. Its paper reports strong two- and three-speaker results, including comparisons to ideal magnitude masks on two-speaker separation benchmarks.
A Conv-TasNet lecseréli a rögzített STFT-csővezetéket egy betanult kódolóra/dekódolóra, így elkülöníti a hangot az időtartományban a nyers hullámformában.
Az elválasztó egy TCN, amely halmozott dilatált 1D konvolúciókból épül fel, és nagy befogadómezőt biztosít, miközben párhuzamosítható marad.
Rögzített STFT helyett egy betanult 1D konvolúció kódolja a hullámforma darabokat egy maszkolásra optimalizált reprezentációba.
A Conv-TasNet SI-SNR veszteséggel és permutáció-invariáns betanítással van betanítva, hogy kezelje a különálló hangszórók ismeretlen sorrendjét.
The paper reports outperforming several ideal time-frequency magnitude masks for two-speaker separation using objective and subjective evaluation.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Idő-frekvencia maszkolás a forrás elkülönítéséhez
Műszaki