DalšíDalší průvodce
Kaldi sada nástrojů pro rozpoznávání řeči
Zvuková AI
Zvukový průvodce AI
Noise2Noise trénuje model obnovy z dvojic poškozených pozorování stejného podkladového signálu, aniž by vyžadoval čistý cíl.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Statistický argument závisí na vhodných předpokladech poškození; článek z roku 2018 demonstruje úkoly obnovy obrazu, zatímco stejný princip lze uvažovat pro řeč, když jsou k dispozici platné šumové páry.
Noise2Noise ukázal, že model může se naučit obnovu z poškozených vstupně-cílových párů místo čistých cílů. Pro objektiv sečtěného čtvercového chyby je optimální předpověď podmíněný průměr cíle vzhledem k vstupu. Pokud poškození cíle má nulový podmíněný průměr vzhledem k vstupu a sdílí stejný podkladový čistý signál, může tento průměr být roven čistému signálu. Tyto předpoklady jsou důležité: korelované nebo zkreslené poškození může zůstat v naučeném odhadu. Původní článek demonstroval odstranění fotografického šumu, syntetické Monte Carlo odšumování a rekonstrukci podvzorkovaného MRI; aplikace metody na řeč vyžaduje stejně párové šumové verze stejné výpovědi.
Trénování modelů obnovy z opakovaných šumových zachycení stejného zdroje, když čisté reference nejsou k dispozici
Studium zlepšování šumové řeči, když párová záznamy sdílejí stejný výpověď a mají vhodné nezávislé poškození
Učení se ze šumových fotografických, syntetických Monte Carlo nebo podvzorkovaných MRI příkladů, jak je uvedeno v článku
Porovnání tréninku s čistými cíli a tréninku s šumovými cíli při shodných předpokladech
Noise2Noise otevřela rodinu metod potlačení šumu s vlastním dohledem, včetně Noise2Void a Noise2Self, které ještě více uvolňují požadavky na učení z jednotlivých zašuměných vzorků. V případě řeči očekávejte, že tyto nápady posílí vylepšení na zařízení pro naslouchátka, hovory a terénní nahrávky, kde je shromažďování čistých referencí nepraktické. V kombinaci s generativními vokodéry mohou budoucí systémy nejen odečítat šum, ale věrohodně rekonstruovat maskovaný nebo zničený obsah řeči a přitom zůstat věrný mluvčímu.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Noise2Noise trénuje model obnovy z dvojic poškozených pozorování stejného podkladového signálu, aniž by vyžadoval čistý cíl. Statistický argument závisí na vhodných předpokladech poškození; článek z roku 2018 demonstruje úkoly obnovy obrazu, zatímco stejný princip lze uvažovat pro řeč, když jsou k dispozici platné šumové páry.
Noise2Noise ukázal, že můžete trénovat efektivní odšumovač pomocí pouze párů poškozených příkladů, bez čistých cílů.
Protože je šum cíle náhodný a nezávislý na vstupu, síť jej nemůže předvídat a místo toho konverguje k čisté očekávané hodnotě.
Očekávaná čtvercová chyba je minimalizována podmíněným průměrem; s vhodnými předpoklady párového poškození může odpovídat čistému signálu.
Cílový šum musí být nulový a statisticky nezávislý na vstupním šumu, takže se během tréninku zprůměruje.
Očekávaná absolutní chyba je minimalizována podmíněným mediánem; to neumožňuje čistou obnovu bez vhodných předpokladů poškození.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Kaldi sada nástrojů pro rozpoznávání řeči
Zvuková AI