DalšíDalší průvodce
Demucs Oddělení hudebních zdrojů
Zvuková AI
Zvukový průvodce AI
Oddělení řeči je úkolem oddělit jednotlivé hlasy od nahrávky, kde mluví několik lidí najednou.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It tackles the 'cocktail party problem' that humans solve effortlessly but machines find genuinely hard.
Na hlučném večírku se můžete soustředit na jednu konverzaci, zatímco zbytek odfiltrujete, což je schopnost, kterou psycholog Colin Cherry v roce 1953 pojmenoval ‚problém koktejlové párty‘. Počítače bojují, protože překrývající se hlasy se mísí do jediného tvaru vlny a systém předem neví, kolik reproduktorů existuje nebo který zvuk komu patří. Algoritmy separace řeči převezmou tento smíšený zvuk a vydají samostatnou, čistou stopu pro každý reproduktor. Dřívější přístupy využívaly k využití prostorových podnětů statistické metody a mikrofonní pole. Průlom přišel s modely hlubokého učení, jako je Deep Clustering a TasNet/Conv-TasNet, které se učí maskovat nebo rekonstruovat každý hlas přímo z průběhu, a to i s jediným mikrofonem.
Nástroje pro přepis setkání oddělují překrývající se reproduktory, takže slova každé osoby jsou v poznámkách správně přiřazena.
Pokročilá sluchadla izolují jednoho mluvčího v přeplněné restauraci a usnadňují uživateli konverzaci.
Produkce hudby a podcastů využívá oddělení k oddělení vokálů od nástrojů nebo k odstranění přeslechů mezi hostiteli.
Potrubí pro rozpoznávání řeči předem odděluje smíšený zvuk, takže každý hlas lze přesně přepsat.
Separace se posouvá směrem k otevřeným podmínkám reálného světa: neznámý a měnící se počet reproduktorů, dozvukové místnosti a nepřetržité streamování zvuku. Extrakce cílového reproduktoru, kdy dáte modelu krátký hlasový vzorek, abyste vytáhli právě tuto osobu, rychle stoupá. Kombinované audio-vizuální modely používají pohyby rtů k odlišení hlasů. Očekávejte tyto funkce zabudované do naslouchátek, špuntů a přepisu schůzek, díky nimž zařízení zaměří pozornost na toho, koho chcete slyšet.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Oddělení řeči je úkolem oddělit jednotlivé hlasy od nahrávky, kde mluví několik lidí najednou. Řeší „problém koktejlových večírků“, který lidé řeší bez námahy, ale stroje to považují za skutečně těžké.
Vytvořil ji Colin Cherry v roce 1953 a popisuje, jak náročné je věnovat se jednomu řečníkovi, když mluví mnoho lidí najednou.
Separace vytváří jeden čistý proud na reproduktor, čímž se rozpletou překrývající se hlasy ve směsi.
Conv-TasNet používá naučený kodér pro nezpracovaný zvuk spíše než pevný spektrogram, což umožňuje vysoce věrné oddělení s nízkou latencí.
Model předpovídá masku na reproduktor; jeho použití na směs zachová obsah řečníka a potlačí zbytek.
Místo toho, abyste oddělili všechny, poskytnete hlasový signál a model extrahuje pouze cílový reproduktor.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Demucs Oddělení hudebních zdrojů
Zvuková AI