LegközelebbKövetkező útmutató
Demucs zenei forrás elkülönítése
Hangalapú AI
Audio AI ÚTMUTATÓ
A beszéd szétválasztása az a feladat, hogy az egyes hangokat különítse el egy olyan felvételről, ahol többen beszélnek egyszerre.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It tackles the 'cocktail party problem' that humans solve effortlessly but machines find genuinely hard.
Egy zajos bulin egyetlen beszélgetésre koncentrálhat, miközben kiszűri a többit – ezt a képességet Colin Cherry pszichológus „koktélparti problémának” nevezte 1953-ban. A számítógépek küszködnek, mert az egymást átfedő hangok egyetlen hullámformába keverednek, és a rendszer nem tudja előre, hány hangszóró létezik, és melyik hang kihez tartozik. A beszédszétválasztó algoritmusok veszik ezt a kevert hangot, és külön, tiszta sávot adnak ki minden egyes hangszóróhoz. A korai megközelítések statisztikai módszereket és mikrofontömböket használtak a térbeli jelzések kihasználására. Az áttörést olyan mély tanulási modellek hozta meg, mint például a Deep Clustering és a TasNet/Conv-TasNet, amelyek megtanulják az egyes hangok elfedését vagy rekonstrukcióját közvetlenül a hullámformából, akár egyetlen mikrofonnal is.
Az értekezlet-átíró eszközök elválasztják az egymást átfedő beszélőket, így minden egyes személy szavai helyesen vannak hozzárendelve a jegyzetekben.
A fejlett hallókészülékek elkülönítik az egyik beszélgetőt egy zsúfolt étteremben, hogy megkönnyítsék a beszélgetést a viselője számára.
A zenei és podcast-előállítás során elválasztják az éneket a hangszerektől, vagy feloldják a házigazdák közötti áthallást.
A beszédfelismerő csővezetékek előre elkülönítik a kevert hangot, így minden hang pontosan átírható.
A szétválás a nyitott, valós körülmények felé halad: ismeretlen és változó számú hangszóró, visszhangzó helyiségek és folyamatos streamelés. Gyorsan növekszik a célhangszóró-kivonás, amikor egy rövid hangmintát ad a modellnek, hogy csak azt a személyt vonja ki. A kombinált audiovizuális modellek ajakmozgásokat használnak a hangok egyértelművé tételére. Számíthat ezekre a hallókészülékekbe, fülhallgatókba és a megbeszélések átírásába ágyazott képességekre, amelyek lehetővé teszik, hogy az eszközök rávilágítsanak arra, akit hallani szeretnének.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A beszéd szétválasztása az a feladat, hogy az egyes hangokat különítse el egy olyan felvételről, ahol többen beszélnek egyszerre. Megoldja a „koktélparti problémát”, amelyet az emberek könnyedén megoldanak, de a gépek valóban nehéznek találják.
Colin Cherry alkotta meg 1953-ban, és azt a kihívást írja le, hogy egyetlen beszélőre kell figyelni, amikor sok ember beszél egyszerre.
Az elválasztás hangsugárzónként egy tiszta adatfolyamot eredményez, feloldva az átfedő hangokat a keverékben.
A Conv-TasNet egy tanult kódolót használ a nyers hanghoz, nem pedig egy rögzített spektrogramot, lehetővé téve a nagy pontosságú, alacsony késleltetésű elválasztást.
A modell hangszórónként egy maszkot jósol; a keverékre alkalmazva megtartja a beszélő tartalmát, és elnyomja a többit.
Ahelyett, hogy mindenkit szétválasztana, hangjelzést ad, és a modell csak azt a célhangszórót bontja ki.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Demucs zenei forrás elkülönítése
Hangalapú AI