LegközelebbKövetkező útmutató
AI képzés
Alapok
Audio AI ÚTMUTATÓ
A permutációs invariáns tréning (PIT) egy okos képzési trükk, amellyel a modell több hangot szétválaszt anélkül, hogy törődne vele, hogy az egyes hangok melyik kimeneti résbe kerülnek.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It solved a stubborn labeling problem that had blocked progress in speech separation.
Amikor egy hálózat két különálló hangot ad ki, nincs természetes szabály, hogy melyik kimenet legyen „hangszóró 1” vagy „2. hangszóró”. Ha az edzés mindig az A hangszórót várja az 1-es kimenetben, de a modell A-t helyez a 2-es kimenetre, akkor büntetést kap, bár az elválasztás tökéletes volt. Ez a „címkepermutációs probléma” miatt a modellek homályos, átlagolt kimeneteket produkáltak. A Dong Yu és munkatársai által 2017-ben bevezetett PIT úgy javítja ki, hogy minden lehetséges párosítást kipróbál a modell kimenetei és a valódi források között, mindegyiknél kiszámítja a hibát, és csak a legalacsonyabb hibás hozzárendelést tartja meg a modell frissítéséhez. Ezért a hálózatot a megrendeléstől függetlenül díjazzák a tiszta szétválasztásért, így végre működik a következetes több hangszórós képzés.
Neurális hálózatok betanítása két vagy több átfedő hangszóró elkülönítésére az értekezlet- és hívásfelvételekben.
A beszédfelismeréshez használt egymikrofonos elválasztórendszerek tápellátása.
Megszólítási szintű PIT engedélyezése, hogy minden hangszóró konzisztens kimeneti csatornához legyen hozzárendelve a beszélgetés során.
Tanítási célként szolgál a benchmark elválasztási modellekben, amelyeket olyan adatkészleteken értékeltek ki, mint a WSJ0-2mix.
A PIT továbbra is a szétválasztási kutatás gerince, de az újabb irányok csökkentik annak kombinatorikus költségeit és a rendezési kétértelműséget. Az olyan megközelítések, mint a rekurzív elválasztás, egyszerre csak egy hangszórót vonnak ki, és a célhangszóró módszerek teljes mértékben kikerülik a permutációt egy hangjelzésre való kondicionálással. A heurisztikus és grafikonon alapuló hozzárendelési sémák célja, hogy a PIT-t nagyobb, változó hangszórószámra skálázzák. A PIT-stílusú ötletek mindenhol megmaradnak, ahol egy modellnek rendezetlen kimeneti sorozatot kell produkálnia, még a hangon túl is.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A permutációs invariáns tréning (PIT) egy okos betanítási trükk, amellyel a modell több hangot szétválaszthat anélkül, hogy törődne vele, hogy az egyes hangok melyik kimeneti résbe kerülnek. Megoldott egy makacs címkézési problémát, amely akadályozta a beszédleválasztás folyamatát.
A PIT a címkepermutáció problémáját oldja meg: nincs eredendő oka annak, hogy az 1. kimenetnek az A hangszórónak kell lennie, nem pedig a B hangszórónak.
A PIT minden lehetséges permutációra kiértékeli a veszteséget, és csak a minimális veszteségű hozzárendelést propagálja vissza.
Az inkonzisztens címkézés egymásnak ellentmondó színátmeneteket küldött, és a modellt a beszélők átlagolt, elmosódott becslései felé tolja.
Vannak N! N kimenet hozzárendelésének módja N forráshoz, ezért a PIT skálázása sok hangszóróhoz drága.
Az uPIT egy permutációt rögzít a teljes megszólalásra, megakadályozva, hogy a hangszórók a mondat közepén csatornát cseréljenek.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
AI képzés
Alapok