Audio AI ÚTMUTATÓ

Permutációs invariáns képzés

A permutációs invariáns tréning (PIT) egy okos képzési trükk, amellyel a modell több hangot szétválaszt anélkül, hogy törődne vele, hogy az egyes hangok melyik kimeneti résbe kerülnek.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A permutációs invariáns képzés jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

It solved a stubborn labeling problem that had blocked progress in speech separation.

Mély merülés

Amikor egy hálózat két különálló hangot ad ki, nincs természetes szabály, hogy melyik kimenet legyen „hangszóró 1” vagy „2. hangszóró”. Ha az edzés mindig az A hangszórót várja az 1-es kimenetben, de a modell A-t helyez a 2-es kimenetre, akkor büntetést kap, bár az elválasztás tökéletes volt. Ez a „címkepermutációs probléma” miatt a modellek homályos, átlagolt kimeneteket produkáltak. A Dong Yu és munkatársai által 2017-ben bevezetett PIT úgy javítja ki, hogy minden lehetséges párosítást kipróbál a modell kimenetei és a valódi források között, mindegyiknél kiszámítja a hibát, és csak a legalacsonyabb hibás hozzárendelést tartja meg a modell frissítéséhez. Ezért a hálózatot a megrendeléstől függetlenül díjazzák a tiszta szétválasztásért, így végre működik a következetes több hangszórós képzés.

Valós megvalósítás

Neurális hálózatok betanítása két vagy több átfedő hangszóró elkülönítésére az értekezlet- és hívásfelvételekben.

A beszédfelismeréshez használt egymikrofonos elválasztórendszerek tápellátása.

Megszólítási szintű PIT engedélyezése, hogy minden hangszóró konzisztens kimeneti csatornához legyen hozzárendelve a beszélgetés során.

Tanítási célként szolgál a benchmark elválasztási modellekben, amelyeket olyan adatkészleteken értékeltek ki, mint a WSJ0-2mix.

A permutációs invariáns képzés jövője

A PIT továbbra is a szétválasztási kutatás gerince, de az újabb irányok csökkentik annak kombinatorikus költségeit és a rendezési kétértelműséget. Az olyan megközelítések, mint a rekurzív elválasztás, egyszerre csak egy hangszórót vonnak ki, és a célhangszóró módszerek teljes mértékben kikerülik a permutációt egy hangjelzésre való kondicionálással. A heurisztikus és grafikonon alapuló hozzárendelési sémák célja, hogy a PIT-t nagyobb, változó hangszórószámra skálázzák. A PIT-stílusú ötletek mindenhol megmaradnak, ahol egy modellnek rendezetlen kimeneti sorozatot kell produkálnia, még a hangon túl is.

A gyakorlatba ültetés

Miért számít

  • Hozzáférés és elérés. Javítja a hozzáférhetőséget az átírás, a narráció és a hangfelületek révén.
  • Költség és költségvetés. A médiacsapatok kisebb költségvetéssel gyorsabban szállíthatják a csiszolt hanganyagot.
  • Sebesség és méretarány. Az ügyfélközpontú rendszerek nagyobb léptékben képesek feldolgozni a beszélt interakciókat.

Vigyázz

  • A beleegyezés hiányában nő a hanggal való visszaélés és a megszemélyesítés kockázata.
  • A pontosság csökkenhet az akcentusok, dialektusok vagy zajos környezetben.
  • A szintetikus hang összetéveszthető a hiteles beszéddel egyértelmű címkézés nélkül.

Következő lépések

  1. Kérjen kifejezett hozzájárulást a hangrögzítéshez, klónozáshoz és újrafelhasználáshoz.
  2. Tesztelje a minőséget különféle hangszórókon és háttérviszonyok között.
  3. Határozza meg, mikor kell egy embernek felülvizsgálnia vagy jóváhagynia a kimeneteket.
  4. Címkézze fel a szintetikus hanganyagot, és vezessen származási nyilvántartást az elszámoltathatóság érdekében.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Permutation Invariant Training quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is Permutation Invariant Training?

A permutációs invariáns tréning (PIT) egy okos betanítási trükk, amellyel a modell több hangot szétválaszthat anélkül, hogy törődne vele, hogy az egyes hangok melyik kimeneti résbe kerülnek. Megoldott egy makacs címkézési problémát, amely akadályozta a beszédleválasztás folyamatát.

Milyen alapvető problémát old meg a permutációs invariáns képzés (PIT)?

A PIT a címkepermutáció problémáját oldja meg: nincs eredendő oka annak, hogy az 1. kimenetnek az A hangszórónak kell lennie, nem pedig a B hangszórónak.

Hogyan dönti el a PIT, hogy melyik hibát használja a modell frissítésekor?

A PIT minden lehetséges permutációra kiértékeli a veszteséget, és csak a minimális veszteségű hozzárendelést propagálja vissza.

Egy olyan megoldás nélkül, mint a PIT, mi történhetett az elválasztási modell kimeneteivel?

Az inkonzisztens címkézés egymásnak ellentmondó színátmeneteket küldött, és a modellt a beszélők átlagolt, elmosódott becslései felé tolja.

N hangszóró szétválasztásához hány permutációt kell a PIT-nek figyelembe vennie lépésenként?

Vannak N! N kimenet hozzárendelésének módja N forráshoz, ezért a PIT skálázása sok hangszóróhoz drága.

Milyen előnyökkel jár a megnyilatkozás szintű PIT (uPIT) a keretszintű hozzárendeléssel szemben?

Az uPIT egy permutációt rögzít a teljes megszólalásra, megakadályozva, hogy a hangszórók a mondat közepén csatornát cseréljenek.