LegközelebbKövetkező útmutató
Matryoshka reprezentációs beágyazások
Nyelvi AI
Audio AI ÚTMUTATÓ
Az audiobeágyazások a hangot kompakt numerikus vektorokká alakítják, amelyek jelentést rögzítenek, így a gépek összehasonlíthatják, kereshetik és osztályozhatják a hangot, ahogyan az emberek felismerik az ismerős hangot vagy dalt.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ezek a rejtett motorok a beszédfelismerés, a zeneajánlás és a hangkeresés mögött.
Az audiobeágyazás egy rögzített hosszúságú számlista (vektor), amely egy hangrészletet reprezentál oly módon, hogy a hasonló hangokat közel egymáshoz helyezi a matematikai térben. Ugyanazon szó két felvétele, vagy két, ugyanabban a műfajban szereplő dal akkor is közel kerül egymáshoz, ha a nyers hullámformájuk teljesen eltérő. A modellek úgy tanulják meg ezeket a beágyazásokat, hogy hatalmas mennyiségű hangon tanulnak, gyakran emberi címkék nélkül. Az önfelügyelt rendszerek, mint például a Wav2Vec 2.0, a HuBERT és a CLAP, a maszkolt vagy kontrasztos hangdarabok előrejelzésével tanulnak. A betanítás után ugyanazok a beágyazások újra felhasználhatók számos későbbi feladathoz (hangszóróazonosító, érzelem, zenei címkézés) nagyon kevés extra címkézett adattal, ezért olyan értékes a reprezentációs tanulás.
Az olyan zenei alkalmazások, mint a Spotify, beágyazásokat használnak, hogy olyan dalokat ajánljanak, amelyek „hasonlóan hangzanak” akár a különböző műfajok között is, és hang-ujjlenyomat-lenyomat készítésére is alkalmas.
A Shazam-stílusú alkalmazások a zajos felvételt a zeneszámhoz igazítják úgy, hogy a nyers hang helyett a beágyazott ujjlenyomatokat hasonlítják össze.
Az intelligens hangszórók és telefonok beágyazott hangszórókat (hanglenyomatokat) használnak a háztartás tagjainak megkülönböztetésére és a válaszok személyre szabására.
A telefonközpontok és az értekezlet-eszközök beágyazást használnak a felszólalók naplózásához, azonosítva, hogy ki mikor beszélt a felvételen.
Várható, hogy az audiobeágyazások egyre multimodálisabbakká váljanak, összeolvadva szöveggel és videóval, így egyetlen modell együtt érti a jelenet hangját, szavait és képét. Az olyan közös hangnyelvi terek, mint a CLAP, lehetővé teszik a természetes nyelvű hangkeresést ("keress egy ugató kutyát a forgalom közelében"). A kisebb, eszközbe ágyazott modellek privát, offline hangfunkciókat biztosítanak a telefonokon és fülhallgatókon, míg a gazdagabb, önfelügyelt előképzés folyamatosan csökkenti az új nyelvekhez és a ritka akusztikus eseményekhez szükséges címkézett adatok mennyiségét.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az audiobeágyazások a hangot kompakt numerikus vektorokká alakítják, amelyek jelentést rögzítenek, így a gépek összehasonlíthatják, kereshetik és osztályozhatják a hangot, ahogyan az emberek felismerik az ismerős hangot vagy dalt. Ezek a rejtett motorok a beszédfelismerés, a zeneajánlás és a hangkeresés mögött.
A beágyazás egy sűrű numerikus vektor, amely a hasonló hangzású klipeket közel egymáshoz helyezi a matematikai térben, és nem csak nyers mintákat ragad meg a jelentést.
Az önfelügyelt módszerek, mint például a Wav2Vec 2.0 és a HuBERT, hatalmas mennyiségű címkézetlen hangból tanulnak, így a downstream feladatokhoz sokkal kevesebb címkézett adatra van szükség.
A Wav2Vec 2.0 maszkolt, kontrasztos objektívet használ: elrejti a hangsávokat, és megtanulja azonosítani a megfelelő látens egységet a zavarókkal szemben.
A CLAP (Contrastive Language-Audio Pretraining) egy olyan közös teret tanul meg, ahol a hangklipek és a hozzájuk tartozó szöveges leírások szorosan egymás mellé kerülnek, lehetővé téve a szöveges hangkeresést.
A nyers hullámformák több millió mintát tartalmaznak, így a hangot általában spektrogramokká alakítják át, vagy tanult front-end szűrőkön haladnak át a fő hálózat előtt.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Matryoshka reprezentációs beágyazások
Nyelvi AI