DalšíDalší průvodce
Vložení reprezentace Matryoshka
Jazyk AI
Zvukový průvodce AI
Vložení zvuku mění zvuk na kompaktní numerické vektory, které zachycují význam, takže stroje mohou porovnávat, vyhledávat a klasifikovat zvuk tak, jak lidé rozpoznávají známý hlas nebo píseň.
Poslechněte si tento návodAI-vyprávěný · ~2 min
They are the hidden engine behind speech recognition, music recommendation, and sound search.
Vložení zvuku je seznam čísel s pevnou délkou (vektor), který představuje zvukový klip způsobem, který umístí podobné zvuky blízko sebe v matematickém prostoru. Dvě nahrávky stejného slova nebo dvě písně stejného žánru skončí blízko sebe, i když jejich syrové průběhy vypadají úplně jinak. Modely se tato vložení učí tréninkem na obrovském množství zvuku, často bez lidských štítků. Samokontrolované systémy jako Wav2Vec 2.0, HuBERT a CLAP se učí předpovídáním maskovaných nebo kontrastních kusů zvuku. Po naučení lze stejná vložení znovu použít pro mnoho následných úkolů (ID mluvčího, emoce, značkování hudby) s velmi malým množstvím dalších označených dat, a proto je učení reprezentace tak cenné.
Hudební aplikace, jako je Spotify, používají vložení k doporučování skladeb, které „znějí podobně“, dokonce i napříč žánry, ak podpoře zvukových otisků prstů.
Aplikace ve stylu Shazam přiřazují hlučný záznam ke stopě porovnáním vložených otisků prstů namísto surového zvuku.
Chytré reproduktory a telefony používají vložení reproduktorů (hlasové otisky) k rozlišení členů domácnosti a přizpůsobení odpovědí.
Call centra a nástroje pro schůzky používají vložení pro diarizaci mluvčího, která identifikuje, kdo v nahrávce mluvil.
Očekávejte, že zvukové vložení bude stále více multimodální, sloučené s textem a videem, takže jeden model bude společně rozumět zvuku, slovům a obrazům scény. Společné prostory pro audio-jazyk, jako je CLAP, umožňují vyhledávání zvuků v přirozeném jazyce („najít psa štěkajícího v blízkosti provozu“). Menší modely pro zabudování do zařízení budou podporovat soukromé, offline hlasové funkce na telefonech a sluchátkách, zatímco bohatší předtrénink s vlastním dohledem neustále snižuje množství označených dat potřebných pro nové jazyky a vzácné akustické události.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Vložení zvuku mění zvuk na kompaktní numerické vektory, které zachycují význam, takže stroje mohou porovnávat, vyhledávat a klasifikovat zvuk tak, jak lidé rozpoznávají známý hlas nebo píseň. Jsou skrytým motorem rozpoznávání řeči, doporučení hudby a vyhledávání zvuku.
Vložení je hustý numerický vektor, který umisťuje podobně znějící klipy blízko sebe v matematickém prostoru a zachycuje význam spíše než jen surové vzorky.
Samokontrolované metody jako Wav2Vec 2.0 a HuBERT se učí z obrovského množství neoznačeného zvuku, takže následné úlohy potřebují mnohem méně označených dat.
Wav2Vec 2.0 používá maskovaný kontrastní objektiv: skrývá rozsahy zvuku a učí se identifikovat správnou latentní jednotku oproti rušičkám.
CLAP (Contrastive Language-Audio Pretraining) se učí společný prostor, kde zvukové klipy a jejich textové popisy přiléhají těsně vedle sebe, což umožňuje vyhledávání zvuku založené na textu.
Nezpracované průběhy mají miliony vzorků, takže zvuk se obvykle převádí na spektrogramy nebo prochází přes naučené front-end filtry před hlavní sítí.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Vložení reprezentace Matryoshka
Jazyk AI