LegközelebbKövetkező útmutató
Ismétlődő neurális hálózatok
Alapok
Alapok ÚTMUTATÓ
A kapuzott ismétlődő egység (GRU) egy egyszerűsített típusú ismétlődő neurális hálózati cella, amely két kaput használ annak eldöntésére, hogy milyen információkat tartson meg, és mit felejtsen el egy szekvencia beolvasása közben.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert szinte olyan jól rögzíti a hosszú távú mintákat szövegben, beszédben és idősorokban, mint az LSTM-ekben, miközben gyorsabb és egyszerűbb a betanítása.
A Cho és munkatársai által 2014-ben bevezetett GRU-t úgy tervezték, hogy megoldja az eltűnő gradiens problémát, amely a sima, visszatérő hálózatokat sújtja, amelyeknek sok időbeli lépésen keresztül nehéz megjegyezniük az információkat. Az LSTM-mel ellentétben, amely három kaput és külön cellaállapotot használ, a GRU csak két kaput és egyetlen rejtett állapotot használ. A frissítési kapu szabályozza, hogy az előző rejtett állapotból mennyit kell továbbvinni, illetve mennyi új információt kell hozzáadni. A visszaállító kapu eldönti, hogy mennyi múltbeli információt hagyjon figyelmen kívül egy új jelöltállapot kiszámításakor. A régi és új állapotok közvetlen keverésével egy tanult interpolációval a GRU lehetővé teszi a gradiensek áramlását hosszú sorozatokon. A kevesebb paraméter kevesebb memóriát, gyorsabb edzést és nagy teljesítményt jelent kisebb adatkészleteken.
Kompakt beszédfelismerő modellek tápellátása telefonokon és intelligens hangszórókon, ahol korlátozott a memória és az akkumulátor
Rövid távú villamosenergia-kereslet vagy részvényárak előrejelzése a múltbeli idősoros adatokból
Anomáliák észlelése az ipari gépekről érkező érzékelők leolvasásában a prediktív karbantartás érdekében
Szekvenciák kódolása a korai neurális gépi transzlációs rendszerekben, mielőtt a Transformers szabványossá vált
Bár ma már a Transformers uralja a nagyszabású nyelvi feladatokat, a GRU-k értékesek maradnak mindenütt, ahol a szekvenciális hatékonyság számít: az eszközön lévő beszédfelismerés, a beágyazott érzékelők, a valós idejű vezérlés és az alacsony késleltetésű streaming. A kutatók a kapuzási ötleteket is visszaforgatják újabb architektúrákba, és az állapottér-modellek, mint például a Mamba, újra felkeresik az ismétlődő stílusú szekvenciális feldolgozást hosszú kontextusokhoz. Arra számíthat, hogy a GRU-k könnyű, megbízható választások maradnak az erőforrás-korlátos és szélsőséges beállításokban, ahol a teljes figyelem túl költséges.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A kapuzott ismétlődő egység (GRU) egy egyszerűsített típusú ismétlődő neurális hálózati cella, amely két kaput használ annak eldöntésére, hogy milyen információkat tartson meg, és mit felejtsen el egy szekvencia beolvasása közben. Ez azért fontos, mert szinte olyan jól rögzíti a hosszú távú mintákat szövegben, beszédben és idősorokban, mint az LSTM-ekben, miközben gyorsabb és egyszerűbb a betanítása.
The guide says the update gate blends prior hidden state and new content.
The guide says the reset gate determines how much past state to ignore for the candidate.
The guide distinguishes the GRU’s single hidden state from the LSTM cell state.
The guide gives the update formula as a blend of the previous state and candidate; when z is near one, the previous state is mostly preserved.
The guide says gated state updates help address vanishing-gradient limitations of plain RNNs.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Ismétlődő neurális hálózatok
Alapok