LegközelebbKövetkező útmutató
Ismétlődő neurális hálózatok
Alapok
Műszaki ÚTMUTATÓ
A kétirányú visszatérő hálózat előre és visszafelé is olvas egy szekvenciát, így az egyes pozíciók reprezentációja a múlt és a jövő kontextusából merít.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért számít, mert a jelentés gyakran attól függ, hogy mi következik, nem csak attól, ami előtte volt.
A Schuster és Paliwal által 1997-ben javasolt kétirányú RNN két különálló ismétlődő réteget futtat ugyanazon a bemeneten: az egyik a sorozatot balról jobbra, a másik jobbról balra dolgozza fel. Rejtett állapotaik ezután – általában összefűzéssel – kombinálódnak, hogy minden egyes időlépésben olyan reprezentációt alkossanak, amely a teljes környező kontextust kódolja. Ez hatékony olyan feladatoknál, ahol a teljes bemenet egyszerre elérhető. Például, ha a bank szót pénzintézetnek vagy folyópartnak nevezzük, a modellnek előnyös, ha mindkét oldalon szavakat lát. A kétirányú LSTM-ek és GRU-k szabványossá váltak az elnevezett entitás-felismerés, a beszédrész-címkézés és a beszédfelismerés terén. A fő korlátozás az, hogy a hálózatnak szüksége van a teljes sorozatra a kimenetek előállítása előtt, így nem használható valós idejű, streaming vagy generatív balról jobbra előrejelzésre.
Elnevezett entitás felismerés, ahol a környező szavak mindkét oldalon segítik a tokent személyként, helyként vagy szervezetként besorolni
Beszédrészes címkézés, amely egyértelművé teszi az olyan szavakat, mint a „lead” megelőző és követő kontextus használatával
Akusztikus modellezés offline beszédfelismerésben, ahol a teljes megnyilatkozás elérhető
Fehérje vagy DNS szekvencia jelölés a bioinformatikában, ahol a motívumok a határoló maradékoktól függenek
A kétirányú kontextus tovább él a modern kódolókban: a BERT-stílusú transzformátorok ugyanazt a célt érik el maszkos figyelemmel, nem pedig ismétlődéssel, és sokkal jobban párhuzamosítanak. A kétirányú RNN-ek továbbra is relevánsak a könnyű csővezetékekben, a hang- és biojelfeldolgozásban, valamint olyan beállításokban, ahol a teljes sorozatok rövidek és címkézettek. Folyamatos használat várható speciális, késleltetéstűrő kódolási feladatokban, míg a figyelem alapú kétirányú kódolók uralják a nagyszabású nyelvértést.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A kétirányú visszatérő hálózat előre és visszafelé is olvas egy szekvenciát, így az egyes pozíciók reprezentációja a múlt és a jövő kontextusából merít. Ez azért számít, mert a jelentés gyakran attól függ, hogy mi következik, nem csak attól, ami előtte volt.
The guide describes two recurrent passes over the same input in opposite directions.
The guide gives contextual disambiguation as a benefit of bidirectional representations.
The guide says the directional states are typically concatenated before output.
The guide notes the full input must be available before outputs using future context can be produced.
Both passes provide context before and after the current position.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Ismétlődő neurális hálózatok
Alapok