Hosszú távú, rövid távú memóriasejtek
A hosszú rövid távú memória (LSTM) cellák egy speciális típusú ismétlődő neurális hálózati egységek, amelyek arra épülnek, hogy hosszú sorozatokon keresztül emlékezzenek az információkra.
Áttekintés
A hosszú rövid távú memória (LSTM) cellák egy speciális típusú ismétlődő neurális hálózati egységek, amelyek arra épülnek, hogy hosszú sorozatokon keresztül emlékezzenek az információkra. Megoldották az eltűnő gradiens problémát, amely megbénította a korábbi RNN-eket, és egy évtizednyi áttörést eredményezett a nyelv, a beszéd és a fordítás terén.
A Long Short-Term Memory Cells az alapvető mesterséges intelligencia eszközkészletben található. Ha megérti, más AI témák könnyebben értékelhetők és összehasonlíthatók.
Mély merülés
A Sepp Hochreiter és Jurgen Schmidhuber által 1997-ben bevezetett LSTM cella „sejtállapotot” tart fenn, amely úgy működik, mint a szekvencián áthaladó memória futószalag. Három betanított kapu vezérli: a felejtési kapu eldönti, hogy mit töröljön, a bemeneti kapu eldönti, hogy milyen új információt tároljon, a kimeneti kapu pedig azt, hogy mit tegyen ki a cella kimeneteként. Mindegyik kapu egy szigmoidot használ (0-tól 1-ig), hogy lágy kapcsolóként működjön. Mivel a cellaállapotot többnyire összeadással frissítik, nem pedig ismételt szorzással, a gradiensek sok időlépésen keresztül visszafelé áramolhatnak anélkül, hogy nullára zsugorodnának, így az LSTM-ek több száz lépésnyi különbséggel tanulhatják meg a függőségeket. A Transformers előtt az LSTM-ek a Google fordítást, a beszédfelismerést és a szöveggenerálást támogatták.
Technikai betekintés
Az eltűnő gradiens javítás a cellaállapot közel lineáris frissítéséből származik: c_t = f_t * c_{t-1} + i_t * g_t. Az f_t felejtési kapu (szigmoid) az 1 közelében maradhat, és egy „állandó hibakarusszelt” hoz létre, így a hibajelek túlélik a visszaszaporodást a hosszú szakaszokon keresztül. A kapuk önmagukban kis idegi rétegek (szigmoid a kapuzáshoz, tanh a jelölt értékekhez), mindegyiket együtt képezik a gradiens süllyedés. Ez a kapuzás lehetővé teszi a hálózat számára, hogy megtanulja, mit tartson meg és mit dobjon el.
A hosszú távú rövid távú memóriasejtek elsajátítása
A mély megértés érdekében kezelje a hosszú távú rövid távú memóriacellákat működési modellként, nem pedig egyetlen funkcióként. Határozza meg a kívánt eredményeket, tisztázza a feltételezéseket, és válassza szét azt, amit a rendszer megbízhatóan képes elvégezni, attól, ami még szakértői megítélést igényel.
A gyakorlatban a hosszú rövid távú memóriacellákat használó erős csapatok először erős koncepcionális modelleket készítenek, majd leképezik ezeket a modelleket a valós termelési korlátokhoz. Dokumentálják az explicit sikerkritériumokat, tesztelik a valósághű adatokat és munkafolyamatokat, és a megfigyelt hibaminták alapján iterálnak, nem pedig egyszeri benchmark győzelmek alapján. Ez az a hely, ahol az elméleti megértés tartós képességgé válik a termék, a politika és a műveletek között.
Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől. Ugyanakkor a különböző csapatok eltérően használhatják ugyanazt a kifejezést, ezért korán határozza meg a hatókört. A legrugalmasabb megközelítés a kísérleti sebesség és az irányítási fegyelem kombinálása: kísérleti kísérletek futtatása, bizonyítékok rögzítése, döntési naplók közzététele és a biztosítékok folyamatos frissítése a modell viselkedésének, a felhasználói elvárásoknak és a szabályozási követelményeknek megfelelően.
Stratégiai hatás
Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől.
Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől. A kiváló minőségű telepítéseknél ez mérhető működési szabályokká, tulajdonosi határokká és ismétlődő felülvizsgálati rituálékká alakul át, így a csapatok növelhetik a bizalmat a kétértelműség skálázása helyett.
Feltehet jobb végrehajtási kérdéseket, mielőtt pénzt vagy időt költene.
Feltehet jobb végrehajtási kérdéseket, mielőtt pénzt vagy időt költene. A kiváló minőségű telepítéseknél ez mérhető működési szabályokká, tulajdonosi határokká és ismétlődő felülvizsgálati rituálékká alakul át, így a csapatok növelhetik a bizalmat a kétértelműség skálázása helyett.
A közös tudással rendelkező csapatok jobb döntéseket hoznak a termékekkel, irányelvekkel és tanulással kapcsolatban.
A közös tudással rendelkező csapatok jobb döntéseket hoznak a termékekkel, irányelvekkel és tanulással kapcsolatban. A kiváló minőségű telepítéseknél ez mérhető működési szabályokká, tulajdonosi határokká és ismétlődő felülvizsgálati rituálékká alakul át, így a csapatok növelhetik a bizalmat a kétértelműség skálázása helyett.
Valós megvalósítás
A gépi fordítás működtetése a Google elején a Translate neurális rendszerében, mielőtt a Transformers átvette volna az irányítást.
Beszéd-szöveg felismerés a hangsegédekben és a diktáló szoftverekben.
Jövőbeli értékek előrejelzése idősorokban, például energiaigény, érzékelők leolvasása vagy részvényárak.
Szöveg vagy zene generálása egyenként és sorozatok automatikus kiegészítése.
Megvalósítási minták
Hosszú távú rövid távú memóriasejtek a gyakorlatban
A gépi fordítás működtetése a Google elején a Translate neurális rendszerében, mielőtt a Transformers átvette volna az irányítást.
A csapatok általában jobb eredményeket érnek el, ha előre meghatározzák a minőségi küszöbértékeket, emberi eszkalációs utat tartanak a szélsőséges eseteknél, és nyomon követik a termelékenység növekedését és a hibaköltségeket is.
Hosszú távú rövid távú memóriasejtek a gyakorlatban
Beszéd-szöveg felismerés a hangsegédekben és a diktáló szoftverekben.
A csapatok általában jobb eredményeket érnek el, ha előre meghatározzák a minőségi küszöbértékeket, emberi eszkalációs utat tartanak a szélsőséges eseteknél, és nyomon követik a termelékenység növekedését és a hibaköltségeket is.
Hosszú távú rövid távú memóriasejtek a gyakorlatban
Jövőbeli értékek előrejelzése idősorokban, például energiaigény, érzékelők leolvasása vagy részvényárak.
A csapatok általában jobb eredményeket érnek el, ha előre meghatározzák a minőségi küszöbértékeket, emberi eszkalációs utat tartanak a szélsőséges eseteknél, és nyomon követik a termelékenység növekedését és a hibaköltségeket is.
Hosszú távú rövid távú memóriasejtek a gyakorlatban
Szöveg vagy zene generálása egyenként és sorozatok automatikus kiegészítése.
A csapatok általában jobb eredményeket érnek el, ha előre meghatározzák a minőségi küszöbértékeket, emberi eszkalációs utat tartanak a szélsőséges eseteknél, és nyomon követik a termelékenység növekedését és a hibaköltségeket is.
Kockázatok és védőkorlátok
A különböző csapatok eltérően használhatják ugyanazt a kifejezést, ezért korán határozza meg a hatókört.
A benchmarkok erősnek tűnhetnek, miközben a valós teljesítmény egyenetlen.
Az adatminőségi és értékelési tervek figyelmen kívül hagyása gyakran törékeny eredményekhez vezet.
Végrehajtási ütemterv
Kezdje a kívánt eredmény egyszerű nyelvű meghatározásával.
Tekintse ezt bizonyítékkapuként: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.
A tesztelés előtt válasszon egy sikermutatót és egy hibafeltételt.
Tekintse ezt bizonyítékkapuként: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.
Futtasson egy kis pilotot reprezentatív adatokkal, ne egy csiszolt demókészlettel.
Tekintse ezt bizonyítékkapuként: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.
Dokumentálja, hol segít a hosszú távú memóriasejtek, és hol jobbak az egyszerűbb módszerek.
Tekintse ezt bizonyítékkapuként: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.
Folytassa a felfedezést
Check your understanding
Test yourself: take the Long Short-Term Memory Cells quiz