Áttekintés
A hosszú rövid távú memória (LSTM) cellák egy speciális típusú ismétlődő neurális hálózati egységek, amelyek arra épülnek, hogy hosszú sorozatokon keresztül emlékezzenek az információkra. Megoldották az eltűnő gradiens problémát, amely megbénította a korábbi RNN-eket, és egy évtizednyi áttörést eredményezett a nyelv, a beszéd és a fordítás terén.
A Long Short-Term Memory Cells az alapvető mesterséges intelligencia eszközkészletben található. Ha megérti, más AI témák könnyebben értékelhetők és összehasonlíthatók.
Mély merülés
A Sepp Hochreiter és Jurgen Schmidhuber által 1997-ben bevezetett LSTM cella „sejtállapotot” tart fenn, amely úgy működik, mint a szekvencián áthaladó memória futószalag. Három betanított kapu vezérli: a felejtési kapu eldönti, hogy mit töröljön, a bemeneti kapu eldönti, hogy milyen új információt tároljon, a kimeneti kapu pedig azt, hogy mit tegyen ki a cella kimeneteként. Mindegyik kapu egy szigmoidot használ (0-tól 1-ig), hogy lágy kapcsolóként működjön. Mivel a cellaállapotot többnyire összeadással frissítik, nem pedig ismételt szorzással, a gradiensek sok időlépésen keresztül visszafelé áramolhatnak anélkül, hogy nullára zsugorodnának, így az LSTM-ek több száz lépésnyi különbséggel tanulhatják meg a függőségeket. A Transformers előtt az LSTM-ek a Google fordítást, a beszédfelismerést és a szöveggenerálást támogatták.
Technikai betekintés
Az eltűnő gradiens javítás a cellaállapot közel lineáris frissítéséből származik: c_t = f_t * c_{t-1} + i_t * g_t. Az f_t felejtési kapu (szigmoid) az 1 közelében maradhat, és egy „állandó hibakarusszelt” hoz létre, így a hibajelek túlélik a visszaszaporodást a hosszú szakaszokon keresztül. A kapuk önmagukban kis idegi rétegek (szigmoid a kapuzáshoz, tanh a jelölt értékekhez), mindegyiket együtt képezik a gradiens süllyedés. Ez a kapuzás lehetővé teszi a hálózat számára, hogy megtanulja, mit tartson meg és mit dobjon el.
A hosszú távú rövid távú memóriasejtek elsajátítása
A hosszú rövid távú memória (LSTM) cellák az ismétlődő neurális hálózati egységek egy speciális fajtája, amelyek arra épülnek, hogy hosszú sorozatokon keresztül emlékezzenek az információkra. Megoldották az eltűnő gradiens problémát, amely megbénította a korábbi RNN-eket, és egy évtizednyi áttörést eredményezett a nyelv, a beszéd és a fordítás terén. A Long Short-Term Memory Cells az alapvető mesterséges intelligencia eszközkészletben található. Ha megérti, más AI témák könnyebben értékelhetők és összehasonlíthatók. A mély megértés érdekében a hosszú távú rövid távú memóriacellákat működési modellként kezelje, ne egyetlen jellemzőként: határozza meg a kívánt eredményeket, tisztázza a feltételezéseket, és válassza el, hogy a rendszer mire képes megbízhatóan, és ami még szakértői megítélést igényel.
A gyakorlatban a hosszú rövid távú memóriacellákat használó erős csapatok először erős koncepcionális modelleket készítenek, majd leképezik ezeket a modelleket a valós termelési korlátokhoz. Dokumentálják az explicit sikerkritériumokat, tesztelik a valósághű adatokat és munkafolyamatokat, és a megfigyelt hibaminták alapján iterálnak, nem pedig egyszeri benchmark győzelmek alapján. Ez az a hely, ahol az elméleti megértés tartós képességgé válik a termék, a politika és a műveletek között.
Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől. Ugyanakkor a különböző csapatok eltérően használhatják ugyanazt a kifejezést, ezért korán határozza meg a hatókört. A legrugalmasabb megközelítés a kísérleti sebesség és az irányítási fegyelem kombinálása: kísérleti kísérletek futtatása, bizonyítékok rögzítése, döntési naplók közzététele és a biztosítékok folyamatos frissítése a modell viselkedésének, a felhasználói elvárásoknak és a szabályozási követelményeknek megfelelően.
Stratégiai hatás
Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől.
Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől. A kiváló minőségű telepítéseknél ez mérhető működési szabályokká, tulajdonosi határokká és ismétlődő felülvizsgálati rituálékká alakul át, így a csapatok növelhetik a bizalmat a kétértelműség skálázása helyett.
Feltehet jobb végrehajtási kérdéseket, mielőtt pénzt vagy időt költene.
Feltehet jobb végrehajtási kérdéseket, mielőtt pénzt vagy időt költene. A kiváló minőségű telepítéseknél ez mérhető működési szabályokká, tulajdonosi határokká és ismétlődő felülvizsgálati rituálékká alakul át, így a csapatok növelhetik a bizalmat a kétértelműség skálázása helyett.
A közös tudással rendelkező csapatok jobb döntéseket hoznak a termékekkel, irányelvekkel és tanulással kapcsolatban.
A közös tudással rendelkező csapatok jobb döntéseket hoznak a termékekkel, irányelvekkel és tanulással kapcsolatban. A kiváló minőségű telepítéseknél ez mérhető működési szabályokká, tulajdonosi határokká és ismétlődő felülvizsgálati rituálékká alakul át, így a csapatok növelhetik a bizalmat a kétértelműség skálázása helyett.
Valós megvalósítás
A gépi fordítás működtetése a Google elején a Translate neurális rendszerében, mielőtt a Transformers átvette volna az irányítást.
Beszéd-szöveg felismerés a hangsegédekben és a diktáló szoftverekben.
Jövőbeli értékek előrejelzése idősorokban, például energiaigény, érzékelők leolvasása vagy részvényárak.
Szöveg vagy zene generálása egyenként és sorozatok automatikus kiegészítése.
Megvalósítási minták
Hosszú távú rövid távú memóriasejtek a gyakorlatban
A gépi fordítás működtetése a Google elején a Translate neurális rendszerében, mielőtt a Transformers átvette volna az irányítást.
A gépi fordítás erősítése a Google korai szakaszában A Translate neurális rendszere a Transformers átvétele előtt A csapatok általában jobb eredményeket érnek el, ha előre meghatározzák a minőségi küszöbértékeket, megtartják az emberi eszkalációs útvonalat az éles esetekben, és nyomon követik a termelékenység növekedését és a hibaköltségeket az idő múlásával.
Hosszú távú rövid távú memóriasejtek a gyakorlatban
Beszéd-szöveg felismerés a hangsegédekben és a diktáló szoftverekben.
Beszéd-szöveg felismerés a hangsegédekben és a diktálószoftverekben A csapatok általában jobb eredményeket érnek el, ha előre meghatározzák a minőségi küszöbértékeket, megtartják az emberi eszkalációs utat a szélsőséges eseteknél, és nyomon követik a termelékenység növekedését és a hibaköltségeket az idő múlásával.
Hosszú távú rövid távú memóriasejtek a gyakorlatban
Jövőbeli értékek előrejelzése idősorokban, például energiaigény, érzékelők leolvasása vagy részvényárak.
Jövőbeli értékek előrejelzése idősorokban, mint például az energiaigény, az érzékelők leolvasása vagy a részvényárak A csapatok általában jobb eredményeket érnek el, ha előre meghatározzák a minőségi küszöbértékeket, emberi eszkalációs utat tartanak a szélsőséges eseteknél, és nyomon követik mind a termelékenységnövekedést, mind a hibaköltségeket az idő múlásával.
Hosszú távú rövid távú memóriasejtek a gyakorlatban
Szöveg vagy zene generálása egyenként és sorozatok automatikus kiegészítése.
Szöveg vagy zene generálása egyenként és sorozatok automatikus kiegészítése A csapatok általában jobb eredményeket érnek el, ha előre meghatározzák a minőségi küszöbértékeket, emberi eszkalációs útvonalat tartanak a szélsőséges eseteknél, és nyomon követik mind a termelékenységnövekedést, mind a hibaköltségeket az idő múlásával.
Kockázatok és védőkorlátok
A különböző csapatok eltérően használhatják ugyanazt a kifejezést, ezért korán határozza meg a hatókört.
A benchmarkok erősnek tűnhetnek, miközben a valós teljesítmény egyenetlen.
Az adatminőségi és értékelési tervek figyelmen kívül hagyása gyakran törékeny eredményekhez vezet.
Végrehajtási ütemterv
Kezdje a kívánt eredmény egyszerű nyelvű meghatározásával.
Kezdje a kívánt eredmény egyszerű nyelvű meghatározásával. Minden lépést bizonyítékkapuként kell kezelni: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.
A tesztelés előtt válasszon egy sikermutatót és egy hibafeltételt.
A tesztelés előtt válasszon egy sikermutatót és egy hibafeltételt. Minden lépést bizonyítékkapuként kell kezelni: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.
Futtasson egy kis pilotot reprezentatív adatokkal, ne egy csiszolt demókészlettel.
Futtasson egy kis pilotot reprezentatív adatokkal, ne egy csiszolt demókészlettel. Minden lépést bizonyítékkapuként kell kezelni: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.
Dokumentálja, hol segít a hosszú távú memóriasejtek, és hol jobbak az egyszerűbb módszerek.
Dokumentálja, hol segít a hosszú távú memóriasejtek, és hol jobbak az egyszerűbb módszerek. Minden lépést bizonyítékkapuként kell kezelni: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.