Hosszú távú, rövid távú memóriasejtek
A hosszú rövid távú memória (LSTM) cellák egy speciális típusú ismétlődő neurális hálózati egységek, amelyek arra épülnek, hogy hosszú sorozatokon keresztül emlékezzenek az információkra.
Áttekintés
They solved the vanishing-gradient problem that crippled earlier RNNs, powering a decade of breakthroughs in language, speech, and translation.
Mély merülés
A Sepp Hochreiter és Jurgen Schmidhuber által 1997-ben bevezetett LSTM cella „sejtállapotot” tart fenn, amely úgy működik, mint a szekvencián áthaladó memória futószalag. Három betanított kapu vezérli: a felejtési kapu eldönti, hogy mit töröljön, a bemeneti kapu eldönti, hogy milyen új információt tároljon, a kimeneti kapu pedig azt, hogy mit tegyen ki a cella kimeneteként. Mindegyik kapu egy szigmoidot használ (0-tól 1-ig), hogy lágy kapcsolóként működjön. Mivel a cellaállapotot többnyire összeadással frissítik, nem pedig ismételt szorzással, a gradiensek sok időlépésen keresztül visszafelé áramolhatnak anélkül, hogy nullára zsugorodnának, így az LSTM-ek több száz lépésnyi különbséggel tanulhatják meg a függőségeket. A Transformers előtt az LSTM-ek a Google fordítást, a beszédfelismerést és a szöveggenerálást támogatták.
Technikai betekintés
Az eltűnő gradiens javítás a cellaállapot közel lineáris frissítéséből származik: c_t = f_t * c_{t-1} + i_t * g_t. Az f_t felejtési kapu (szigmoid) az 1 közelében maradhat, és egy „állandó hibakarusszelt” hoz létre, így a hibajelek túlélik a visszaszaporodást a hosszú szakaszokon keresztül. A kapuk önmagukban kis idegi rétegek (szigmoid a kapuzáshoz, tanh a jelölt értékekhez), mindegyiket együtt képezik a gradiens süllyedés. Ez a kapuzás lehetővé teszi a hálózat számára, hogy megtanulja, mit tartson meg és mit dobjon el.
Stratégiai hatás
Tisztább döntések
Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől.
Költség és költségvetés
Feltehet jobb végrehajtási kérdéseket, mielőtt pénzt vagy időt költene.
Csapat és munkafolyamat
A közös tudással rendelkező csapatok jobb döntéseket hoznak a termékekkel, irányelvekkel és tanulással kapcsolatban.
A hosszú távú rövid távú memóriasejtek jövője
A transzformátorok nagymértékben megelőzték az LSTM-eket a nagyszabású nyelvi feladatoknál, mivel párhuzamosak egy sorozaton keresztül, és a figyelem révén nagy hatótávolságú kontextust rögzítenek, míg az LSTM-ek lépésenként dolgozzák fel a tokeneket. Ennek ellenére az LSTM-ek továbbra is értékesek a streaming, az alacsony késleltetésű és az erőforrás-korlátozott beállítások, valamint a szerény idősoros adatok esetében. A legújabb munkák, mint például az xLSTM (2024), újra felkeresik és modernizálják az architektúrát új kapuzattal és memóriával, hogy a méretekben versenyezzenek, és azt mutatják, hogy az ötlet még nem fejeződött be.
Valós megvalósítás
A gépi fordítás működtetése a Google elején a Translate neurális rendszerében, mielőtt a Transformers átvette volna az irányítást.
Beszéd-szöveg felismerés a hangsegédekben és a diktáló szoftverekben.
Jövőbeli értékek előrejelzése idősorokban, például energiaigény, érzékelők leolvasása vagy részvényárak.
Szöveg vagy zene generálása egyenként és sorozatok automatikus kiegészítése.
Kockázatok és védőkorlátok
A különböző csapatok eltérően használhatják ugyanazt a kifejezést, ezért korán határozza meg a hatókört.
A benchmarkok erősnek tűnhetnek, miközben a valós teljesítmény egyenetlen.
Az adatminőségi és értékelési tervek figyelmen kívül hagyása gyakran törékeny eredményekhez vezet.
Végrehajtási ütemterv
Kezdje a kívánt eredmény egyszerű nyelvű meghatározásával.
A tesztelés előtt válasszon egy sikermutatót és egy hibafeltételt.
Futtasson egy kis pilotot reprezentatív adatokkal, ne egy csiszolt demókészlettel.
Dokumentálja, hol segít a hosszú távú memóriasejtek, és hol jobbak az egyszerűbb módszerek.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long Short-Term Memory Cells quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
GPU memóriakezelés és töredezettség
Gyakran ismételt kérdések
What is Long Short-Term Memory Cells?
A hosszú rövid távú memória (LSTM) cellák egy speciális típusú ismétlődő neurális hálózati egységek, amelyek arra épülnek, hogy hosszú sorozatokon keresztül emlékezzenek az információkra. Megoldották az eltűnő gradiens problémát, amely megbénította a korábbi RNN-eket, és egy évtizednyi áttörést eredményezett a nyelv, a beszéd és a fordítás terén.
Melyik három kapu szabályozza az információáramlást egy szabványos LSTM cellában?
Az LSTM elfelejtési kaput (mit kell törölni), bemeneti kaput (mit kell tárolni) és kimeneti kaput (mit kell megjeleníteni) használ, mindegyik tanult szigmoid.
Milyen főbb problémát oldottak meg a korábbi RNN-ekkel az LSTM-ek?
A szabványos RNN-ek eltűnő gradienseket szenvednek, amelyek megakadályozzák a hosszú távú függőségek tanulását; az LSTM additív sejtállapota lehetővé teszi a gradiensek fennmaradását.
Ki vezette be az LSTM-et, és melyik évben?
Sepp Hochreiter és Jurgen Schmidhuber 1997-ben adta ki az LSTM-et.
Miért segíti az LSTM sejtállapot a gradiensek túlélését sok időbeli lépésben?
Az additív frissítés (az „állandó hibakörhinta”) elkerüli az ismétlődő szorzásokat, amelyek csökkentik a gradienseket, így a hibajelzések hosszú szakaszokon keresztül áramlanak vissza.
Milyen aktiválási funkciót használnak az LSTM kapuk általában lágy be-/kikapcsolóként?
A Gates egy szigmoidot használ, amelynek 0-tól 1-ig kimenete skálázza, hogy mennyi információ jut át, és úgy működik, mint egy lágy kapcsoló.