Awọn sẹẹli Iranti Igba Kukuru gigun
Awọn sẹẹli Iranti Igba Kukuru Gigun (LSTM) jẹ iru pataki ti ẹyọkan nẹtiwọọki loorekoore ti a ṣe lati ranti alaye kọja awọn ọna gigun.
Akopọ
Wọn yanju iṣoro gradient ti o parẹ ti o ṣe ipalara awọn RNN iṣaaju, ti o ni agbara ọdun mẹwa ti awọn awaridii ni ede, ọrọ, ati itumọ.
Jin Dive
Agbekale nipasẹ Sepp Hochreiter ati Jurgen Schmidhuber ni ọdun 1997, sẹẹli LSTM n ṣetọju 'ipinle sẹẹli' ti o n ṣe bii igbanu gbigbe ti iranti ti n ṣiṣẹ nipasẹ ọkọọkan. Awọn ẹnu-bode mẹta ti o kọ ẹkọ ni o ṣakoso rẹ: ẹnu-ọna igbagbe pinnu ohun ti yoo parẹ, ẹnu-ọna titẹ sii pinnu kini alaye tuntun lati fipamọ, ati ẹnu-ọna ti njade pinnu ohun ti yoo ṣafihan bi iṣelọpọ sẹẹli. Ẹnu-ọna kọọkan nlo sigmoid (ti njade 0 si 1) lati ṣe bi iyipada rirọ. Nitoripe ipo sẹẹli ti ni imudojuiwọn ni pataki nipasẹ afikun kuku ju isodipupo leralera, awọn gradients le ṣàn sẹhin lori awọn igbesẹ akoko pupọ laisi isunku si odo, jẹ ki awọn LSTM kọ awọn igbẹkẹle awọn ọgọọgọrun awọn igbesẹ lọtọ. Ṣaaju Awọn Ayirapada, awọn LSTM ṣe itusilẹ Google Tumọ, idanimọ ọrọ, ati iran ọrọ.
Imọ-imọ-ẹrọ
Atunse vanishing-gradient wa lati imudojuiwọn laini ila ti ipinlẹ sẹẹli: c_t = f_t * c_{t-1} + i_t * g_t. Ẹnu-ọna igbagbe f_t (sigmoid) le duro nitosi 1, ṣiṣẹda 'carousel aṣiṣe nigbagbogbo' nitorinaa awọn ifihan agbara aṣiṣe ye ipadabọ-nipasẹ-akoko kọja awọn igba pipẹ. Awọn ẹnu-bode jẹ awọn fẹlẹfẹlẹ kekere ti ara wọn (sigmoid fun gating, tanh fun awọn iye oludije), gbogbo wọn ni ikẹkọ ni apapọ nipasẹ isunmọ gradient. Gating yii jẹ ki nẹtiwọọki kọ ẹkọ kini lati tọju ati kini lati sọnù.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti Awọn sẹẹli Iranti Igba Kukuru Gigun
Awọn Ayirapada ti bori awọn LSTM pupọ fun awọn iṣẹ-ṣiṣe ede ti iwọn-nla nitori pe wọn jọra ni ọna-tẹle kan ati mu ipo ti o gun gun nipasẹ akiyesi, lakoko ti ilana ilana LSTM ṣe afihan igbesẹ kan ni akoko kan. Sibẹsibẹ, awọn LSTM wa niyelori fun ṣiṣanwọle, lairi kekere, ati awọn eto ti o ni agbara orisun, ati lori data jara-akoko iwọntunwọnsi. Iṣẹ aipẹ bii xLSTM (2024) tun ṣe atunwo ati ṣe imudara faaji pẹlu ẹnu tuntun ati iranti lati dije ni iwọn, ti n ṣafihan imọran ko pari.
Real-World imuse
Itumọ ẹrọ ni agbara ni ibẹrẹ Google Eto nkankikan Tumọ ṣaaju ki Awọn Ayirapada gba agbara.
Idanimọ-ọrọ-si-ọrọ ni awọn oluranlọwọ ohun ati sọfitiwia iwe-itumọ.
Ṣe asọtẹlẹ awọn iye ọjọ iwaju ni jara akoko gẹgẹbi ibeere agbara, awọn kika sensọ, tabi awọn idiyele ọja.
Ṣiṣẹda ọrọ tabi orin aami ami kan ni akoko kan ati ṣiṣe awọn ilana adaṣe adaṣe.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Awọn sẹẹli Iranti Igba-Kukuru ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long Short-Term Memory Cells quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
GPU Memory Management ati Fragmentation
Awọn ibeere ti a beere nigbagbogbo
Kini awọn sẹẹli iranti igba pipẹ?
Awọn sẹẹli Iranti Igba Kukuru Gigun (LSTM) jẹ iru pataki ti ẹyọkan nẹtiwọọki loorekoore ti a ṣe lati ranti alaye kọja awọn ọna gigun. Wọ́n yanjú ìṣòro afẹ́fẹ́-dídíẹ̀ tí ó sọ àwọn RNN rọ́ sẹ́yìn, tí ń fúnni ní agbára fún ọdún mẹ́wàá ti àṣeyọrí nínú èdè, ọ̀rọ̀ sísọ, àti ìtúmọ̀.
Awọn ẹnubode mẹta wo ni iṣakoso alaye ṣiṣan ninu sẹẹli LSTM boṣewa?
LSTM nlo ẹnu-ọna igbagbe (kini lati parẹ), ẹnu-ọna titẹ sii (kini lati fipamọ), ati ẹnu-ọna ti o wu jade (kini lati ṣafihan), ọkọọkan sigmoid ti o kọ ẹkọ.
Isoro pataki wo pẹlu awọn RNN iṣaaju ni awọn LSTM yanju?
Awọn RNN boṣewa jiya awọn gradients asonu ti o ṣe idiwọ kikọ ẹkọ awọn igbẹkẹle gigun; ipo sẹẹli aropo LSTM jẹ ki awọn gradients duro.
Tani o ṣe agbekalẹ LSTM, ati ni ọdun wo?
Sepp Hochreiter ati Jurgen Schmidhuber ṣe atẹjade LSTM ni ọdun 1997.
Kini idi ti ipinlẹ sẹẹli LSTM ṣe iranlọwọ awọn gradients laaye lori ọpọlọpọ awọn igbesẹ akoko?
Imudojuiwọn afikun ('carousel aṣiṣe nigbagbogbo') yago fun awọn isodipupo leralera ti o dinku gradients, nitorinaa awọn ifihan agbara aṣiṣe san pada sẹhin lori awọn igba pipẹ.
Iṣẹ imuṣiṣẹ wo ni awọn ẹnu-ọna LSTM nigbagbogbo lo lati ṣe bi awọn iyipada titan/pa a rirọ?
Gates lo sigmoid kan, eyiti 0-to-1 ṣe iwọn iwọn iye alaye ti n kọja, ti n ṣiṣẹ bi iyipada rirọ.