State Space Models ati Mamba
Awọn awoṣe aaye ti ipinlẹ (SSMs) jẹ awọn awoṣe lẹsẹsẹ ti o gbe alaye siwaju nipasẹ ipo ti o farapamọ fisinuirindigbindigbin, ti iwọn laini pẹlu gigun ọkọọkan dipo ti akiyesi ni quadratically.
Akopọ
Mamba jẹ faaji 2023 ti o jẹ ki awọn SSM ni ifigagbaga pẹlu Awọn Ayirapada nipa gbigba ilana imudojuiwọn ipinlẹ naa dale lori titẹ sii, ṣiṣi mimu daradara ti awọn ilana gigun pupọ.
Jin Dive
Awoṣe aaye aaye kan ṣe ilana igbesẹ ọkọọkan nipasẹ igbese, mimu ipo ti o farapamọ ti o ṣe akopọ ohun gbogbo ti a rii titi di isisiyi. Ni ipo kọọkan o ṣe imudojuiwọn ipinlẹ pẹlu iṣipopada laini ti iṣakoso nipasẹ awọn matiriki ti o kọ ẹkọ (nigbagbogbo ti a samisi A, B, C) ati pe o njade abajade kan. Aṣeyọri ti awọn SSM ti eleto bii S4 ti n ṣafihan atunwi yii le jẹ ṣiṣi silẹ bi ariyanjiyan gigun ati ikẹkọ daradara lori ohun elo afiwera. Imudaniloju bọtini Mamba jẹ yiyan: o jẹ ki awọn iṣẹ B, C, ati awọn ipele iwọn-igbesẹ ti titẹ sii lọwọlọwọ, nitorinaa awoṣe le pinnu ohun ti o yẹ lati ranti ati kini lati foju ni ami-ami kọọkan. Igbẹkẹle igbewọle yii ṣe irubọ iyipada ti o rọrun ṣugbọn o gba pada pẹlu ọlọjẹ ohun elo ti o mọ ohun elo, fifun ikẹkọ akoko-laini ati iranti igbagbogbo, itọkasi iyara.
Imọ-imọ-ẹrọ
Awọn asọye ẹdọfu jẹ parallelism dipo selectivity. Awọn SSM Alailẹgbẹ lo awọn matrices olominira titẹ sii, eyiti o jẹ ki a ṣe iṣiro atunwi bi ariyanjiyan nla kan — ni afiwe pupọ ṣugbọn ko lagbara lati ṣe àlẹmọ akoonu yiyan. Awọn aye yiyan ti Mamba fọ iru ẹtan convolution yẹn, nitorinaa awọn onkọwe kọ ekuro ọlọjẹ aṣa ti aṣa ti o tọju ipo ni iyara GPU SRAM ati yago fun ohun elo ni iranti ti o lọra, tọju iyara lakoko nini ero-imọ akoonu.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti Awọn awoṣe Space State ati Mamba
Mamba ati awọn arọpo rẹ (Mamba-2, awọn awoṣe Jamba arabara) n titari si awọn agbegbe nibiti awọn ilana ti gun gaan: genomics, ohun afetigbọ giga, ati awọn ipo ami-ami miliọnu nibiti idiyele kuadiratiki akiyesi jẹ idinamọ. Aṣa aṣaaju jẹ awọn ile ayaworan arabara ti o fa awọn fẹlẹfẹlẹ akiyesi diẹ sii pẹlu ọpọlọpọ awọn fẹlẹfẹlẹ Mamba, yiya iranti iranti gangan lakoko ti o tọju laini iṣiro pupọ julọ. Reti awọn SSM lati di paati boṣewa ninu ohun elo irinṣẹ-gun ju dipo iyipada Transformer osunwon.
Real-World imuse
Awoṣe DNA awọn ilana ti awọn ọgọọgọrun ẹgbẹẹgbẹrun awọn orisii ipilẹ gigun ni awọn jinomiki, nibiti akiyesi Ayirapada yoo jẹ aiṣe iṣiro.
Ṣiṣe awọn ọna igbi ohun afetigbọ aise ni awọn oṣuwọn ayẹwo giga fun ọrọ ati awọn iṣẹ-ṣiṣe orin laisi idinku.
Nfi agbara arabara awọn awoṣe ede nla bii Jamba ti o dapọ Mamba ati awọn ipele ifarabalẹ fun oye ọrọ-ọrọ gigun to munadoko.
Itọkasi ṣiṣanwọle lori awọn ẹrọ eti nibiti iranti igbagbogbo fun igbesẹ kan ati iran iran iyara ṣe pataki diẹ sii ju deede tente oke.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Awọn awoṣe Space State ati Mamba ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the State Space Models and Mamba quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Mamba ati Yan State Spaces
Awọn ibeere ti a beere nigbagbogbo
Kini awọn awoṣe Space ti Ipinle ati Mamba?
Awọn awoṣe aaye ti ipinlẹ (SSMs) jẹ awọn awoṣe lẹsẹsẹ ti o gbe alaye siwaju nipasẹ ipo ti o farapamọ fisinuirindigbindigbin, ti iwọn laini pẹlu gigun ọkọọkan dipo ti akiyesi ni quadratically. Mamba jẹ faaji 2023 ti o jẹ ki awọn SSM ni idije pẹlu Awọn Ayirapada nipa jijẹ ki ilana imudojuiwọn-ipinlẹ naa dale lori titẹ sii, ṣiṣi mimu mimu daradara ti awọn ilana gigun pupọ.
Bawo ni iwọn awoṣe aaye aaye kan ṣe pẹlu gigun ọkọọkan, ni akawe si akiyesi ara ẹni boṣewa?
Awọn ilana SSMs pẹlu ipadasẹhin laini ati iwọn laini ni gigun, lakoko ti akiyesi ara ẹni ṣe afiwe gbogbo ami si gbogbo miiran ati iwọn ni irẹwọn.
Kini isọdọtun aarin ti Mamba ṣafikun si awọn SSM ti iṣeto tẹlẹ bii S4?
Mamba ṣafihan awọn SSM ti o yan ti B, C, ati awọn ipele-igbesẹ jẹ awọn iṣẹ ti titẹ sii, jẹ ki awoṣe yan kini lati ranti fun ami kan.
Kini idi ti Mamba nilo ọlọjẹ ohun elo ti o mọ ni afiwe?
Awọn paramita ti o gbẹkẹle igbewọle (aṣayan) tumọ si iṣipopada ko le jẹ ariyanjiyan ti o wa titi ẹyọkan mọ, nitorinaa ekuro ọlọjẹ ti o jọra n gba iyara ikẹkọ pada.
Iru aṣa ayaworan wo ni o ṣajọpọ Mamba pẹlu Awọn Ayirapada fun awọn awoṣe ọrọ-gun gigun?
Awọn arabara bii Jamba dapọ awọn fẹlẹfẹlẹ akiyesi diẹ (fun iranti pipe) pẹlu ọpọlọpọ awọn fẹlẹfẹlẹ Mamba akoko laini, iwọntunwọnsi deede ati ṣiṣe.