Up tókànItọsọna atẹle
Block-Sparse ati Ibile fọnka akiyesi
Imọ-ẹrọ
Èdè AI Itọsọna
Awọn Ilana Ifarabalẹ fọnka
Ifarabalẹ fọnka jẹ ki Awọn Ayirapada din owo nipa jijẹki ami ami kọọkan wa si ipin ti a ti yan daradara ti awọn ami miiran ju gbogbo wọn lọ.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Eyi n ṣowo arọwọto agbaye diẹ fun awọn ifowopamọ nla ni iranti ati iṣiro lori awọn itọsọna gigun.
Jin Dive
Ifarabalẹ ti ara ẹni ni kikun ṣe afiwe gbogbo ami si gbogbo ami ami miiran, nitorinaa iye owo n dagba pẹlu square ti ipari gigun, eyiti o di irora fun awọn iwe aṣẹ gigun. Ifarabalẹ fọnka rọpo apẹrẹ ipon pẹlu ọkan ti a ṣeto. Awọn apẹrẹ ti o wọpọ pẹlu ifarabalẹ sisun-window (agbegbe), nibiti aami kọọkan n rii awọn aladugbo wa nitosi; awọn ilana gigun tabi ti o gbooro ti o fo niwaju lati de ipo ti o jinna ni olowo poku; ati awọn ami agbaye, awọn ipo pataki diẹ ti o wa si ohun gbogbo ati pe ohun gbogbo wa si, ṣiṣe bi awọn ibudo alaye. Awọn awoṣe bii Longformer, BigBird, ati Transformer Sparse darapọ awọn wọnyi nitoribẹẹ lapapọ nọmba awọn asopọ dagba ni aijọju laini dipo ti imẹrin, ti n mu awọn ipo ti ẹgbẹẹgbẹrun ṣiṣẹ si ẹgbẹẹgbẹrun awọn ami.
Real-World imuse
Longformer ṣiṣẹ gbogbo awọn iwe imọ-jinlẹ tabi awọn iwe aṣẹ labẹ ofin ni ọna gbigbe kan nipa lilo ferese sisun pẹlu akiyesi agbaye
BigBird n ṣetọju idahun ibeere iwe-gigun ati awọn ilana jinomiki pẹlu akiyesi iwọn ila-laini
Akopọ ọrọ gigun iwe nibiti akiyesi kikun yoo mu iranti GPU rẹ kuro
Imupadabọ ati awọn eto iwiregbe ọrọ igba pipẹ ti o lo awọn ami ami ibudo agbaye lati da alaye bọtini kọja ẹgbẹẹgbẹrun awọn ami.
Ojo iwaju ti Awọn ilana Ifarabalẹ fọnka
Ifarabalẹ fọnka si wa aringbungbun si awoṣe ti ọrọ-ọrọ gigun, pọ si pọ pẹlu awọn kernel ti iṣapeye bii FlashAttention ati pẹlu kikọ ẹkọ tabi aibikita ti o yan iru awọn ami-ami lati lọ si fun titẹ sii. Bi awọn ferese agbegbe ti n na si awọn miliọnu awọn ami-ami, awọn akopọ arabara dapọ fọnka, ipon, ati awọn ipele aaye-ipinlẹ. Reti awọn ekuro ṣoki ti ohun-elo ati akiyesi ipa-ọna lati tọju idinku idiyele ti kika awọn igbewọle gigun pupọ.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iyara ati iwọn. Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
- Wiwọle ati arọwọto. O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
- Awọn ipinnu diẹ sii. Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ṣọra fun
- Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
- Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
- Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Next awọn igbesẹ
- Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
- Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
- Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
- Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Sparse Attention Patterns quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Sparse Attention Patterns?
Ifarabalẹ fọnka jẹ ki Awọn Ayirapada din owo nipa jijẹki ami ami kọọkan wa si ipin ti a ti yan daradara ti awọn ami miiran ju gbogbo wọn lọ. Eyi ṣe iṣowo arọwọto agbaye diẹ fun awọn ifowopamọ nla ni iranti ati ṣe iṣiro lori awọn ilana gigun.
Kini idi ti akiyesi ara ẹni ni kikun gbowolori lori awọn ilana gigun?
Ifarabalẹ ni kikun ṣe afiwe gbogbo ami si gbogbo aami miiran, fifun O (N squared) iye owo ni akoko ati iranti.
Kini akiyesi yiyọ-window (agbegbe) akiyesi?
Ifarabalẹ agbegbe ṣe ihamọ wiwo ami ami kọọkan si ferese ti o wa titi ti awọn ami agbegbe, gige idiyele bosipo.
Kini idi ti 'awọn ami-ami agbaye' ni akiyesi ṣoki?
Awọn ami agbaye diẹ kan sopọ si gbogbo awọn ipo, jẹ ki alaye ṣiṣan kọja gbogbo ọkọọkan ni olowo poku.
Awoṣe wo ni o fihan pe apapọ ID, window, ati akiyesi agbaye jẹ ki akiyesi ifarabalẹ ni kikun?
BigBird ṣe afihan ilana fọnka rẹ jẹ isunmọ gbogbo agbaye ti awọn iṣẹ ti o tẹle lakoko ti iwọn ni aijọju laini.
Ni aijọju bawo ni nọmba awọn asopọ ṣe iwọn ni akiyesi fọnka ti a ṣe apẹrẹ daradara?
Nipa didi awọn asopọ si awọn ferese agbegbe pẹlu awọn ọna asopọ agbaye diẹ, awọn asopọ lapapọ dagba nipa laini.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii