Awọn Ilana Ifarabalẹ fọnka
Ifarabalẹ fọnka jẹ ki Awọn Ayirapada din owo nipa jijẹki ami ami kọọkan wa si ipin ti a ti yan daradara ti awọn ami miiran ju gbogbo wọn lọ.
Akopọ
Eyi n ṣowo arọwọto agbaye diẹ fun awọn ifowopamọ nla ni iranti ati iṣiro lori awọn itọsọna gigun.
Jin Dive
Ifarabalẹ ti ara ẹni ni kikun ṣe afiwe gbogbo ami si gbogbo ami ami miiran, nitorinaa iye owo n dagba pẹlu square ti ipari gigun, eyiti o di irora fun awọn iwe aṣẹ gigun. Ifarabalẹ fọnka rọpo apẹrẹ ipon pẹlu ọkan ti a ṣeto. Awọn apẹrẹ ti o wọpọ pẹlu ifarabalẹ sisun-window (agbegbe), nibiti aami kọọkan n rii awọn aladugbo wa nitosi; awọn ilana gigun tabi ti o gbooro ti o fo niwaju lati de ipo ti o jinna ni olowo poku; ati awọn ami agbaye, awọn ipo pataki diẹ ti o wa si ohun gbogbo ati pe ohun gbogbo wa si, ṣiṣe bi awọn ibudo alaye. Awọn awoṣe bii Longformer, BigBird, ati Transformer Sparse darapọ awọn wọnyi nitoribẹẹ lapapọ nọmba awọn asopọ dagba ni aijọju laini dipo ti imẹrin, ti n mu awọn ipo ti ẹgbẹẹgbẹrun ṣiṣẹ si ẹgbẹẹgbẹrun awọn ami.
Imọ-imọ-ẹrọ
Dipo matrix akiyesi N-nipasẹ-N ni kikun, akiyesi fọnka ṣe iṣiro awọn titẹ sii ti a yan nikan, nigbagbogbo iṣọkan ti window agbegbe kan ati ọwọ diẹ ti awọn ori ila agbaye ati awọn ọwọn. BigBird ṣe afihan ni olokiki pe apapọ ID, window, ati awọn asopọ agbaye ṣe itọju asọye asọye ti akiyesi ni kikun lakoko ti o dinku idiju lati O (N squared) si O (N). Awọn ekuro ti o munadoko fo awọn titẹ sii ti ko boju-boju jade patapata kuku ju iširo lẹhinna sọ wọn di odo.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Awọn ilana Ifarabalẹ fọnka
Ifarabalẹ fọnka si wa aringbungbun si awoṣe ti ọrọ-ọrọ gigun, pọ si pọ pẹlu awọn kernel ti iṣapeye bii FlashAttention ati pẹlu kikọ ẹkọ tabi aibikita ti o yan iru awọn ami-ami lati lọ si fun titẹ sii. Bi awọn ferese agbegbe ti n na si awọn miliọnu awọn ami-ami, awọn akopọ arabara dapọ fọnka, ipon, ati awọn ipele aaye-ipinlẹ. Reti awọn ekuro ṣoki ti ohun-elo ati akiyesi ipa-ọna lati tọju idinku idiyele ti kika awọn igbewọle gigun pupọ.
Real-World imuse
Longformer ṣiṣẹ gbogbo awọn iwe imọ-jinlẹ tabi awọn iwe aṣẹ labẹ ofin ni ọna gbigbe kan nipa lilo ferese sisun pẹlu akiyesi agbaye
BigBird n ṣetọju idahun ibeere iwe-gigun ati awọn ilana jinomiki pẹlu akiyesi iwọn ila-laini
Akopọ ọrọ gigun iwe nibiti akiyesi kikun yoo mu iranti GPU rẹ kuro
Imupadabọ ati awọn eto iwiregbe ọrọ igba pipẹ ti o lo awọn ami ami ibudo agbaye lati da alaye bọtini kọja ẹgbẹẹgbẹrun awọn ami.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sparse Attention Patterns quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Block-Sparse ati Ibile fọnka akiyesi
Awọn ibeere ti a beere nigbagbogbo
Kini Sparse Attention Patterns?
Ifarabalẹ fọnka jẹ ki Awọn Ayirapada din owo nipa jijẹki ami ami kọọkan wa si ipin ti a ti yan daradara ti awọn ami miiran ju gbogbo wọn lọ. Eyi ṣe iṣowo arọwọto agbaye diẹ fun awọn ifowopamọ nla ni iranti ati ṣe iṣiro lori awọn ilana gigun.
Kini idi ti akiyesi ara ẹni ni kikun gbowolori lori awọn ilana gigun?
Ifarabalẹ ni kikun ṣe afiwe gbogbo ami si gbogbo aami miiran, fifun O (N squared) iye owo ni akoko ati iranti.
Kini akiyesi yiyọ-window (agbegbe) akiyesi?
Ifarabalẹ agbegbe ṣe ihamọ wiwo ami ami kọọkan si ferese ti o wa titi ti awọn ami agbegbe, gige idiyele bosipo.
Kini idi ti 'awọn ami-ami agbaye' ni akiyesi ṣoki?
Awọn ami agbaye diẹ kan sopọ si gbogbo awọn ipo, jẹ ki alaye ṣiṣan kọja gbogbo ọkọọkan ni olowo poku.
Awoṣe wo ni o fihan pe apapọ ID, window, ati akiyesi agbaye jẹ ki akiyesi ifarabalẹ ni kikun?
BigBird ṣe afihan ilana fọnka rẹ jẹ isunmọ gbogbo agbaye ti awọn iṣẹ ti o tẹle lakoko ti iwọn ni aijọju laini.
Ni aijọju bawo ni nọmba awọn asopọ ṣe iwọn ni akiyesi fọnka ti a ṣe apẹrẹ daradara?
Nipa didi awọn asopọ si awọn ferese agbegbe pẹlu awọn ọna asopọ agbaye diẹ, awọn asopọ lapapọ dagba nipa laini.