Ifarabalẹ Flash
Ifarabalẹ Filaṣi jẹ ọna onilàkaye lati ṣe iṣiro igbesẹ akiyesi inu Awọn Ayirapada laisi kikọ matrix akiyesi omiran nigbagbogbo lati fa fifalẹ iranti.
Akopọ
It makes long-context models far faster and more memory-efficient without changing their math.
Jin Dive
Ifarabalẹ deede ṣe afiwe gbogbo ami si gbogbo ami ami miiran, ti n ṣe agbejade matrix Dimegilio N-nipasẹ-N ti o dagba ni imẹrin pẹlu gigun ọkọọkan. Ni irọra, matrix yẹn ni a kọ si ati ka pada lati GPU giga-bandwidth iranti (HBM), ati pe tiipa - kii ṣe awọn isodipupo - jẹ igo gidi. Ifarabalẹ Filaṣi, ti a ṣe nipasẹ Tri Dao ati awọn alabaṣiṣẹpọ ni ọdun 2022, ṣe atunto iṣiro naa ki matrix naa ko ni ipamọ ni kikun. O ṣe ilana awọn ibeere, awọn bọtini, ati awọn iye ni awọn alẹmọ kekere ti o baamu ni iyara lori-chip SRAM, ṣe iṣiro awọn abajade apakan, o si di wọn papọ ni lilo ẹtan ṣiṣe-softmax lori ayelujara. Ijade jẹ aami mathematiki aami si akiyesi lasan ṣugbọn o nlo iranti laini ati ṣiṣe ni igba pupọ ni iyara, paapaa lori awọn ilana gigun.
Imọ-imọ-ẹrọ
Ẹtan bọtini jẹ tiling pẹlu softmax ori ayelujara. Softmax ni deede nilo gbogbo ila ti awọn ikun lati ṣe iṣiro iyeida rẹ, ṣugbọn Ifarabalẹ Filaṣi ntọju iwọn ṣiṣiṣẹ ati iye ti nṣiṣẹ bi o ṣe nṣan tile kọọkan, ti n ṣatunṣe awọn abajade apa kan tẹlẹ nitori abajade ipari jẹ deede. Nitori awọn ikun agbedemeji duro ni SRAM (awọn aṣẹ ti titobi yiyara ju HBM), algorithm jẹ IO-mọ: o dinku awọn kika iranti ati kikọ dipo awọn iṣẹ ṣiṣe iṣiro aise.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti akiyesi Flash
Ifarabalẹ Filaṣi ti di bulọọki ile aiyipada kan, pẹlu FlashAttention-2 ati FlashAttention-3 ti npa ipalọlọ diẹ sii lati awọn GPU tuntun bii H100 nipasẹ imudara pipin iṣẹ ati ilokulo awọn ipa-ọna FP8 kekere. Reti afọwọṣe àjọṣepọ pẹlu ohun elo ohun elo, isọpọ wiwọ sinu ikẹkọ ati awọn ilana atọka, ati awọn iyatọ aifwy fun fọnka, ferese sisun, ati akiyesi ọrọ-pipe pupọ. Bi awọn ferese agbegbe ti n na si awọn miliọnu awọn ami-ami, awọn ekuro IO-mọ bii eyi jẹ pataki lati tọju iranti ati iyara ni ilowo.
Real-World imuse
Ikẹkọ awọn awoṣe ede nla bii Llama ati awọn ọna ṣiṣe GPT pẹlu awọn window ọrọ to gun ni idiyele iranti kekere.
Ṣiṣẹ awọn oluranlọwọ iwiregbe ni iyara nipasẹ iyara soke ipele iṣaju nibiti a ti ka itọsi gigun kan ni akọkọ.
Ṣiṣe awọn irinṣẹ-itupalẹ iwe-ipamọ ti o nwọle gbogbo awọn iwe tabi awọn koodu koodu nipa ṣiṣe akiyesi ọkọọkan gigun ni o ṣeeṣe lori GPU kan.
Iran agbara ati Awọn Ayirapada ohun nibiti awọn igbewọle ti o ga-giga ṣẹda awọn ilana ami gigun pupọ.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Flash Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ifarabalẹ Yipada ati Ori Pruning
Awọn ibeere ti a beere nigbagbogbo
What is Flash Attention?
Ifarabalẹ Filaṣi jẹ ọna onilàkaye lati ṣe iṣiro igbesẹ akiyesi inu Awọn Ayirapada laisi kikọ matrix akiyesi omiran nigbagbogbo lati fa fifalẹ iranti. O jẹ ki awọn awoṣe ọrọ-gun gun yiyara ati daradara-iranti laisi iyipada iṣiro wọn.
Kini igo akọkọ ti Ifarabalẹ Flash fojusi?
Ifarabalẹ Filaṣi jẹ IO-mọ: o dinku data ti o pa laarin SRAM on-chip yiyara ati iranti bandiwidi giga ti o lọra, eyiti o jẹ igo gidi kuku ju iṣiro funrararẹ.
Bawo ni Ifarabalẹ Filaṣi ṣe yago fun titoju matrix akiyesi N-by-N ni kikun?
O ṣe iṣiro iṣiro naa nitorinaa bulọọki kọọkan baamu ni SRAM iyara, ṣiṣe iṣiro ati ikojọpọ awọn abajade apa kan laisi ohun elo gbogbo matrix ni HBM.
Ilana wo ni o jẹ ki Ifarabalẹ Flash ṣe iṣiro softmax ni deede laisi ri gbogbo ila ni ẹẹkan?
softmax ori ayelujara n tọju iwọn ṣiṣe ti o pọju ati iyeida ṣiṣiṣẹ lakoko awọn alẹmọ ṣiṣanwọle, tun ṣe awọn abajade apa kan ni iṣaaju ki isọdọtun ipari jẹ deede.
Kini idi ti Ifarabalẹ Filaṣi ṣe iranlọwọ pupọ julọ pẹlu awọn ilana gigun?
Awọn iwọn matrix akiyesi aifọwọyi bi N-squared ni iranti, nitorinaa yago fun ibi ipamọ ni kikun n jẹ ki awọn ifowopamọ ti o tobi julọ ni deede nigbati awọn ilana ba gun.
Kini apẹrẹ 'IO-mọ' ti akiyesi Flash ṣe pataki idinku?
IO-mọ tumọ si pe algorithm jẹ apẹrẹ ni ayika idiyele gbigbe data ni awọn ipo iranti, idinku ijabọ HBM kuku ju awọn iṣẹ ṣiṣe iṣiro.