Ọkọọkan Parallelism ati Oruka Akiyesi
Ibaṣepọ ọkọọkan pin ọna titẹ sii gigun kan kọja ọpọlọpọ awọn GPU lẹgbẹẹ iwọn ami (akoko), ati Ifarabalẹ Oruka jẹ ki awọn GPU wọnyẹn ṣe iṣiro akiyesi gangan nipa gbigbe bọtini / awọn bulọọki iye ni ayika iwọn kan.
Akopọ
Together they make million-token context windows feasible without any single GPU holding the whole sequence.
Jin Dive
Ifarabalẹ deede nilo gbogbo ibeere lati rii gbogbo bọtini / iye, nitorinaa iranti imuṣiṣẹ dagba pẹlu gigun ọkọọkan ati K/V kikun gbọdọ wa. Ibaṣepọ ọkọọkan awọn ọkọọkan jẹ ki GPU kọọkan ni ipin kan ti awọn ami (ati awọn ibeere wọn, awọn bọtini, awọn iye). Ifarabalẹ oruka lẹhinna ṣeto awọn GPU ni iwọn ọgbọn: ẹrọ kọọkan tọju awọn ibeere agbegbe rẹ ti o wa titi lakoko ti awọn bulọọki K/V ti kọja hop-nipasẹ-hop ni ayika iwọn. Bi bulọọki kọọkan ti de, GPU ṣe iṣiro akiyesi apa kan ati pe o ṣajọpọ awọn abajade ni lilo ori ayelujara-softmax (ẹtan max/ apao ti nṣiṣẹ kanna bi FlashAttention). Lẹhin lupu kikun, gbogbo ibeere ti lọ si gbogbo bọtini gangan, laisi GPU ti o tọju gbogbo K/V lailai. Ni pataki, ibaraẹnisọrọ K/V ṣe agbekọja pẹlu iṣiro, nitorinaa o ṣafikun idiyele aago odi kekere.
Imọ-imọ-ẹrọ
Ifarabalẹ oruka da lori softmax ori ayelujara: akiyesi le ṣe iṣiro dina-nipasẹ-bulọọki lakoko ti o tọju iwọn ti o pọ julọ ati deede ti nṣiṣẹ, lẹhinna tun ṣe awọn akopọ apa kan tẹlẹ nigbati iye nla ba han. Eyi jẹ ki abajade mathematiki jẹ aami si akiyesi kikun. Oruka koja nikan K / V tentors (iwọn irẹjẹ pẹlu awọn Àkọsílẹ, ko ni kikun ọkọọkan), ati nitori kọọkan hop ká ibaraẹnisọrọ ni lqkan ti tẹlẹ Àkọsílẹ matmul, bandiwidi - ko iranti - di awọn diwọn ifosiwewe.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Isọdi Ọkọọkan ati Ifarabalẹ Iwọn
Parallelism ọkọọkan ti n di boṣewa fun ikẹkọ ọrọ-pipe gigun ati itọka, nigbagbogbo ni idapo pẹlu tensor ati pipeline parallelism sinu awọn ipilẹ ti o jọra '4D' tabi '5D'. Awọn iyatọ bii ṣi kuro tabi akiyesi zigzag ṣe atunṣe iwọntunwọnsi iṣẹ ti o ṣẹlẹ nipasẹ boju-boju idi. Reti awọn oruka ti o mọ nipa topology lori NVLink ati isọpọ ti o pọ julọ pẹlu gbigbe kaṣe KV-cache, titari awọn ipari ọrọ to wulo si awọn mewa ti awọn miliọnu awọn ami fun igbapada, awọn koodu koodu, ati awọn iwe aṣẹ gigun.
Real-World imuse
Ikẹkọ ọrọ-ọrọ ami-ami 1M LLM nipasẹ pipin lẹsẹsẹ kọọkan kọja awọn GPU 8 pẹlu Ifarabalẹ Oruka
Megatron-LM ọna ti o jọra ni idinku iranti imuṣiṣẹ ni LayerNorm ati awọn agbegbe idasile
Ṣiṣẹda gbogbo iwe kan tabi ibi ipamọ koodu nla ni iwe-iwọle siwaju kan laisi gige
Apapọ Ifarabalẹ Oruka pẹlu isọdọkan tensor lati baamu itọka ọrọ-ọna gigun-gigun lori ipade-GPU pupọ
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sequence Parallelism and Ring Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Tensor Parallelism fun Awọn awoṣe nla
Awọn ibeere ti a beere nigbagbogbo
What is Sequence Parallelism and Ring Attention?
Ibaṣepọ ọkọọkan pin ọna titẹ sii gigun kan kọja ọpọlọpọ awọn GPU lẹgbẹẹ iwọn ami (akoko), ati Ifarabalẹ Oruka jẹ ki awọn GPU wọnyẹn ṣe iṣiro akiyesi gangan nipa gbigbe bọtini / awọn bulọọki iye ni ayika iwọn kan. Papọ wọn jẹ ki awọn window ọrọ-ọrọ ami-ami-miliọnu ṣee ṣe laisi GPU kan ṣoṣo ti o dani gbogbo ọkọọkan.
Lẹgbẹẹ iwọn wo ni afiwera ọkọọkan pin data naa?
Ibaṣepọ ọkọọkan shards ọkọọkan kan kọja awọn GPUs lẹgbẹẹ ipo tokini/akoko, nitorinaa ẹrọ kọọkan ni o ni chunk kan ti awọn ami.
Kini akiyesi Iwọn ṣe laarin awọn GPU ti a ṣeto sinu oruka kan?
GPU kọọkan n tọju awọn ibeere agbegbe rẹ ti o wa titi ati ki o kọja bọtini / iye awọn bulọọki hop-by-hop ni ayika oruka ki gbogbo ibeere bajẹ rii gbogbo bọtini.
Ilana wo ni o jẹ ki akiyesi ṣe iṣiro Àkọsílẹ-nipasẹ-block ati pe o tun baamu akiyesi ni kikun gangan?
Online softmax tọpasẹ ti o pọju ati apao, ti n ṣe atunṣe awọn abajade apa kan bi o ṣe nilo, ṣiṣe iṣiro-ọlọgbọn dina ni nọmba aami si akiyesi kikun.
Kilode ti Ifarabalẹ oruka ko nilo GPU kan ṣoṣo lati tọju K/V ni kikun?
Nitori awọn bulọọki K/V de ni afikun ati pe GPU kọọkan ṣajọpọ akiyesi apakan, ko si ẹrọ ti o nilo gbogbo bọtini / iye ti a ṣeto sinu iranti ni ẹẹkan.
Bawo ni Ifarabalẹ Iwọn ṣe tọju ibaraẹnisọrọ lati jẹ gaba lori akoko asiko?
Ibaraẹnisọrọ K/V kọọkan ti hop ti wa ni agbekọja pẹlu awọn isodipupo matrix fun bulọọki lọwọlọwọ, nitorinaa akoko gbigbe ti wa ni pamọ pupọ lẹhin iṣiro.