Imọ Itọsọna
Iṣakojọpọ Ipinle Optimizer si Sipiyu ati NVMe
Ẹtan fifipamọ-iranti ti o duro si ibi ipamọ ti o wuwo ti ikẹkọ (awọn ipinlẹ iṣapeye, awọn gradients, nigbakan awọn iwuwo) ni Ramu Sipiyu tabi lori NVMe SSDs dipo iranti GPU ti o ṣọwọn.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
O jẹ ki awọn eniyan ṣe ikẹkọ awọn awoṣe ti o tobi pupọ ju iranti GPU wọn yoo gba laaye.
Jin Dive
Nigbati o ba kọ nẹtiwọọki nkankikan pẹlu oluṣapejuwe bii Adam, gbogbo paramita gbe ẹru afikun: awọn iṣiro ṣiṣiṣẹ meji (akoko ati iyatọ), pẹlu ẹda pipe pipe ti iwuwo, pẹlu itọsi rẹ. Ninu ikẹkọ idapọ-konge eyi le lapapọ ni aijọju 16 awọn baiti fun paramita, dwarfing awọn baiti 2 fun iwuwo funrararẹ. Offloading gbe ẹru yẹn kuro ni GPU. Sipiyu offload ṣiṣan optimizer ipinle sinu arinrin eto Ramu lori PCIe bosi, nigba ti NVMe offload Titari wọn gbogbo ọna si isalẹ lati sare ri to-ipinle disks. Gbajumo nipasẹ DeepSpeed's ZeRO-Infinity ati ZeRO-Offload, ilana naa ṣe iṣowo iyara aise fun agbara, jẹ ki GPU kan tabi iṣupọ kekere ti o dara-tune awọn awoṣe pẹlu awọn ọkẹ àìmọye awọn aye.
Real-World imuse
DeepSpeed’s ZeRO-Offload tutorial trains a ten-billion-parameter GPT-2 configuration on a 32 GB V100, with CPU optimizer offloading and activation checkpointing.
A research team evaluates ZeRO-Infinity with CPU and NVMe tiers for a model that exceeds GPU-only capacity.
A fine-tuning team configures CPU optimizer offloading and measures host memory use and update time.
A team compares larger GPUs with offloading, accounting for CPU, storage, and transfer costs.
Ọjọ iwaju ti Ifilọlẹ Ipinle Optimizer si Sipiyu ati NVMe
Bii awọn awoṣe ti n tẹsiwaju si iranti GPU ti ndagba, ikojọpọ tiered ti di boṣewa kuku ju nla lọ. Reti isọdọkan wiwọ pẹlu awọn asopọ iyara bi NVLink-C2C ati awọn adagun iranti CXL ti o jẹ aala Sipiyu-GPU, pẹlu awọn oluṣeto ijafafa ti o sọ asọtẹlẹ iru ipinlẹ lati ṣaju. Awọn ayaworan ile-iṣọkan-iranti gẹgẹbi Grace Hopper dinku ijiya PCIe, ati awọn ilana n titari si ṣiṣe gbigbe gbigbe-ọpọlọpọ ni isunmọ si gbangba ki awọn aṣenọju le ṣe atunṣe awọn awoṣe nla lori ohun elo iwọntunwọnsi.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Optimizer State Offloading to CPU and NVMe quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Optimizer State Offloading si Sipiyu ati NVMe?
Ẹtan fifipamọ-iranti ti o duro si ibi ipamọ ti o wuwo ti ikẹkọ (awọn ipinlẹ iṣapeye, awọn gradients, nigbakan awọn iwuwo) ni Ramu Sipiyu tabi lori NVMe SSDs dipo iranti GPU ti o ṣọwọn. O jẹ ki eniyan ṣe ikẹkọ awọn awoṣe ti o tobi ju ti iranti GPU wọn yoo jẹ bibẹẹkọ gba laaye.
Kini ibi-afẹde akọkọ ti gbigbe awọn ipinlẹ iṣapeju silẹ si Sipiyu tabi NVMe?
Offloading gbe awọn ipinlẹ iṣapeye ti o wuwo kuro ni GPU sinu Ramu Sipiyu tabi NVMe, laaye iranti GPU fun awọn awoṣe nla le ṣe ikẹkọ lori ohun elo kanna.
For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
Each FP32 value uses four bytes: two moments plus one master weight total twelve. A sixteen-byte mixed-precision estimate includes other tensors as well.
Ẹya ilana wo ni o gbajumọ ti iṣapeye iwọn-nla ti a gbejade?
DeepSpeed's ZeRO-Offload ati ZeRO-Infinity ti ṣafihan ati awọn ipinlẹ iṣapeye gbigbe kaakiri si Sipiyu ati NVMe ni iwọn.
Kini idiyele iṣẹ ṣiṣe akọkọ ti gbigbe si Sipiyu tabi NVMe?
Gbigbe awọn ipinlẹ ni pipa-GPU tumọ si gbigbe data lori PCIe tabi si NVMe, eyiti o lọra ju iranti GPU lọ, nitorinaa ṣiṣejade silẹ ayafi ti o ba bori pẹlu iṣiro.
Bawo ni awọn ọna ṣiṣe piparẹ ṣe tọju pupọ ti lairi gbigbe naa?
Awọn oluṣeto ṣaju awọn ipin ti o nilo lori PCIe lakoko ti GPU tun n ṣe iṣiro, ibaraẹnisọrọ agbekọja pẹlu iṣiro lati boju-boju.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii