Iṣakojọpọ Ipinle Optimizer si Sipiyu ati NVMe
Ẹtan fifipamọ-iranti ti o duro si ibi ipamọ ti o wuwo ti ikẹkọ (awọn ipinlẹ iṣapeye, awọn gradients, nigbakan awọn iwuwo) ni Ramu Sipiyu tabi lori NVMe SSDs dipo iranti GPU ti o ṣọwọn.
Akopọ
O jẹ ki awọn eniyan ṣe ikẹkọ awọn awoṣe ti o tobi pupọ ju iranti GPU wọn yoo gba laaye.
Jin Dive
Nigbati o ba kọ nẹtiwọọki nkankikan pẹlu oluṣapejuwe bii Adam, gbogbo paramita gbe ẹru afikun: awọn iṣiro ṣiṣiṣẹ meji (akoko ati iyatọ), pẹlu ẹda pipe pipe ti iwuwo, pẹlu itọsi rẹ. Ninu ikẹkọ idapọ-konge eyi le lapapọ ni aijọju 16 awọn baiti fun paramita, dwarfing awọn baiti 2 fun iwuwo funrararẹ. Offloading gbe ẹru yẹn kuro ni GPU. Sipiyu offload ṣiṣan optimizer ipinle sinu arinrin eto Ramu lori PCIe bosi, nigba ti NVMe offload Titari wọn gbogbo ọna si isalẹ lati sare ri to-ipinle disks. Gbajumo nipasẹ DeepSpeed's ZeRO-Infinity ati ZeRO-Offload, ilana naa ṣe iṣowo iyara aise fun agbara, jẹ ki GPU kan tabi iṣupọ kekere ti o dara-tune awọn awoṣe pẹlu awọn ọkẹ àìmọye awọn aye.
Imọ-imọ-ẹrọ
Bọtini naa ni gbigbe data agbekọja pẹlu iṣiro. Awọn ipinlẹ Optimizer joko ni Sipiyu/NVMe; lakoko iwọle sẹhin, awọn ipin ti wa ni iṣaaju lori PCIe ṣaaju ki wọn nilo wọn ati igbesẹ iṣapeye funrararẹ nigbagbogbo n ṣiṣẹ lori Sipiyu. ZeRO-Offload ntọju awọn iwọn titunto si float32 ati awọn akoko Adam lori Sipiyu, nitorinaa nikan siwaju ati sẹhin mathimatiki duro lori GPU. NVMe ṣe afikun kaṣe tiered ki awọn ipinlẹ terabyte-iwọn idasonu si disk lakoko ti awọn ipin gbona duro ni Ramu.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Ifilọlẹ Ipinle Optimizer si Sipiyu ati NVMe
Bii awọn awoṣe ti n tẹsiwaju si iranti GPU ti ndagba, ikojọpọ tiered ti di boṣewa kuku ju nla lọ. Reti isọdọkan wiwọ pẹlu awọn asopọ iyara bi NVLink-C2C ati awọn adagun iranti CXL ti o jẹ aala Sipiyu-GPU, pẹlu awọn oluṣeto ijafafa ti o sọ asọtẹlẹ iru ipinlẹ lati ṣaju. Awọn ayaworan ile-iṣọkan-iranti gẹgẹbi Grace Hopper dinku ijiya PCIe, ati awọn ilana n titari si ṣiṣe gbigbe gbigbe-ọpọlọpọ ni isunmọ si gbangba ki awọn aṣenọju le ṣe atunṣe awọn awoṣe nla lori ohun elo iwọntunwọnsi.
Real-World imuse
Atunse Fine LLM paramita 13-bilionu-biliọnu kan lori 24 GB onibara GPU kan ni lilo DeepSpeed ZeRO-Offload lati Titari awọn ipinlẹ Adam si Ramu Sipiyu.
Laabu iwadii kekere kan ṣe ikẹkọ awoṣe-ọpọ-bilionu-paramita kan lori awọn GPU diẹ nipa sisọ awọn ipinlẹ iṣapeye si awọn awakọ NVMe pẹlu ZeRO-Infinity.
Face Face Mu awọn atunto mu iyara ṣiṣẹ ti o mu ki Sipiyu ṣiṣẹ ki awọn olumulo le ṣiṣẹ awọn iṣẹ isọdọtun ni kikun ti yoo bibẹẹkọ jabọ awọn aṣiṣe iranti-jade.
Awọn ibẹrẹ ti o mọye idiyele yiyalo din owo, awọn GPU awọsanma iranti kekere ati gbigbe si NVMe ti o somọ dipo isanwo fun awọn kaadi 80 GB oke-ipele.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Optimizer State Offloading to CPU and NVMe quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Adam ati Adaptive Optimizers
Awọn ibeere ti a beere nigbagbogbo
Kini Optimizer State Offloading si Sipiyu ati NVMe?
Ẹtan fifipamọ-iranti ti o duro si ibi ipamọ ti o wuwo ti ikẹkọ (awọn ipinlẹ iṣapeye, awọn gradients, nigbakan awọn iwuwo) ni Ramu Sipiyu tabi lori NVMe SSDs dipo iranti GPU ti o ṣọwọn. O jẹ ki eniyan ṣe ikẹkọ awọn awoṣe ti o tobi ju ti iranti GPU wọn yoo jẹ bibẹẹkọ gba laaye.
Kini ibi-afẹde akọkọ ti gbigbe awọn ipinlẹ iṣapeju silẹ si Sipiyu tabi NVMe?
Offloading gbe awọn ipinlẹ iṣapeye ti o wuwo kuro ni GPU sinu Ramu Sipiyu tabi NVMe, laaye iranti GPU fun awọn awoṣe nla le ṣe ikẹkọ lori ohun elo kanna.
Fun Adam optimizer ni idapo konge, ewo ni data ojo melo je julọ julọ iranti fun paramita?
Adam tọju ipa, iyatọ, ati iwuwo titunto si pipe, lapapọ ni aijọju awọn baiti 16 fun paramita kan, pupọ diẹ sii ju iwuwo-idaji-baiti 2-konge.
Ẹya ilana wo ni o gbajumọ ti iṣapeye iwọn-nla ti a gbejade?
DeepSpeed's ZeRO-Offload ati ZeRO-Infinity ti ṣafihan ati awọn ipinlẹ iṣapeye gbigbe kaakiri si Sipiyu ati NVMe ni iwọn.
Kini idiyele iṣẹ ṣiṣe akọkọ ti gbigbe si Sipiyu tabi NVMe?
Gbigbe awọn ipinlẹ ni pipa-GPU tumọ si gbigbe data lori PCIe tabi si NVMe, eyiti o lọra ju iranti GPU lọ, nitorinaa ṣiṣejade silẹ ayafi ti o ba bori pẹlu iṣiro.
Bawo ni awọn ọna ṣiṣe piparẹ ṣe tọju pupọ ti lairi gbigbe naa?
Awọn oluṣeto ṣaju awọn ipin ti o nilo lori PCIe lakoko ti GPU tun n ṣe iṣiro, ibaraẹnisọrọ agbekọja pẹlu iṣiro lati boju-boju.