Nchịkọta
Aghụghọ na-echekwa ebe nchekwa nke na-adọba nnukwu nchekwa nke ọzụzụ (steeti ndị na-ebuwanye ibu, gradients, mgbe ụfọdụ ibu) na CPU RAM ma ọ bụ na NVMe SSDs kama ebe nchekwa GPU dị ụkọ. Ọ na-ahapụ ndị mmadụ ka ha zụọ ụdịdị ka ukwuu karịa ebe nchekwa GPU ha ga-enye ma ọ bụghị.
Optimizer State Offloading na CPU na NVMe bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ịdịmma nlereanya, ọnụ ahịa akụrụngwa, latency, na ntụkwasị obi n'ogo.
Ime miri emi
Mgbe ị na-azụ netwọkụ akwara ozi na ihe na-eme ka Adam dị ka Adam, oke ọ bụla na-ebu ibu ọzọ: ọnụ ọgụgụ na-agba ọsọ abụọ (oge na mgbanwe), gbakwunyere nnomi zuru oke nke ịdị arọ, yana gradient ya. N'ọzụzụ ziri ezi agwakọtara nke a nwere ike ịgbakọta ihe ruru 16 bytes kwa oke, na-akụda bytes abụọ maka ibu ahụ n'onwe ya. Nbudata na-ebupụ akpa ahụ na GPU. CPU offload iyi optimizer na-ekwu n'ime usoro RAM nkịtị n'elu bọs PCIe, ebe NVMe na-ebuli ha na-agbada ruo diski steeti siri ike ngwa ngwa. N'ịbụ nke DeepSpeed's ZeRO-Infinity na ZeRO-Offload na-ewu ewu, usoro a na-azụ ahịa ngwa ngwa maka ikike, na-ahapụ otu GPU ma ọ bụ obere ụyọkọ nke ọma ụdị nwere ọtụtụ ijeri paramita.
Nghọta nka nka
Isi ihe bụ iji mgbako na-agbakọ mmegharị data. Steeti Optimizer na-anọdụ ala na CPU/NVMe; n'oge ngafe azụ, a na-ebufe akụkụ n'elu PCIe tupu achọrọ ha na nzọụkwụ optimizer n'onwe ya na-agbakarị na CPU. ZeRO-Offload na-edobe float32 nna ukwu na oge Adam na CPU, yabụ naanị mgbakọ na mwepụ na-aga n'ihu na azụ na-anọ na GPU. NVMe na-agbakwunye cache nwere ọkwa ka steeti terabyte wee wụsa na diski ebe akụkụ dị ọkụ na-anọ na RAM.
Mastering Optimizer State Offloading na CPU na NVMe
Aghụghọ na-echekwa ebe nchekwa nke na-adọba nnukwu nchekwa nke ọzụzụ (steeti ndị na-ebuwanye ibu, gradients, mgbe ụfọdụ ibu) na CPU RAM ma ọ bụ na NVMe SSDs kama ebe nchekwa GPU dị ụkọ. Ọ na-ahapụ ndị mmadụ ka ha zụọ ụdịdị ka ukwuu karịa ebe nchekwa GPU ha ga-enye ma ọ bụghị. Optimizer State Offloading na CPU na NVMe bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ịdịmma nlereanya, ọnụ ahịa akụrụngwa, latency, na ntụkwasị obi n'ogo. Iji wulite nghọta miri emi, mesoo Optimizer State Offloading na CPU na NVMe dị ka ihe nlere arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, wee kewapụ ihe sistemụ ahụ nwere ike ime nke ọma na ihe ka chọrọ mkpebi ndị ọkachamara.
Na omume, otu siri ike na-eji Optimizer State Offloading na CPU na NVMe na-ebuli ụkpụrụ ụlọ, data, na nhọrọ akụrụngwa megide ntụkwasị obi na ọnụ ahịa. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'otu oge ahụ, ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Nhazi nke ọma 13-ijeri-iri LLM na otu 24 GB nke ndị na-azụ ahịa GPU site na iji DeepSpeed Zero-Offload iji kwanye steeti Adam na CPU RAM.
Obere ụlọ nyocha nyocha na-azụ ụdị ihe atụ ijeri ijeri na GPU ole na ole site na ịwụfu steeti optimizer na draịva NVMe na ZeRO-Infinity.
Ịmakụ ihu na-eme ngwa ngwa nhazi nke na-eme ka CPU wepụ ya ka ndị ọrụ nwee ike ịrụ ọrụ nhazi nke ọma nke ga-atụfu njehie na-enweghị ncheta.
Ndị mbido na-akwụ ụgwọ na-akwụ ụgwọ dị ọnụ ala, GPU igwe ojii dị ala ma na-ebufe na NVMe agbakwunyere kama ịkwụ ụgwọ maka kaadị 80 GB dị elu.
Usoro mmejuputa
Mbudata steeti Optimizer na CPU na NVMe na omume
Nhazi nke ọma 13-ijeri-iri LLM na otu 24 GB nke ndị na-azụ ahịa GPU site na iji DeepSpeed Zero-Offload iji kwanye steeti Adam na CPU RAM.
Nlegharị anya nke ọma 13-billion-parameter LLM na otu 24 GB nke ndị na-azụ ahịa site na iji DeepSpeed ZeRO-Offload ịkwanye steeti Adam na CPU RAM Teams na-enwetakarị nsonaazụ ka mma mgbe ha kọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
Mbudata steeti Optimizer na CPU na NVMe na omume
Obere ụlọ nyocha nyocha na-azụ ụdị ihe atụ ijeri ijeri na GPU ole na ole site na ịwụfu steeti optimizer na draịva NVMe na ZeRO-Infinity.
Obere ụlọ nyocha na-azụ ihe atụ nke ọtụtụ ijeri ijeri na GPU ole na ole site n'ịwụfu steeti optimizer na NVMe draịva na ZeRO-Infinity Teams na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ọnụ ọnụ, ma soro ma uru nrụpụta na ụgwọ njehie n'ime oge.
Mbudata steeti Optimizer na CPU na NVMe na omume
Ịmakụ ihu na-eme ngwa ngwa nhazi nke na-eme ka CPU wepụ ya ka ndị ọrụ nwee ike ịrụ ọrụ nhazi nke ọma nke ga-atụfu njehie na-enweghị ncheta.
Ịmak Ihu Accelerate configs nke na-enyere CPU mbupụ ka ndị ọrụ nwee ike ịrụ ọrụ nhazi zuru oke nke ga-atụfu njehie na-enweghị ncheta Otu dị iche iche na-enwetakwa nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Mbudata steeti Optimizer na CPU na NVMe na omume
Ndị mbido na-akwụ ụgwọ na-akwụ ụgwọ dị ọnụ ala, GPU igwe ojii dị ala ma na-ebufe na NVMe agbakwunyere kama ịkwụ ụgwọ maka kaadị 80 GB dị elu.
Ndị mbido na-akwụ ụgwọ na-akwụ ụgwọ dị ọnụ ala, igwe ojii GPU dị ala ma na-ebufe na NVMe agbakwunyere kama ịkwụ ụgwọ maka kaadị 80 GB kacha elu Otu egwuregwu na-enwetakwa nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ọnụ ọnụ, ma soro ma uru nrụpụta na ụgwọ njehie ka oge na-aga.
Ihe ize ndụ & okporo ụzọ nche
Ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara.
A na-eledakarị ihe akụrụngwa na ụgwọ ọrụ anya.
Ọdịiche nchekwa na nleba anya nwere ike itolite ka sistemu na-adịwanye mgbagwoju anya.
Map mmejuputa
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya.
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Benchmark n'okpuru ibu dị adị na ọnọdụ data.
Benchmark n'okpuru ibu dị adị na ọnọdụ data. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.