Nchịkọta
Ngụgharị mgbagharị (ntụgharị gradient ma ọ bụ mmalite) na-echekwa ebe nchekwa GPU n'oge ọzụzụ site na ịtụfu mmemme etiti na ngafe mbu na ịtụgharị ha n'oge ngafe azụ. Ọ na-azụta mkpirisi maka ike ịzụ ụdịdị ka ukwuu ma ọ bụ ogologo usoro n'otu ngwaike.
Azụmahịa recomputation arụ ọrụ bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ịdịmma nlereanya, ọnụ ahịa akụrụngwa, nkwụsị, na ntụkwasị obi n'ọ̀tụ̀tụ̀.
Ime miri emi
Backpropagation chọrọ ọrụ aga-agafe iji gbakọọ gradients, yabụ na ndabara, a na-echekwa ihe nrụpụta oyi akwa ọ bụla - nnukwu ọnụ ahịa ebe nchekwa na-eto na nha ụdị, nha ogbe, na ogologo usoro. Ngụkọta nrụnye na-edobe naanị tenors ole na ole 'checkpoint' (na-abụkarị naanị oke oyi akwa) ma tụfuo ndị ọzọ. N'oge ngafe azụ azụ, ọ na-emegharị ngụkọ ga-aga n'ihu n'etiti ebe nleba anya iji megharịa mmemme ndị a tụfuru na-achọ. Nsonaazụ a kpochapụrụ bụ na ebe a na-enyocha ebe a na-etinye n'ígwé sqrt (N), ebe nchekwa na-adaba na O (sqrt (N)) ka ị na-agbakwunye ihe dị ka otu ngafe na-aga n'ihu (~ 33% karịa). Nhọrọ dị iche iche na-agbakọ naanị ọnụ ala-mana-ncheta-dị arọ (dị ka nlebara anya ma ọ bụ nkwụsị) mgbe ị na-echekwa ndị dị oke ọnụ, na-enweta ọtụtụ n'ime nchekwa nchekwa maka obere nkwụghachi n'elu.
Nghọta nka nka
Azụmaahịa bụ isi bụ ebe nchekwa na FLOPs. Ngụgharị zuru ezu na-agbakwunye otu ngafe na-aga n'ihu kwa nzọụkwụ (~ 30-40% ji nwayọọ nwayọọ) mana ọ nwere ike belata ebe nchekwa ọrụ site n'usoro dị ukwuu. Ntugharị smart bụ nhọrọ nyocha: chọpụta ops ndị buru ibu mana ha dị ọnụ ala (softmax, Layernorm, GELU, akara nlebara anya) wee gbakọọ naanị ndị ahụ, ebe ị na-edobe nsonaazụ GEMM dị oke ọnụ - na-ebelata mkpọkọ efu.
Ịmalite ịgbakọ ngụkọ azụmaahịa
Ngụgharị mgbagharị (ntụgharị gradient ma ọ bụ mmalite) na-echekwa ebe nchekwa GPU n'oge ọzụzụ site na ịtụfu mmemme etiti na ngafe mbu na ịtụgharị ha n'oge ngafe azụ. Ọ na-azụta mkpirisi maka ike ịzụ ụdịdị ka ukwuu ma ọ bụ ogologo usoro n'otu ngwaike. Azụmahịa recomputation arụ ọrụ bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ịdịmma nlereanya, ọnụ ahịa akụrụngwa, nkwụsị, na ntụkwasị obi n'ọ̀tụ̀tụ̀. Iji wuo nghọta miri emi, were Activation Recomputation Tradeoffs dị ka ihe nlere arụ ọrụ, ọ bụghị otu njirimara: kọwapụta nsonaazụ achọrọ, dokwuo anya echiche, kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji azụmaahịa Recomputation Tradeoffs na-ebuli ụkpụrụ ụlọ, data na akụrụngwa megide ntụkwasị obi na ọnụ ahịa. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'otu oge ahụ, ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Ịzụ nnukwu transformer nke na-agaghị adabara ma ọ bụghị site na ịlele ngọngọ oyi akwa ọ bụla
Iji PyTorch's torch.utils.checkpoint kechie ihe ngbanwe ma belata ebe nchekwa ọrụ.
Nhọrọ nke nleba anya/softmax na Megatron-LM iji chekwaa ebe nchekwa na obere nwayọ
Na-enyere ogologo usoro ogologo aka na mmefu ego GPU edoziri site na ịgbakọ ọrụ ọrụ kama ịchekwa ha.
Usoro mmejuputa
Azụmahịa mmụgharị nke ịgbalite na omume
Ịzụ nnukwu transformer nke na-agaghị adabara ma ọ bụghị site na ịlele ngọngọ oyi akwa ọ bụla.
Ịzụ nnukwu transformer nke na-agaghị adabara ma ọ bụghị site n'ịtụle ihe mgbochi oyi akwa ọ bụla Otu egwuregwu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru arụpụtaghị ihe na ụgwọ njehie na oge.
Azụmahịa mmụgharị nke ịgbalite na omume
Iji PyTorch's torch.utils.checkpoint kechie ihe ngbanwe ma belata ebe nchekwa ọrụ.
Iji PyTorch's torch.utils.checkpoint iji kechie blocks transformer na ibelata ebe nchekwa activation Teams na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka oke ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie na oge.
Azụmahịa mmụgharị nke ịgbalite na omume
Nhọrọ nke nleba anya/softmax na Megatron-LM iji chekwaa ebe nchekwa na obere nwayọ.
Nhọrọ nke nleba anya / softmax na Megatron-LM iji chekwaa ebe nchekwa na obere nwayọọ nwayọọ Otu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
Azụmahịa mmụgharị nke ịgbalite na omume
Na-enyere ogologo usoro ogologo aka na mmefu ego GPU edoziri site na ịgbakọ ọrụ ọrụ kama ịchekwa ha.
Ịkwado ogologo usoro ogologo oge na mmefu ego GPU edoziri site na ịmaliteghachi ọrụ kama ịchekwa ha Otu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ na-ebuwanye ibu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara.
A na-eledakarị ihe akụrụngwa na ụgwọ ọrụ anya.
Ọdịiche nchekwa na nleba anya nwere ike itolite ka sistemu na-adịwanye mgbagwoju anya.
Map mmejuputa
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya.
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Benchmark n'okpuru ibu dị adị na ọnọdụ data.
Benchmark n'okpuru ibu dị adị na ọnọdụ data. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.