Akopọ
DeepSpeed (Microsoft) ati Megatron-LM (NVIDIA) jẹ awọn akopọ sọfitiwia ti o jẹ ki awọn awoṣe ikẹkọ pẹlu awọn ọkẹ àìmọye awọn ayeraye kọja ẹgbẹẹgbẹrun GPUs nitootọ ṣee ṣe. Laisi wọn, awọn awoṣe aala ode oni ko le baamu ni iranti tabi pari ikẹkọ ni akoko oye.
DeepSpeed ati Awọn akopọ Ikẹkọ Megatron jẹ bulọọki ile imọ-ẹrọ ti o kan didara awoṣe, idiyele amayederun, lairi, ati igbẹkẹle ni iwọn.
Jin Dive
Ikẹkọ awoṣe nla lori GPU kan ko ṣee ṣe nitori awọn iwuwo, gradients, ati awọn ipinlẹ iṣapeye ko baamu. Awọn akopọ wọnyi pin iṣẹ naa kọja ọpọlọpọ awọn GPUs. Megatron-LM ṣe aṣaaju-ọna tensor parallelism, gige awọn isodipupo matrix kọọkan inu Layer kọọkan kọja awọn GPUs, pẹlu afiwe opo gigun ti epo, eyiti o fi awọn ipele oriṣiriṣi sori oriṣiriṣi GPUs. Ifọwọsi Ibuwọlu DeepSpeed jẹ ZeRO (Zero Redundancy Optimizer), eyiti awọn ipinlẹ iṣapeye, awọn gradients, ati awọn ayeraye kọja awọn GPU dipo ṣiṣe ẹda wọn, gige fun iranti GPU kọọkan ni iyalẹnu. Awọn mejeeji nigbagbogbo ni idapo (Megatron-DeepSpeed) lati kọ awọn awoṣe bii BLOOM-176B ati Megatron-Turing NLG. Wọn tun ṣafikun deede-konge, ṣiṣayẹwo imuṣiṣẹ, ati gbigbe si Sipiyu tabi NVMe nitorina awọn awoṣe nla ṣe ikẹkọ lori ohun elo to lopin.
Imọ-imọ-ẹrọ
ZeRO ni awọn ipele mẹta ti jijẹ awọn ifowopamọ iranti: Ipele 1 awọn ipinlẹ iṣapeye shards, Ipele 2 tun awọn gradients shards, ati Ipele 3 shards awọn aye ara wọn, apejọ wọn lori ibeere lakoko awọn gbigbe siwaju ati sẹhin. Ni idapo pelu tensor parallelism (intra-Layer) ati pipeline parallelism (inter-Layer), eyi jẹ 'parallelism 3D.' Ẹdọfu bọtini jẹ ibaraẹnisọrọ lori oke: gbogbo pipin shard ṣe afikun ijabọ-GPU-si-GPU, nitorinaa awọn onimọ-ẹrọ tune pipin naa lati jẹ ki awọn ọna asopọ NVLink ati InfiniBand yara ni kikun.
Titunto si DeepSpeed ati Awọn akopọ Ikẹkọ Megatron
DeepSpeed (Microsoft) ati Megatron-LM (NVIDIA) jẹ awọn akopọ sọfitiwia ti o jẹ ki awọn awoṣe ikẹkọ pẹlu awọn ọkẹ àìmọye awọn ayeraye kọja ẹgbẹẹgbẹrun GPUs nitootọ ṣee ṣe. Laisi wọn, awọn awoṣe aala ode oni ko le baamu ni iranti tabi pari ikẹkọ ni akoko oye. DeepSpeed ati Awọn akopọ Ikẹkọ Megatron jẹ bulọọki ile imọ-ẹrọ ti o kan didara awoṣe, idiyele amayederun, lairi, ati igbẹkẹle ni iwọn. Lati kọ oye ti o jinlẹ, tọju DeepSpeed ati Awọn akopọ Ikẹkọ Megatron bi awoṣe iṣẹ, kii ṣe ẹya kan: ṣalaye awọn abajade ti o fẹ, ṣalaye awọn arosọ, ati ya sọtọ ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.
Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo DeepSpeed ati Awọn akopọ Ikẹkọ Megatron ṣe iṣapeye faaji, data, ati awọn yiyan amayederun lodi si igbẹkẹle ati idiyele. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun. Ni akoko kanna, Imudara iwọn ala kan le tọju awọn ailagbara eto to gbooro. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.
Ipa Ilana
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Real-World imuse
Ikẹkọ awoṣe BLOOM-176B multilingual ti ṣiṣi ni lilo akopọ Megatron-DeepSpeed ni idapo kọja awọn ọgọọgọrun ti GPUs.
Microsoft ati NVIDIA ikẹkọ 530-bilionu-parameter Megatron-Turing NLG awoṣe pẹlu 3D parallelism.
ZeRO-Offload jẹ ki awọn oniwadi ṣe itanran-tune awọn awoṣe paramita pupọ-bilionu-pupọ lori GPU iṣẹ kan ṣoṣo nipa sisọ awọn ipinlẹ iṣapeye si Ramu Sipiyu.
Lilo iṣayẹwo imuṣiṣẹ ni awọn akopọ wọnyi lati baamu awọn ferese ọrọ to gun gigun nipa ṣiṣe atunṣiro awọn iṣẹ ṣiṣe dipo fifi gbogbo wọn pamọ.
Awọn Ilana imuse
DeepSpeed ati Awọn akopọ Ikẹkọ Megatron ni iṣe
Ikẹkọ awoṣe BLOOM-176B multilingual ti ṣiṣi ni lilo akopọ Megatron-DeepSpeed ni idapo kọja awọn ọgọọgọrun ti GPUs.
Ikẹkọ awoṣe BLOOM-176B multilingual ti o ṣii ni lilo akopọ Megatron-DeepSpeed ni idapo kọja awọn ọgọọgọrun ti Awọn ẹgbẹ GPU nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.
DeepSpeed ati Awọn akopọ Ikẹkọ Megatron ni iṣe
Microsoft ati NVIDIA ikẹkọ 530-bilionu-parameter Megatron-Turing NLG awoṣe pẹlu 3D parallelism.
Microsoft ati NVIDIA ikẹkọ 530-bilionu-parameter Megatron-Turing NLG awoṣe pẹlu awọn ẹgbẹ parallelism 3D maa n gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.
DeepSpeed ati Awọn akopọ Ikẹkọ Megatron ni iṣe
ZeRO-Offload jẹ ki awọn oniwadi ṣe itanran-tune awọn awoṣe paramita pupọ-bilionu-pupọ lori GPU iṣẹ kan ṣoṣo nipa sisọ awọn ipinlẹ iṣapeye si Ramu Sipiyu.
ZeRO-Offload jẹ ki awọn oniwadi ṣe itanran-tune awọn awoṣe paramita pupọ-bilionu-biliọnu lori GPU iṣẹ kan nikan nipa sisọ awọn ipinlẹ iṣapeye si Awọn ẹgbẹ Ramu CPU nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.
DeepSpeed ati Awọn akopọ Ikẹkọ Megatron ni iṣe
Lilo iṣayẹwo imuṣiṣẹ ni awọn akopọ wọnyi lati baamu awọn ferese ọrọ to gun gigun nipa ṣiṣe atunṣiro awọn iṣẹ ṣiṣe dipo fifi gbogbo wọn pamọ.
Lilo ṣiṣayẹwo imuṣiṣẹ ni awọn akopọ wọnyi lati baamu awọn window ọrọ ti o gun gigun nipa ṣiṣatunṣe awọn iṣẹ ṣiṣe dipo titoju gbogbo wọn Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.