Imọ Itọsọna
Slurm fun AI Awọn iṣupọ Ikẹkọ
Slurm jẹ oluṣakoso fifuye iṣẹ orisun-ìmọ ti o ṣeto ati ṣiṣe awọn iṣẹ lori awọn iṣupọ iširo iṣẹ ṣiṣe giga, ati pe o ti di yiyan aiyipada fun ikẹkọ AI nla.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
O ṣe pataki nitori pe o ni igbẹkẹle pinpin ikẹkọ nla kọja ẹgbẹẹgbẹrun GPUs.
Jin Dive
Slurm (IwUlO Linux ti o rọrun fun Isakoso orisun) ti ipilẹṣẹ ni supercomputing ati ni bayi agbara ọpọlọpọ awọn iṣupọ ikẹkọ AI ti o tobi julọ ni agbaye. Awọn olumulo fi awọn iwe afọwọkọ ipele silẹ pẹlu sbatch, beere awọn orisun bii awọn apa ati awọn GPUs pẹlu awọn itọsọna bii --gres=gpu:8, ati awọn ila Slurm, ṣe pataki, ati ṣe ifilọlẹ iṣẹ naa. Ifilọlẹ srun rẹ nfa awọn ilana iṣakojọpọ kọja awọn apa, eyiti o so pọ nipa ti ara pẹlu awọn ilana pinpin bi PyTorch DDP ati NCCL. Slurm tọpa iṣiro awọn oluşewadi, fi agbara mu ipin-titọ ati awọn opin ipin, ati mimu ṣiṣe ṣiṣe eto ifẹhinti lati sọ awọn iṣẹ kekere sinu awọn ela. Fun ikẹkọ awoṣe iwaju, awọn ẹgbẹ gbarale Slurm lati ṣakoso awọn ẹgbẹẹgbẹrun GPUs, tun bẹrẹ lati awọn aaye ayẹwo lẹhin awọn ikuna ipade, ati ni ipamọ agbara iyasọtọ fun awọn ṣiṣe ọsẹ-ọpọlọpọ pipẹ.
Real-World imuse
Laabu iwaju kan ṣe ifilọlẹ ṣiṣe ikẹkọ ọsẹ-ọpọlọpọ kọja awọn ẹgbẹẹgbẹrun GPUs pẹlu iwe afọwọkọ sbatch kan ti o n beere awọn ọgọọgọrun awọn apa.
Oluwadi kan fi 'srun --gres=gpu:8' silẹ lati gba awọn GPU mẹjọ lori ipade kan fun idanwo PyTorch DDP kan.
Iṣeto afẹyinti ṣe iho iṣẹ igbelewọn kukuru sinu awọn GPU ti ko ṣiṣẹ lakoko ti ikẹkọ nla ti o ni ipamọ n duro de lati bẹrẹ.
Lẹhin ipade kan kuna aarin-ṣiṣe, Slurm beere iṣẹ naa ati pe o tun bẹrẹ lati aaye ayẹwo tuntun dipo ti bẹrẹ lẹẹkansi.
Ọjọ iwaju ti Slurm fun Awọn iṣupọ Ikẹkọ AI
Slurm tẹsiwaju lati ṣafikun-ti nwaye awọsanma, atilẹyin eiyan nipasẹ Pyxis ati Enroot, ati awọn ẹya GPU ti o ni wiwọ. Bii awọn iṣupọ AI ṣe iwọn si awọn 100,000-plus GPUs, nireti ifarada ẹbi ti o lagbara, isọpọ-ibẹrẹ atunbere laifọwọyi, ati awọn iṣẹ rirọ ti o tun iwọn lẹhin awọn ikuna. Ọpọlọpọ awọn ajo ni bayi nṣiṣẹ Slurm lẹgbẹẹ tabi labẹ Kubernetes, ati awọn oluṣeto arabara ṣe ifọkansi lati darapo ṣiṣe ọna HPC pẹlu irọrun-ilu abinibi fun awọn ṣiṣe ikẹkọ ti o tobi ju lailai.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Slurm for AI Training Clusters quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Slurm fun Awọn iṣupọ Ikẹkọ AI?
Slurm jẹ oluṣakoso fifuye iṣẹ orisun-ìmọ ti o ṣeto ati ṣiṣe awọn iṣẹ lori awọn iṣupọ iširo iṣẹ ṣiṣe giga, ati pe o ti di yiyan aiyipada fun ikẹkọ AI nla. O ṣe pataki nitori pe o ni igbẹkẹle kaakiri awọn iṣẹ ikẹkọ nla kọja ẹgbẹẹgbẹrun awọn GPUs.
Aṣẹ wo ni awọn olumulo lo nigbagbogbo lati fi iṣẹ ipele kan silẹ si Slurm?
sbatch fi iwe afọwọkọ ipele ti o ṣe apejuwe awọn orisun ati awọn aṣẹ fun iṣẹ kan si isinyi Slurm.
Bawo ni iṣẹ Slurm kan ṣe n beere awọn GPUs?
Eto Awọn orisun Generic (GRES) jẹ ki awọn iṣẹ beere GPUs ni gbangba, fun apẹẹrẹ --gres=gpu:8.
Apakan Slurm wo ni o ṣe awọn ipinnu ṣiṣe eto aarin?
slurmctld jẹ daemon oludari ti o ṣeto awọn iṣẹ, lakoko ti slurmd nṣiṣẹ lori ipade kọọkan lati ṣe ifilọlẹ awọn iṣẹ-ṣiṣe.
Why can srun help launch distributed training tasks inside a Slurm allocation?
srun launches task steps in the allocation and exposes Slurm task information; distributed frameworks may still require explicit rendezvous settings.
Kini idi ti ṣiṣe eto ifẹhinti ni Slurm?
Backfill ṣe ilọsiwaju iṣamulo nipa didaṣe awọn iṣẹ kekere sinu awọn ela ṣiṣeto niwọn igba ti wọn ko ba Titari awọn iṣẹ ipamọ sẹhin.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii