Slurm fun AI Awọn iṣupọ Ikẹkọ
Slurm jẹ oluṣakoso fifuye iṣẹ orisun-ìmọ ti o ṣeto ati ṣiṣe awọn iṣẹ lori awọn iṣupọ iširo iṣẹ ṣiṣe giga, ati pe o ti di yiyan aiyipada fun ikẹkọ AI nla.
Akopọ
O ṣe pataki nitori pe o ni igbẹkẹle pinpin ikẹkọ nla kọja ẹgbẹẹgbẹrun GPUs.
Jin Dive
Slurm (IwUlO Linux ti o rọrun fun Isakoso orisun) ti ipilẹṣẹ ni supercomputing ati ni bayi agbara ọpọlọpọ awọn iṣupọ ikẹkọ AI ti o tobi julọ ni agbaye. Awọn olumulo fi awọn iwe afọwọkọ ipele silẹ pẹlu sbatch, beere awọn orisun bii awọn apa ati awọn GPUs pẹlu awọn itọsọna bii --gres=gpu:8, ati awọn ila Slurm, ṣe pataki, ati ṣe ifilọlẹ iṣẹ naa. Ifilọlẹ srun rẹ nfa awọn ilana iṣakojọpọ kọja awọn apa, eyiti o so pọ nipa ti ara pẹlu awọn ilana pinpin bi PyTorch DDP ati NCCL. Slurm tọpa iṣiro awọn oluşewadi, fi agbara mu ipin-titọ ati awọn opin ipin, ati mimu ṣiṣe ṣiṣe eto ifẹhinti lati sọ awọn iṣẹ kekere sinu awọn ela. Fun ikẹkọ awoṣe iwaju, awọn ẹgbẹ gbarale Slurm lati ṣakoso awọn ẹgbẹẹgbẹrun GPUs, tun bẹrẹ lati awọn aaye ayẹwo lẹhin awọn ikuna ipade, ati ni ipamọ agbara iyasọtọ fun awọn ṣiṣe ọsẹ-ọpọlọpọ pipẹ.
Imọ-imọ-ẹrọ
Daemon oludari Slurm kan (slurmctld) ṣe awọn ipinnu ṣiṣe eto lakoko ti aṣoju slurmd lori ipade kọọkan n ṣe ifilọlẹ awọn iṣẹ ṣiṣe ati ipo ijabọ. Ohun elo Generic Resource (GRES) n tọpa awọn GPUs ki awọn iṣẹ beere fun wọn ni gbangba. srun ṣeto awọn oniyipada ayika (ipo, iwọn agbaye, adirẹsi oluwa) ti o pin awọn ile-ikawe ikẹkọ ka si bootstrap NCCL ibaraẹnisọrọ. Iṣeto afẹyinti jẹ ki awọn iṣẹ kukuru ṣiṣẹ ni kutukutu niwọn igba ti wọn ko ṣe idaduro awọn ifiṣura pataki-giga, ti o jẹ ki iṣamulo ga.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Slurm fun Awọn iṣupọ Ikẹkọ AI
Slurm tẹsiwaju lati ṣafikun-ti nwaye awọsanma, atilẹyin eiyan nipasẹ Pyxis ati Enroot, ati awọn ẹya GPU ti o ni wiwọ. Bii awọn iṣupọ AI ṣe iwọn si awọn 100,000-plus GPUs, nireti ifarada ẹbi ti o lagbara, isọpọ-ibẹrẹ atunbere laifọwọyi, ati awọn iṣẹ rirọ ti o tun iwọn lẹhin awọn ikuna. Ọpọlọpọ awọn ajo ni bayi nṣiṣẹ Slurm lẹgbẹẹ tabi labẹ Kubernetes, ati awọn oluṣeto arabara ṣe ifọkansi lati darapo ṣiṣe ọna HPC pẹlu irọrun-ilu abinibi fun awọn ṣiṣe ikẹkọ ti o tobi ju lailai.
Real-World imuse
Laabu iwaju kan ṣe ifilọlẹ ṣiṣe ikẹkọ ọsẹ-ọpọlọpọ kọja awọn ẹgbẹẹgbẹrun GPUs pẹlu iwe afọwọkọ sbatch kan ti o n beere awọn ọgọọgọrun awọn apa.
Oluwadi kan fi 'srun --gres=gpu:8' silẹ lati gba awọn GPU mẹjọ lori ipade kan fun idanwo PyTorch DDP kan.
Iṣeto afẹyinti ṣe iho iṣẹ igbelewọn kukuru sinu awọn GPU ti ko ṣiṣẹ lakoko ti ikẹkọ nla ti o ni ipamọ n duro de lati bẹrẹ.
Lẹhin ipade kan kuna aarin-ṣiṣe, Slurm beere iṣẹ naa ati pe o tun bẹrẹ lati aaye ayẹwo tuntun dipo ti bẹrẹ lẹẹkansi.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Slurm for AI Training Clusters quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
DeepSpeed ati awọn akopọ Ikẹkọ Megatron
Awọn ibeere ti a beere nigbagbogbo
Kini Slurm fun Awọn iṣupọ Ikẹkọ AI?
Slurm jẹ oluṣakoso fifuye iṣẹ orisun-ìmọ ti o ṣeto ati ṣiṣe awọn iṣẹ lori awọn iṣupọ iširo iṣẹ ṣiṣe giga, ati pe o ti di yiyan aiyipada fun ikẹkọ AI nla. O ṣe pataki nitori pe o ni igbẹkẹle kaakiri awọn iṣẹ ikẹkọ nla kọja ẹgbẹẹgbẹrun awọn GPUs.
Aṣẹ wo ni awọn olumulo lo nigbagbogbo lati fi iṣẹ ipele kan silẹ si Slurm?
sbatch fi iwe afọwọkọ ipele ti o ṣe apejuwe awọn orisun ati awọn aṣẹ fun iṣẹ kan si isinyi Slurm.
Bawo ni iṣẹ Slurm kan ṣe n beere awọn GPUs?
Eto Awọn orisun Generic (GRES) jẹ ki awọn iṣẹ beere GPUs ni gbangba, fun apẹẹrẹ --gres=gpu:8.
Apakan Slurm wo ni o ṣe awọn ipinnu ṣiṣe eto aarin?
slurmctld jẹ daemon oludari ti o ṣeto awọn iṣẹ, lakoko ti slurmd nṣiṣẹ lori ipade kọọkan lati ṣe ifilọlẹ awọn iṣẹ-ṣiṣe.
Kini idi ti srun ṣe dara pọ pẹlu awọn ilana ikẹkọ pinpin bi PyTorch DDP?
srun ṣe ifilọlẹ awọn iṣẹ ṣiṣe mimuuṣiṣẹpọ kọja awọn apa ati pese ipo ati alaye adirẹsi oluwa ti awọn ile-ikawe pinpin lo lati bata bata.
Kini idi ti ṣiṣe eto ifẹhinti ni Slurm?
Backfill ṣe ilọsiwaju iṣamulo nipa didaṣe awọn iṣẹ kekere sinu awọn ela ṣiṣeto niwọn igba ti wọn ko ba Titari awọn iṣẹ ipamọ sẹhin.