Checkpoint Sharding ati Resumable Training
Awọn ilana fun fifipamọ ipo ikẹkọ awoṣe kan ni awọn ege (shards) nitorinaa awọn awoṣe omiran le wa ni fipamọ ati tun gbejade laisi gige lori iranti tabi awọn opin disk, ati nitorinaa ṣiṣe ipadanu le gbe ni deede ibiti o ti lọ.
Akopọ
O ṣe pataki fun eyikeyi iṣẹ ikẹkọ ti o nṣiṣẹ fun awọn ọjọ tabi awọn ọsẹ kọja ọpọlọpọ awọn GPUs.
Jin Dive
Aaye ayẹwo ikẹkọ jẹ aworan ti ohun gbogbo ti o nilo lati tun bẹrẹ: awọn iwọn awoṣe, awọn ipinlẹ iṣapeye, iṣeto oṣuwọn-ẹkọ, ipo agberu data, ati awọn irugbin olupilẹṣẹ nọmba ID. Fun awọn awoṣe nla, aworan yi le jẹ awọn ọgọọgọrun gigabytes, ti o tobi ju fun faili kan tabi iranti ẹrọ ẹyọkan. Checkpoint sharding yapa ti o ya aworan kọja ọpọlọpọ awọn faili ati ọpọlọpọ awọn ipo, nitorina GPU kọọkan n kọ ege tirẹ nikan ni afiwe. Idanileko ti o tun bẹrẹ lẹhinna tun gbe awọn shards wọnyẹn ati mu ipo kikun pada ni deede. Laisi rẹ, ṣiṣe ọsẹ pupọ ti o kọlu ni wakati 200 yoo ni lati tun bẹrẹ lati ibere. Awọn ilana bii PyTorch Pinpin Checkpoint, DeepSpeed, ati ọna kika awọn aabo ifọpa ti Hugging Face Hub ṣe ilana ṣiṣe yii.
Imọ-imọ-ẹrọ
Sharding ṣiṣẹ nitori ikẹkọ pinpin tẹlẹ awọn iwọn awọn ipin ati awọn ipinlẹ iṣapeye kọja awọn ipo (nipasẹ data, tensor, tabi afiwe ZeRO). Kọọkan ipo serializes nikan awọn oniwe-ipin, igba si ọna kika bi safetensors ti o gba ọlẹ, iranti-maapu ikojọpọ. Faili atọka maapu awọn orukọ paramita si awọn faili shard. Lati bẹrẹ pada ni ipinnu, eto naa tun tẹsiwaju awọn ipinlẹ RNG, kika igbesẹ iṣapeye, ati aiṣedeede dataloader deede, nitorinaa atunṣiṣẹ tun ṣe ilana lẹsẹsẹ kanna ti awọn ipele.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Sharding Checkpoint ati Ikẹkọ Ipadabọ
Ṣiṣayẹwo n yipada lati iṣẹlẹ idaduro-aye-aye igbakọọkan si nkan aiṣiṣẹpọ ati pe o fẹrẹẹ jẹ ọfẹ. Reti diẹ sii ni-iranti ati ibi ayẹwo agbekọja ti o kọ awọn shards ni abẹlẹ lakoko ikẹkọ tẹsiwaju, pẹlu koodu-paarẹ ati awọn aaye ayẹwo ti o tun ye awọn ikuna ipade ti o wọpọ ni iwọn ẹgbẹrun-GPU. Awọn ile itaja ohun awọsanma ati awọn ipele NVMe agbegbe ti o yara yoo gbalejo awọn shards, ati awọn ọna kika idiwọn bi awọn ailewu yoo tọju ilọsiwaju ailewu, iyara, ikojọpọ apakan fun ipadabọ ikẹkọ mejeeji ati imuṣiṣẹ ifasilẹ.
Real-World imuse
Awoṣe-aala kan n ṣiṣẹ kọja awọn ẹgbẹẹgbẹrun awọn GPU ti o fipamọ awọn aaye ayẹwo idalẹnu ni gbogbo awọn igbesẹ ọgọrun diẹ nitoribẹẹ ipade kan ti o kuna nikan n gba awọn iṣẹju diẹ, kii ṣe awọn ọjọ.
Oju famọra n pin kaakiri awoṣe ṣiṣi nla bi ọpọ awọn shards safetensors pẹlu index.json kan ki awọn olumulo le ṣe igbasilẹ ati gbe e ni ẹyọkan.
Oluṣewadii kan ti o bẹrẹ iṣẹ-itanran ti o ni idilọwọ ti o tun mu ipa iṣapeye deede pada, kika igbesẹ, ati ipo agberu data lati tẹsiwaju lainidi.
Idanileko-iranran lori awọn GPUs awọsanma ti o ṣafẹri olowo poku, nibiti awọn aaye ayẹwo fifọ loorekoore jẹ ki iṣẹ naa ye ki a le jade ati tunto.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Checkpoint Sharding and Resumable Training quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Slurm fun AI Awọn iṣupọ Ikẹkọ
Awọn ibeere ti a beere nigbagbogbo
Kini Checkpoint Sharding ati Ikẹkọ Reresumeable?
Awọn ilana fun fifipamọ ipo ikẹkọ awoṣe kan ni awọn ege (shards) nitorinaa awọn awoṣe omiran le wa ni fipamọ ati tun gbejade laisi gige lori iranti tabi awọn opin disk, ati nitorinaa ṣiṣe ipadanu le gbe ni deede ibiti o ti lọ. Pataki fun eyikeyi iṣẹ ikẹkọ ti o nṣiṣẹ fun awọn ọjọ tabi awọn ọsẹ kọja ọpọlọpọ awọn GPUs.
Kini idi ti awọn aaye ayẹwo awoṣe nla ti pin si awọn ege?
Awọn aaye ayẹwo nla (awọn ọgọọgọrun GB) jẹ eyiti ko wulo bi faili kan; Sharding jẹ ki ọpọlọpọ awọn ipo kọ awọn ege wọn ni afiwe ati ki o mu ki ikojọpọ nkan ṣiṣẹ.
Yato si awọn iwọn awoṣe, kini ohun miiran gbọdọ aaye ayẹwo atunbere ni igbagbogbo fipamọ?
Lati bẹrẹ pada ni deede, aaye ibi-iṣayẹwo tọju awọn ipinlẹ iṣapeye, awọn ipinlẹ olupilẹṣẹ-nọmba-ID, kika igbesẹ, ati ibiti agberu data ti lọ kuro.
Kini anfani akọkọ ti ikẹkọ atunbere fun awọn iṣẹ pipẹ?
Pẹlu awọn aaye ayẹwo ti o tun pada, ṣiṣe idalọwọduro tun gbe ipo ti o fipamọ kẹhin ati tẹsiwaju, dipo jiju awọn ọjọ ti iṣiro.
Bawo ni ipo GPU kọọkan ṣe n ṣe alabapin si aaye ayẹwo fifọ?
Nitori ikẹkọ pinpin tẹlẹ ti pin awoṣe kọja awọn ipo, ipo kọọkan kọ o kan bibẹ pẹlẹbẹ rẹ, ṣiṣe fifipamọ ni afiwe ati iranti-daradara.
Ipa wo ni faili atọka ṣe ni awọn aaye ayẹwo ti o pin?
Atọka (fun apẹẹrẹ, index.json) ṣe igbasilẹ eyiti shard di paramita kọọkan mu ki awọn ẹru le mu ati tun awọn ege ti o tọ jọ.