Multi-Apeere GPU Partitioning
Multi-Apeere GPU (MIG) jẹ ẹya NVIDIA ọna ẹrọ ege kan nikan GPU ti ara sinu ọpọ sọtọ hardware ipin.
Akopọ
O ṣe pataki nitori pe o jẹ ki ohun imuyara ti o gbowolori kan sin ọpọlọpọ awọn iṣẹ kekere ni ẹẹkan laisi wọn dabaru pẹlu ara wọn.
Jin Dive
Ti ṣe afihan pẹlu NVIDIA A100 (Ampere) ati tẹsiwaju lori H100 ati awọn GPU aarin-data tuntun, MIG gbe GPU kan sinu awọn iṣẹlẹ ominira meje. Ko dabi bibi akoko sọfitiwia, MIG n pese ipinya ohun elo otitọ: apẹẹrẹ kọọkan n gba awọn olutọpa ṣiṣanwọle iyasọtọ tirẹ (SMs), awọn ege kaṣe L2, awọn olutona iranti, ati bibẹ pẹlẹbẹ ti o wa titi ti iranti bandiwidi giga. A100 kan pẹlu 40GB le pin si awọn iṣẹlẹ 5GB meje, tabi awọn ti o tobi ju. Ipin kọọkan n huwa bi GPU adaduro ti o kere ju, nitorinaa iṣẹ ariwo tabi jamba ni apẹẹrẹ kan ko le pa tabi ba omiran jẹ. Iṣeduro didara-ti-iṣẹ ti o jẹ ki MIG jẹ apẹrẹ fun iṣẹ inference, awọn iṣupọ agbatọju pupọ, ati awọn agbegbe idagbasoke nibiti ọpọlọpọ awọn olumulo pin kaadi kan.
Imọ-imọ-ẹrọ
MIG n ṣiṣẹ nipasẹ jija ti inu agbekọja inu GPU ti ara nitorina apẹẹrẹ kọọkan ni ọna ti o wa titi si bibẹ iranti tirẹ ati awọn SMS. NVIDIA n ṣalaye awọn profaili bi awọn ida bii 1g.5gb (ege oniṣiro kan, 5GB) to 7g.40gb. Apeere GPU ṣe ifipamọ iranti ati SMS; laarin rẹ Iṣiro Apeere pin awọn SMS siwaju sii. Nitoripe awọn ipin jẹ imudara ohun elo, awọn aṣiṣe, awọn aṣiṣe ECC, ati bandiwidi iranti duro ni ihamọ si apẹẹrẹ ẹyọkan.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Multi-Apeere GPU Partitioning
Bi awọn GPU ṣe ndagba si 80GB, 141GB, ati kọja, ipinpin di iwunilori diẹ sii nitori awọn awoṣe kọọkan ko ṣọwọn nilo gbogbo kaadi fun itọkasi. Reti Kubernetes tighter ati isọpọ awọsanma, ipadasẹhin ti o ni agbara laisi ṣiṣan oju ipade, ati awọn profaili ti o dara julọ. Awọn olutaja ti o ni idije n lepa iru SR-IOV-ara-ara GPU agbara, ati awọn iru ẹrọ aibikita olupin ti npọ si igbẹkẹle ipin lati gbe ọpọlọpọ awọn awoṣe lọpọlọpọ ati ge egbin aiṣiṣẹ.
Real-World imuse
Olupese awọsanma pin A100 kan si awọn iṣẹlẹ meje nitoribẹẹ awọn alabara meje kọọkan gba iṣeduro kan, ege GPU ti o ya sọtọ fun itọkasi.
Iṣupọ iwadii ile-ẹkọ giga kan fun ọmọ ile-iwe PhD kọọkan ni apẹẹrẹ 10GB MIG fun ṣiṣe adaṣe dipo monopolizing gbogbo awọn kaadi.
Iṣẹ ifọkasi n ṣe akopọ ede kekere pupọ ati awọn awoṣe iran lori H100 kan, ọkọọkan ni ipin tirẹ pẹlu airotẹlẹ asọtẹlẹ.
Iṣupọ Kubernetes kan n polowo awọn iṣẹlẹ MIG gẹgẹbi awọn orisun eto eto ki awọn pods beere 'nvidia.com/mig-1g.5gb' bii eyikeyi orisun miiran.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Instance GPU Partitioning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Olona-ṣiṣe Learning
Awọn ibeere ti a beere nigbagbogbo
Kini Multi-Instance GPU Partitioning?
Multi-Apeere GPU (MIG) jẹ ẹya NVIDIA ọna ẹrọ ege kan nikan GPU ti ara sinu ọpọ sọtọ hardware ipin. O ṣe pataki nitori pe o jẹ ki ohun imuyara gbowolori kan sin ọpọlọpọ awọn ẹru iṣẹ kekere ni ẹẹkan laisi wọn ni kikọlu ara wọn.
Iru ipinya wo ni MIG pese laarin awọn iṣẹlẹ?
MIG fi agbara mu ipinya ni ohun elo, iyasọtọ SMs, awọn ege kaṣe L2, ati iranti si apẹẹrẹ kọọkan ki awọn ẹru iṣẹ ko le dabaru.
Lori kini faaji NVIDIA ti ṣe afihan MIG akọkọ?
MIG debuted pẹlu Ampere-orisun A100 ati ki o tẹsiwaju lori H100 ati nigbamii data aarin GPUs.
Kini nọmba ti o pọju ti awọn iṣẹlẹ ti GPU ti o lagbara MIG le pin si?
GPU ti o lagbara MIG gẹgẹbi A100 le jẹ ipin si awọn iṣẹlẹ ominira meje.
Ninu profaili MIG kan bi '1g.5gb', kini '5gb' ṣe aṣoju?
Profaili naa ṣe koodu awọn ege oniṣiro (1g) ati iranti igbẹhin (5GB) ti a fun apẹẹrẹ.
Iru iṣẹ wo ni MIG paapaa dara julọ fun?
MIG nmọlẹ nigbati ọpọlọpọ awọn kekere, awọn ẹru iṣẹ ti o ya sọtọ (bii itọkasi) pin kaadi kan pẹlu didara iṣẹ ti iṣeduro.