Akopọ Communication ati NCCL
Ibaraẹnisọrọ akojọpọ jẹ bii ẹgbẹ kan ti awọn GPU ṣe paarọ ati ṣajọpọ data, ati NCCL jẹ ile-ikawe NVIDIA ti o jẹ ki awọn paṣipaarọ yẹn yarayara.
Akopọ
Awọn iṣẹ bii gbogbo-dinku jẹ ikọlu ọkan ti ikẹkọ pinpin, muuṣiṣẹpọ awọn gradients kọja gbogbo GPU ni igbesẹ kọọkan.
Jin Dive
Ikẹkọ awoṣe nla tumọ si pe GPU kọọkan ṣe iṣiro awọn gradients lori bibẹ pẹlẹbẹ data tirẹ, lẹhinna gbogbo awọn GPU gbọdọ gba lori abajade apapọ ṣaaju igbesẹ atẹle. Iṣọkan yẹn ni a ṣe pẹlu awọn iṣẹ apapọ: gbogbo-dindinku awọn iye akopọ kọja awọn GPU ati fun gbogbo eniyan ni abajade; gbogbo-apejọ n gba nkan GPU kọọkan sinu ẹda kikun lori gbogbo wọn; igbohunsafefe rán ọkan GPU ká data si awọn iyokù; din-tuka daapọ lẹhinna pin. NCCL (NVIDIA Collective Communications Library) ṣe imuse wọnyi daradara kọja awọn GPU ni olupin ati kọja awọn olupin, ni lilo awọn algoridimu ti o mọ topology bi oruka ati igi gbogbo-dinku. O nilokulo NVLink inu ipade kan ati InfiniBand tabi RoCE laarin awọn apa, ati pe o jẹ ẹhin ibaraẹnisọrọ labẹ PyTorch DDP, FSDP, DeepSpeed, ati Megatron.
Imọ-imọ-ẹrọ
Oruka gbogbo-din ni algoridimu Ayebaye: Awọn GPU ṣe oruka ọgbọn kan, ati pe data ti pin si awọn ṣoki ti o pin kaakiri nitorinaa igbesẹ kọọkan ni agbekọja ibaraẹnisọrọ, ṣiṣe lapapọ bandiwidi gbigbe-ti aipe ati aijọju ominira ti kika GPU. Fun ọpọlọpọ awọn apa, awọn algoridimu ti o da lori igi dinku idaduro nipasẹ apapọ awọn abajade ni akosoagbasoke. NCCL idojukọ-ṣawari topology, mu algorithm ti o dara julọ, ati pe o le gbe mathematiki idinku sinu nẹtiwọọki pẹlu NVIDIA SHARP, idinku data ti o gbọdọ kọja awọn ọna asopọ.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Ibaraẹnisọrọ Ajọpọ ati NCCL
Gẹgẹbi iwọn awọn iṣupọ si awọn ọgọọgọrun egbegberun GPUs, ibaraẹnisọrọ pọ si ni gaba lori akoko ikẹkọ, nitorinaa awọn ile-ikawe apapọ jẹ aala ti o gbona. Reti jinle inu-nẹtiwọọki iširo (awọn iyipada ti n ṣe idinku), iṣiro to dara julọ ti iṣiro ati ibaraẹnisọrọ lati tọju lairi, ati awọn akojọpọ konge kekere ti o dinku awọn baiti gbe. Idije tun n dide, pẹlu awọn igbiyanju olutaja-agbelebu ati orisun-orisun Ethernet RDMA titari awọn omiiran, lakoko ti NCCL n tọju isọpọ mimu pọ pẹlu NVLink, NVSwitch, ati awọn aṣọ opiti ti n yọ jade.
Real-World imuse
Mimuuṣiṣẹpọ awọn gradients gbogbo igbesẹ ikẹkọ kọja gbogbo awọn GPU ni lilo gbogbo-dinku ni PyTorch DistributedDataParallel
Pinpin awọn ipinlẹ iṣapeye ati apejọ awọn aye lori ibeere pẹlu gbogbo-kojọpọ ati idinku-tuka ni FSDP tabi DeepSpeed ZeRO
Sisọ awọn iwọn awoṣe ibẹrẹ lati GPU kan si gbogbo awọn miiran ni ibẹrẹ ti ṣiṣe ikẹkọ
Lilo oruka gbogbo-din lori NVLink ati InfiniBand lati jẹ ki bandiwidi ga ga kọja awọn iṣupọ GPU-opopona pupọ
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Collective Communication and NCCL quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Online ati Aisinipo Ẹya Nṣiṣẹ Skew
Awọn ibeere ti a beere nigbagbogbo
Kini ibaraẹnisọrọ apapọ ati NCCL?
Ibaraẹnisọrọ akojọpọ jẹ bii ẹgbẹ kan ti awọn GPU ṣe paarọ ati ṣajọpọ data, ati NCCL jẹ ile-ikawe NVIDIA ti o jẹ ki awọn paṣipaarọ yẹn yarayara. Awọn iṣẹ bii gbogbo-dinku jẹ lilu ọkan ti ikẹkọ pinpin, mimuuṣiṣẹpọ awọn gradients kọja gbogbo GPU ni igbesẹ kọọkan.
Kini iṣẹ-ṣiṣe idinku gbogbo ṣe aṣeyọri ni ikẹkọ pinpin?
Gbogbo-din awọn akopọ (tabi bibẹẹkọ daapọ) iye kan kọja gbogbo GPU ati pinpin abajade kanna pada si gbogbo wọn, eyiti o jẹ bi awọn gradients ṣe muṣiṣẹpọ.
Kini adape NCCL duro fun?
NCCL jẹ ile-ikawe Ibaraẹnisọrọ Ajọpọ NVIDIA, eyiti o ṣe imuse pupọ-GPU pupọ ati awọn iṣẹ apapọ apapọ-opopona.
Kini idi ti oruka gbogbo-din ni ka bandiwidi-ti aipe?
Nipa gige awọn data ati gbigbe awọn ege ni ayika iwọn ọgbọn kan, gbogbo ọna asopọ ni a lo nigbakanna ati gbigbe lapapọ di ominira ni aijọju ti nọmba awọn GPU.
Iṣe apapọ wo ni o ṣajọ nkan data GPU kọọkan sinu ẹda kikun ti o waye nipasẹ gbogbo awọn GPU?
Gbogbo-apejọ n gba awọn ege ọtọtọ lati gbogbo GPU ati pe o pejọ pipe lori gbogbo wọn, ti a lo ni agbara ni ikẹkọ sharded bii FSDP.
Kini NVIDIA SHARP ṣe fun awọn iṣẹ apapọ?
SHARP ṣe iširo-nẹtiwọọki nẹtiwọọki, ṣiṣe apakan idinku ninu iyipada ki data ti o kere si gbọdọ kọja awọn ọna asopọ, iyara awọn akojọpọ.