InfiniBand na Mtandao wa RDMA
InfiniBand ni muunganisho wa kasi ya juu, wa kusubiri muda wa chini unaounganisha seva na GPU katika makundi ya AI, na RDMA huruhusu mashine moja kusoma au kuandika kumbukumbu ya nyingine bila kuhusisha CPU.
Muhtasari
Together they are the plumbing that keeps thousands of GPUs fed with data during large-model training.
Dive ya kina
Unapofunza modeli kwenye maelfu ya GPU, mtandao mara nyingi unakuwa kikwazo, si chipsi. InfiniBand ni kitambaa kilichobadilishwa kusudi kilichoundwa kwa hili: inatoa kipimo data cha kila kiungo katika mamia ya gigabiti kwa sekunde (NDR inaendeshwa kwa 400 Gb/s) na utulivu wa kiwango cha microsecond. Ujanja wake muhimu ni Ufikiaji wa Kumbukumbu ya Moja kwa Moja wa Mbali (RDMA), ambayo huhamisha data moja kwa moja kati ya kumbukumbu ya nodi mbili, kwa kupita kerneli ya mfumo-endeshi na nakala za CPU zinazopunguza kasi ya TCP/IP ya kawaida. 'kernel bypass' hii huachilia mizunguko ya CPU na kupunguza kasi ya kusubiri. InfiniBand pia hutoa udhibiti wa mtiririko wa maunzi kwa kitambaa kisicho na hasara, na swichi za NVIDIA za Quantum pamoja na adapta za ConnectX hutawala kompyuta kuu za AI. RoCE (RDMA juu ya Converged Ethernet) huleta manufaa sawa ya RDMA kwa mitandao ya Ethaneti.
Ufahamu wa Kiufundi
RDMA hufanya kazi kupitia vitenzi na jozi za foleni. Maombi huchapisha maombi ya kazi ya kutuma na kupokea foleni; adapta ya mtandao (HCA) inazisoma na kuhamisha data moja kwa moja kwenye maeneo ya kumbukumbu yaliyosajiliwa mapema, yaliyobandikwa kwenye seva pangishi ya mbali. Kwa sababu NIC hushughulikia uhamishaji katika maunzi na kiini cha Mfumo wa Uendeshaji kimepuuzwa, kuna nakala sifuri za data na hakuna CPU ya kila pakiti inayokatiza kwa uhamishaji mwingi. Udhibiti wa mtiririko wa mkopo wa safu ya kiungo wa InfiniBand huzuia kufurika kwa bafa, na kufanya kitambaa kikose hasara bila dhoruba za kutuma tena.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa InfiniBand na RDMA Networking
Kipimo cha data kinaendelea kupanda: XDR InfiniBand inalenga Gb 800/s kwa kila kiungo, huku kukiwa na ramani za barabara kuelekea 1.6 Tb/s. Ushindani unaongezeka huku Ultra Ethernet Consortium ikibuni Ethernet inayolingana na InfiniBand kwa mzigo wa kazi wa AI, na vile kompyuta ya ndani ya mtandao (SHARP) inapakua hesabu ya pamoja kwenye swichi zenyewe. Tarajia muunganisho mkali wa GPU-kwa-mtandao, viunganishi vya macho ili kukata nishati, na vitambaa vilivyowekwa kwenye makundi ya mamia ya maelfu ya vichapuzi kadri miundo ya mipakani inavyokua.
Utekelezaji wa Ulimwengu Halisi
Kuunganisha maelfu ya GPU kwenye kompyuta kuu ya AI ili data ya gradient isogee kati ya nodi katika sekunde ndogo wakati wa mafunzo yaliyosambazwa.
Kuruhusu seva moja kusoma kumbukumbu ya mwingine moja kwa moja (RDMA) ili kuharakisha mifumo ya faili iliyosambazwa na hifadhidata bila uendeshaji wa CPU.
Kuendesha shughuli za NCCL za kupunguza kabisa juu ya InfiniBand ili kusawazisha uzani wa muundo kwenye nguzo ya GPU
Kutumia RoCE kuleta uhamishaji wa muda wa chini wa mtindo wa RDMA kwa mitandao iliyopo ya kituo cha data cha Ethernet
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfiniBand and RDMA Networking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Vipengele vya Mabomba ya Uhandisi na Uchapishaji wa Data
Maswali yanayoulizwa mara kwa mara
What is InfiniBand and RDMA Networking?
InfiniBand ni muunganisho wa kasi ya juu, wa kusubiri muda wa chini unaounganisha seva na GPU katika makundi ya AI, na RDMA huruhusu mashine moja kusoma au kuandika kumbukumbu ya nyingine bila kuhusisha CPU. Kwa pamoja ni mabomba ambayo huhifadhi maelfu ya GPU kulishwa na data wakati wa mafunzo ya miundo mikubwa.
Je, RDMA kimsingi inaruhusu kompyuta moja kufanya nini?
Ufikiaji wa Kumbukumbu ya Moja kwa Moja wa Mbali husogeza data moja kwa moja kati ya kumbukumbu ya nodi mbili, kwa kupita kernel ya Mfumo wa Uendeshaji na nakala za CPU, ambayo hupunguza muda wa kusubiri na kuacha mizunguko ya CPU.
Kwa nini InfiniBand inapata latency ya chini zaidi kuliko mitandao ya kawaida ya TCP/IP?
Adapta za InfiniBand huhamisha data moja kwa moja hadi/kutoka kwenye kumbukumbu iliyobandikwa kwenye maunzi na kukwepa kinu cha Uendeshaji, hivyo basi kuondoa ukatizaji wa kila pakiti ya CPU na nakala za data.
Takriban ni kipimo data cha kila kiungo ambacho NDR InfiniBand hutoa?
NDR (Inayofuata Kiwango cha Data) InfiniBand inaendeshwa kwa Gb 400/s kwa kila kiungo, huku XDR ikilenga 800 Gb/s katika kizazi kijacho.
Katika RDMA, 'jozi za foleni' zinatumika kwa nini?
Maombi baada ya maombi ya kazi kutuma na kupokea foleni (jozi za foleni); adapta ya kituo cha mwenyeji huwasoma na kufanya uhamisho wa kumbukumbu moja kwa moja.
RoCE ni nini?
RoCE inawakilisha RDMA juu ya Converged Ethernet, ikiruhusu uhamishaji wa muda wa chini, kernel-bypass kwenye vitambaa vya kawaida vya Ethaneti badala ya InfiniBand asili.