የቴክኒክ መመሪያ

InfiniBand እና RDMA አውታረ መረብ

InfiniBand በ AI ክላስተር ውስጥ ያሉ አገልጋዮችን እና ጂፒዩዎችን የሚያገናኝ ከፍተኛ ፍጥነት ያለው ዝቅተኛ መዘግየት ያለው ግንኙነት ሲሆን RDMA አንድ ማሽን ሲፒዩን ሳያካትት የሌላውን ማህደረ ትውስታ እንዲያነብ ወይም እንዲጽፍ ያስችለዋል።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው

አጠቃላይ እይታ

Together they are the plumbing that keeps thousands of GPUs fed with data during large-model training.

ጥልቅ ዳይቭ

ሞዴልን በሺዎች በሚቆጠሩ ጂፒዩዎች ላይ ሲያሰለጥኑ ኔትወርኩ ብዙ ጊዜ ማነቆ ይሆናል እንጂ ቺፕስ አይሆንም። InfiniBand የተቀየረ የጨርቅ አላማ ነው ለዚህ የተሰራ፡ በአንድ አገናኝ ባንድዊድዝ በመቶዎች በሚቆጠሩ ጊጋቢት በሰከንድ (NDR በ400 Gb/s ይሰራል) እና በማይክሮ ሰከንድ ልኬት መዘግየት ያቀርባል። ዋናው ዘዴው የርቀት ቀጥታ ማህደረ ትውስታ መዳረሻ (RDMA) ሲሆን ይህም መረጃን በሁለት ኖዶች ማህደረ ትውስታ መካከል በማንቀሳቀስ የስርዓተ ክወናውን ከርነል እና የሲፒዩ ቅጂዎችን በማለፍ ተራውን የTCP/IPን ፍጥነት ይቀንሳል። ይህ 'kernel bypass' የሲፒዩ ዑደቶችን ነጻ ያደርጋል እና መዘግየትን ይቀንሳል። InfiniBand ለኪሳራ አልባ ጨርቅ የሃርድዌር ፍሰት መቆጣጠሪያን ይሰጣል፣ እና የNVDIA's Quantum switches እና ConnectX adapters AI ሱፐር ኮምፒውተሮችን ይቆጣጠራሉ። RoCE (RDMA over Converged Ethernet) ለኤተርኔት ኔትወርኮች ተመሳሳይ የRDMA ጥቅሞችን ያመጣል።

ቴክኒካዊ ግንዛቤ

RDMA የሚሠራው በግሥ እና በወረፋ ጥንድ ነው። አንድ መተግበሪያ ወረፋዎችን ለመላክ እና ለመቀበል የስራ ጥያቄዎችን ይለጥፋል; የአውታረ መረብ አስማሚው (ኤች.ሲ.ኤ) ያነባቸዋል እና መረጃን በቀጥታ ወደ ቀድሞ የተመዘገቡ ፣ የርቀት አስተናጋጁ ላይ ወደተሰኩ የማህደረ ትውስታ ክልሎች ያስተላልፋል። NIC በሃርድዌር ውስጥ ዝውውሩን ስለሚያስተናግድ እና የስርዓተ ክወናው ከርነል ስለታለፈ፣ ዜሮ የውሂብ ቅጂዎች እና በጥቅል ዝውውሩ ላይ ምንም አይነት የሲፒዩ መቋረጥ የለም። የ InfiniBand አገናኝ-ንብርብር ክሬዲት ላይ የተመሰረተ ፍሰት መቆጣጠሪያ ቋት ከመጠን በላይ እንዳይፈስ ይከላከላል፣ ይህም ጨርቁን ያለ ዳግም ማስተላለፊያ አውሎ ንፋስ ኪሳራ ያደርገዋል።

ስልታዊ ተጽእኖ

ወጪ እና በጀት

የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.

ግልጽ ውሳኔዎች

የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።

የጥራት ቁጥጥር

የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.

የ InfiniBand እና RDMA አውታረ መረብ የወደፊት ዕጣ

የመተላለፊያ ይዘት ማደጉን ይቀጥላል፡ XDR InfiniBand በአንድ አገናኝ 800 Gb/s ኢላማ ያደርጋል፣ የመንገድ ካርታዎች ወደ 1.6 Tb/s። የ Ultra Ethernet Consortium ከInfiniBand ለ AI የስራ ጫናዎች ጋር የሚዛመድ ኢተርኔትን ሲቀርጽ ፉክክር እየጠነከረ ነው፣ እና በኔትወርክ ውስጥ ማስላት (SHARP) የጋራ ሒሳብን ወደ መቀየሪያዎቹ እራሳቸው ሲያወርዱ። የድንበር ሞዴሎች እያደጉ ሲሄዱ ጥብቅ የጂፒዩ-ከአውታረ መረብ ውህደትን፣ ኃይልን ለመቁረጥ የኦፕቲካል ግንኙነቶችን እና ጨርቆችን ወደ በመቶ ሺዎች የሚቆጠሩ አፋጣኝ ስብስቦችን ይጠብቁ።

የእውነተኛ-ዓለም አተገባበር

በ AI ሱፐር ኮምፒዩተር ውስጥ በሺዎች የሚቆጠሩ ጂፒዩዎችን በማገናኘት ቀስ በቀስ ዳታ በስርጭት ጊዜ በማይክሮ ሰከንድ በመስቀለኛ መንገድ መካከል ይንቀሳቀሳል

የተከፋፈሉ የፋይል ስርዓቶችን እና የውሂብ ጎታዎችን ያለሲፒዩ ራስጌ ለማፋጠን አንድ አገልጋይ የሌላውን ማህደረ ትውስታ (RDMA) በቀጥታ እንዲያነብ መፍቀድ

የሞዴል ክብደቶችን በጂፒዩ ክላስተር ላይ ለማመሳሰል NCCL ሁሉንም የሚቀንሱ ስራዎችን በ InfiniBand ላይ በማሄድ ላይ

RDMA-style ዝቅተኛ መዘግየት ዝውውሮችን ወደ ነባር የኤተርኔት ዳታ-ማዕከል አውታረ መረቦች ለማምጣት RoCEን በመጠቀም

አደጋዎች እና የጥበቃ መንገዶች

አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።

የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.

ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።

የትግበራ ፍኖተ ካርታ

1

ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።

2

ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።

3

ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።

4

ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።

ማሰስዎን ይቀጥሉ

AI ቤንችማርኮች

ቴክኒካዊ አማራጮችን ሲያወዳድሩ ግምገማን በአግባቡ ይጠቀሙ።

መመሪያ ያንብቡ

የማጠናከሪያ ትምህርት

ወደ ቴክኒካዊ የሥልጠና ስልቶች በጥልቀት ይሂዱ።

መመሪያ ያንብቡ

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the InfiniBand and RDMA Networking quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

ባህሪ የምህንድስና ቧንቧዎች እና የውሂብ ስሪት

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is InfiniBand and RDMA Networking?

InfiniBand በ AI ክላስተር ውስጥ ያሉ አገልጋዮችን እና ጂፒዩዎችን የሚያገናኝ ከፍተኛ ፍጥነት ያለው ዝቅተኛ መዘግየት ያለው ግንኙነት ሲሆን RDMA አንድ ማሽን ሲፒዩን ሳያካትት የሌላውን ማህደረ ትውስታ እንዲያነብ ወይም እንዲጽፍ ያስችለዋል። በትልልቅ ሞዴል ስልጠና በሺዎች የሚቆጠሩ ጂፒዩዎችን በመረጃ እንዲመገቡ የሚያደርጋቸው የውሃ ቧንቧዎች አንድ ላይ ናቸው።

RDMA አንድ ኮምፒውተር በመሠረቱ ምን እንዲሠራ ይፈቅዳል?

የርቀት ቀጥታ ማህደረ ትውስታ ተደራሽነት የስርዓተ ክወና ከርነል እና ሲፒዩ ቅጂዎችን በማለፍ በሁለት አንጓዎች ማህደረ ትውስታ መካከል በቀጥታ ያንቀሳቅሳል ፣ ይህም መዘግየትን የሚቀንስ እና የሲፒዩ ዑደቶችን ነፃ ያወጣል።

ለምንድነው InfiniBand ከተራ የTCP/IP አውታረመረብ በጣም ያነሰ መዘግየት ያሳካል?

የኢንፊኒባንድ አስማሚዎች መረጃን በቀጥታ ወደ/ ከተሰካው ማህደረ ትውስታ በሃርድዌር ያስተላልፋሉ እና የስርዓተ ክወና ከርነልን በማለፍ የአንድ ፓኬት ሲፒዩ መቆራረጦችን እና የውሂብ ቅጂዎችን ያስወግዳል።

NDR InfiniBand ምን በእያንዳንዱ አገናኝ ባንድዊድዝ ያቀርባል?

NDR (የሚቀጥለው የውሂብ መጠን) InfiniBand በአንድ አገናኝ በ400 Gb/s ይሰራል፣ XDR በሚቀጥለው ትውልድ 800 Gb/s ኢላማ ያደርጋል።

በRDMA ውስጥ፣ 'የወረፋ ጥንድ' ለምን ጥቅም ላይ ይውላል?

ትግበራዎች ወረፋዎችን ለመላክ እና ለመቀበል የስራ ጥያቄዎችን ይለጥፋሉ (የወረፋ ጥንድ); የአስተናጋጁ ቻናል አስማሚ ያነባቸዋል እና የቀጥታ ማህደረ ትውስታ ዝውውሮችን ያከናውናል.

RoCE ምንድን ነው?

RoCE ማለት RDMA ከኮንቨርጅድ ኢተርኔት በላይ ማለት ነው፣ይህም ዝቅተኛ መዘግየት፣ ከርነል-ባይፓስ መደበኛ የኤተርኔት ጨርቆችን ከ InfiniBand ይልቅ ለማስተላለፍ ያስችላል።

ተዛማጅ መመሪያዎች