InfiniBand এবং RDMA নেটওয়ার্কিং
InfiniBand হল একটি উচ্চ-গতির, কম লেটেন্সি আন্তঃসংযোগ যা AI ক্লাস্টারে সার্ভার এবং GPU-গুলিকে লিঙ্ক করে এবং RDMA একটি মেশিনকে CPU জড়িত না করেই অন্যের মেমরি পড়তে বা লিখতে দেয়।
ওভারভিউ
Together they are the plumbing that keeps thousands of GPUs fed with data during large-model training.
গভীর ডুব
আপনি যখন হাজার হাজার জিপিইউ জুড়ে একটি মডেলকে প্রশিক্ষণ দেন, তখন নেটওয়ার্ক প্রায়শই বাধা হয়ে দাঁড়ায়, চিপস নয়। InfiniBand একটি সুইচড ফ্যাব্রিক এর উদ্দেশ্যে তৈরি করা হয়েছে: এটি প্রতি সেকেন্ডে শত শত গিগাবিট (NDR 400 Gb/s এ চলে) এবং মাইক্রোসেকেন্ড-স্কেল লেটেন্সিতে প্রতি-লিঙ্ক ব্যান্ডউইথ অফার করে। এর মূল কৌশলটি হল রিমোট ডাইরেক্ট মেমরি অ্যাক্সেস (RDMA), যা অপারেটিং-সিস্টেম কার্নেল এবং CPU কপিগুলিকে বাইপাস করে দুটি নোডের মেমরির মধ্যে সরাসরি ডেটা স্থানান্তর করে যা সাধারণ TCP/IP কে ধীর করে। এই 'কার্নেল বাইপাস' CPU চক্রকে মুক্ত করে এবং লেটেন্সি কমিয়ে দেয়। InfiniBand একটি লসলেস ফ্যাব্রিকের জন্য হার্ডওয়্যার প্রবাহ নিয়ন্ত্রণও প্রদান করে, এবং NVIDIA-এর কোয়ান্টাম সুইচ প্লাস ConnectX অ্যাডাপ্টারগুলি AI সুপারকম্পিউটারগুলিতে আধিপত্য বিস্তার করে। RoCE (আরডিএমএ ওভার কনভার্জড ইথারনেট) ইথারনেট নেটওয়ার্কগুলিতে একই রকম RDMA সুবিধা নিয়ে আসে।
প্রযুক্তিগত অন্তর্দৃষ্টি
RDMA ক্রিয়াপদ এবং সারি জোড়ার মাধ্যমে কাজ করে। একটি অ্যাপ্লিকেশন সারি পাঠাতে এবং গ্রহণ করার জন্য কাজের অনুরোধ পোস্ট করে; নেটওয়ার্ক অ্যাডাপ্টার (HCA) সেগুলি পড়ে এবং দূরবর্তী হোস্টে প্রাক-নিবন্ধিত, পিন করা মেমরি অঞ্চলে সরাসরি ডেটা স্থানান্তর করে। যেহেতু NIC হার্ডওয়্যারে স্থানান্তর পরিচালনা করে এবং OS কার্নেল বাইপাস করা হয়, সেখানে শূন্য ডেটা কপি থাকে এবং বাল্ক ট্রান্সফারের জন্য প্রতি-প্যাকেট CPU বাধা দেয় না। InfiniBand-এর লিঙ্ক-লেয়ার ক্রেডিট-ভিত্তিক প্রবাহ নিয়ন্ত্রণ বাফার ওভারফ্লো প্রতিরোধ করে, ফ্যাব্রিককে রিট্রান্সমিশন ঝড় ছাড়াই ক্ষতিহীন করে তোলে।
কৌশলগত প্রভাব
খরচ ও বাজেট
আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
সুস্পষ্ট সিদ্ধান্ত
কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
মান নিয়ন্ত্রণ
ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
InfiniBand এবং RDMA নেটওয়ার্কিং এর ভবিষ্যত
ব্যান্ডউইথ ক্রমাগত আরোহণ করে: XDR InfiniBand প্রতি লিঙ্কে 800 Gb/s লক্ষ্য করে, 1.6 Tb/s দিকে রোডম্যাপ সহ। আল্ট্রা ইথারনেট কনসোর্টিয়াম ইথারনেট ডিজাইন করে যা AI ওয়ার্কলোডের জন্য InfiniBand-এর সাথে মেলে, এবং ইন-নেটওয়ার্ক কম্পিউটিং (SHARP) সুইচগুলিতে সম্মিলিত গণিত অফলোড করার ফলে প্রতিযোগিতা তীব্র হচ্ছে। আরও শক্ত GPU-টু-নেটওয়ার্ক ইন্টিগ্রেশন, পাওয়ার কাট করার জন্য অপটিক্যাল ইন্টারকানেক্ট এবং ফ্রন্টিয়ার মডেলগুলি বাড়ার সাথে সাথে কয়েক হাজার এক্সিলারেটরের ক্লাস্টারে স্কেল করা কাপড়ের প্রত্যাশা করুন।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি এআই সুপার কম্পিউটারে হাজার হাজার জিপিইউ সংযুক্ত করা যাতে বিতরণ করা প্রশিক্ষণের সময় গ্রেডিয়েন্ট ডেটা নোডের মধ্যে মাইক্রোসেকেন্ডে চলে যায়
CPU ওভারহেড ছাড়াই বিতরণ করা ফাইল সিস্টেম এবং ডাটাবেসগুলিকে ত্বরান্বিত করতে একটি সার্ভারকে অন্যের মেমরি সরাসরি পড়তে দেওয়া (RDMA)
একটি GPU ক্লাস্টার জুড়ে মডেল ওজন সিঙ্ক্রোনাইজ করতে InfiniBand-এর উপর NCCL অল-রিডুস অপারেশন চালানো
বিদ্যমান ইথারনেট ডেটা-সেন্টার নেটওয়ার্কগুলিতে RDMA-স্টাইলের কম-বিলম্বিত স্থানান্তর আনতে RoCE ব্যবহার করা
ঝুঁকি এবং প্রহরী
একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
বাস্তবায়ন রোডম্যাপ
বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfiniBand and RDMA Networking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
ফিচার ইঞ্জিনিয়ারিং পাইপলাইন এবং ডেটা সংস্করণ
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is InfiniBand and RDMA Networking?
InfiniBand হল একটি উচ্চ-গতির, কম লেটেন্সি আন্তঃসংযোগ যা AI ক্লাস্টারে সার্ভার এবং GPU-গুলিকে লিঙ্ক করে এবং RDMA একটি মেশিনকে CPU জড়িত না করেই অন্যের মেমরি পড়তে বা লিখতে দেয়। তারা একসাথে প্লাম্বিং যা বৃহৎ-মডেল প্রশিক্ষণের সময় হাজার হাজার GPU-কে ডেটা দিয়ে খাওয়ায়।
RDMA মৌলিকভাবে একটি কম্পিউটারকে কী করতে দেয়?
রিমোট ডাইরেক্ট মেমরি অ্যাক্সেস OS কার্নেল এবং সিপিইউ কপিগুলিকে বাইপাস করে দুটি নোডের মেমরির মধ্যে ডেটা সরে যায়, যা লেটেন্সি হ্রাস করে এবং CPU চক্রকে মুক্ত করে।
কেন InfiniBand সাধারণ TCP/IP নেটওয়ার্কিংয়ের তুলনায় অনেক কম লেটেন্সি অর্জন করে?
InfiniBand অ্যাডাপ্টারগুলি হার্ডওয়্যারে পিন করা মেমরিতে/থেকে সরাসরি ডেটা স্থানান্তর করে এবং OS কার্নেলকে বাইপাস করে, প্রতি-প্যাকেট CPU বাধা এবং ডেটা কপিগুলিকে বাদ দেয়।
মোটামুটিভাবে NDR InfiniBand প্রতি লিঙ্ক ব্যান্ডউইথ প্রদান করে?
NDR (পরবর্তী ডেটা রেট) InfiniBand প্রতি লিঙ্কে 400 Gb/s তে চলে, XDR পরবর্তী প্রজন্মে 800 Gb/s কে লক্ষ্য করে।
RDMA-তে, 'কিউ জোড়া' কিসের জন্য ব্যবহৃত হয়?
সারি (সারি জোড়া) পাঠাতে এবং গ্রহণ করার জন্য কাজের অনুরোধের পরে আবেদনগুলি; হোস্ট চ্যানেল অ্যাডাপ্টার সেগুলি পড়ে এবং সরাসরি মেমরি স্থানান্তর করে।
RoCE কি?
RoCE এর পূর্ণরূপ হল RDMA ওভার কনভার্জড ইথারনেট, যা নেটিভ ইনফিনিব্যান্ডের পরিবর্তে স্ট্যান্ডার্ড ইথারনেট কাপড়ে কম-লেটেন্সি, কার্নেল-বাইপাস স্থানান্তরের অনুমতি দেয়।