রেজিস্টার রিপোর্ট করে যে এআই বিক্রেতারা অনুমানের জন্য Nvidia GPU-এর বাইরে বৈচিত্র্য আনছে

কি হয়েছে

রেজিস্টার কাস্টম এবং বিকল্প এআই হার্ডওয়্যারের দিকে একটি প্রসারিত পদক্ষেপের প্রতিবেদন করে। এর অ্যাকাউন্টে সেরেব্রাসের মডুলার CS-4 র্যাক সিস্টেম, কাস্টম এক্সিলারেটর ডিজাইনে মার্ভেলের ক্রমবর্ধমান ভূমিকা, Google-এর বিশেষায়িত TPU-এর ক্রমাগত ব্যবহার, এবং স্বায়ত্তশাসিত যানবাহনের জন্য একটি মেশিন-লার্নিং অ্যাক্সিলারেটরের Waymo-এর বিকাশ অন্তর্ভুক্ত রয়েছে। প্রতিবেদনে Microsoft বেশ কয়েকটি উইন্ডোজ কাস্টমাইজেশন এবং এআই-মনিটরিং বৈশিষ্ট্য পুনরুদ্ধার করা হয়েছে, তবে এটি একটি পৃথক সেকেন্ডারি থ্রেড।

এআই ডেটাসেন্টারগুলিতে Nvidia-এর প্রভাবশালী ভূমিকার বাইরে একটি পদক্ষেপ হিসাবে এর সম্পাদকরা কী বর্ণনা করেছেন তার উপর 24 অগাস্টের রেজিস্টারের রিপোর্ট কেন্দ্রীভূত করে৷ বিক্রেতারা একটি একক অ্যাক্সিলারেটরের উপর নির্ভর না করে বিভিন্ন ধরণের সিলিকনের মধ্যে কাজের চাপ ক্রমবর্ধমানভাবে ভাগ করছে। এটি অনুমান উপস্থাপন করে, বা প্রশিক্ষিত মডেল থেকে আউটপুট তৈরি করে, প্রধান চাপের বিন্দু হিসাবে: প্রদানকারীরা অনুরোধ পরিবেশনের শক্তি এবং হার্ডওয়্যার খরচ নিয়ন্ত্রণ করার সময় কোডিং সহকারী এবং অন্যান্য ইন্টারেক্টিভ পরিষেবাগুলির জন্য উচ্চ টোকেন হার চায়। রেজিস্টারের নিবন্ধটি একটি পডকাস্ট ট্রান্সক্রিপ্ট এবং বিশ্লেষণ, তাই প্রতিটি প্রযুক্তিগত দাবির স্বাধীনভাবে যাচাইকৃত ডকুমেন্টেশনের পরিবর্তে এটি সেই আউটলেট থেকে প্রতিবেদন হিসাবে পড়া উচিত।

রেজিস্টার রিপোর্ট করে যে সেরিব্রাস বৃহৎ, মনোলিথিক সিস্টেম থেকে তার CS-4 র্যাক-স্কেল ডিজাইনের দিকে অগ্রসর হচ্ছে। পূর্বের সেরিব্রাস সিস্টেমগুলি একটি স্বয়ংসম্পূর্ণ তরল-ঠান্ডা চ্যাসিসে একটি বড়, শক্তি-ক্ষুধার্ত ওয়েফার-স্কেল চিপ স্থাপন করেছিল। নতুন পদ্ধতিটি একটি মডুলার র্যাক বিন্যাসে তিনটি চিপ স্থাপন করে, যা সংশ্লিষ্ট পাওয়ার-ডেলিভারি সরঞ্জাম প্রতিস্থাপন না করে কম্পিউট উপাদানগুলিকে প্রতিস্থাপন করার অনুমতি দেয়। রেজিস্টার বলে যে ডিজাইনটি ক্লক স্পিড, মেমরি ব্যান্ডউইথ এবং ইনপুট-আউটপুট স্পিড দ্বিগুণ করে, যখন একটি র্যাকে সিলিকনের তিনগুণ বেশি স্থাপন করে। এটি আরও বলে যে সেরেব্রাসের AWS এবং AMD এর সাথে অংশীদারিত্ব রয়েছে এবং সেই দ্রুত টোকেন প্রজন্ম কোডিং সহকারী এবং অন্যান্য অনুমান পরিষেবাগুলির জন্য আগ্রহ আকর্ষণ করেছে।

প্রতিবেদনে হাইপারস্কেলারের আশেপাশে একটি বৃহত্তর কাস্টম-সিলিকন ইকোসিস্টেম বর্ণনা করা হয়েছে: Google প্রায় 2015 সাল থেকে তার নিজস্ব টেনসর প্রসেসিং ইউনিট ব্যবহার করেছে এবং কাস্টম এক্সিলারেটর ডিজাইনের অংশগুলির জন্য Broadcom-এর উপর নির্ভর করছে, যখন Marvell কাস্টম XPU-এ একটি প্রতিযোগী হয়ে উঠছে এবং কানেক্টিভিটি পোর্ট তৈরি করার পর একটি প্রো-টেললেক্টিভিটি তৈরির মাধ্যমে। নিবন্ধটি ক্লাউড কোম্পানিগুলির সরবরাহকারীদের তুলনা করার বা একক ডিজাইন অংশীদারের উপর নির্ভরতা হ্রাস করার একটি উপায় হিসাবে এটিকে ফ্রেম করে, তবে একটি নির্দিষ্ট নতুন Google-Marvell চুক্তি নথিভুক্ত করে না; ভবিষ্যত গ্রাহক কৌশল এবং মূল্যের চাপ সম্পর্কে দাবিগুলি ভাষ্য, প্রতিষ্ঠিত উন্নয়ন নয়। Waymo একটি কাস্টম মেশিন-লার্নিং অ্যাক্সিলারেটর প্রকাশ করেছে যা যানবাহনের জন্য উদ্দিষ্ট কারণ সেন্সর ভলিউম এবং কম লেটেন্সি বিষয় যখন একটি বাধা উপস্থিত হয়। রেজিস্টার বলে যে Waymo ফিল্ড-প্রোগ্রামেবল গেট অ্যারেগুলির উপর অনেক বেশি নির্ভর করেছে এবং একটি অ্যাপ্লিকেশন-নির্দিষ্ট ইন্টিগ্রেটেড সার্কিটের বৃহত্তর গণনা ঘনত্ব এবং সহজ বিকাশের চেষ্টা করতে পারে, তবে কোনও নির্দিষ্টকরণ, পরীক্ষার ফলাফল, উত্পাদন সময়সূচী বা সুরক্ষা রেকর্ড সরবরাহ করে না। আলাদাভাবে, Microsoft চলমান উইন্ডোজ 11 টাস্কবার, আরও কাস্টমাইজযোগ্য প্রসঙ্গ মেনু এবং টাস্ক ম্যানেজার নিউরাল-প্রসেসিং-ইউনিট ওয়ার্কলোডের দৃশ্যমানতা পরীক্ষা করছে।

উত্স বিবরণ: theregister.com ↗

কেন এটা গুরুত্বপূর্ণ

স্থানান্তরটি AI পরিকাঠামোকে Nvidia GPU-এর এক শ্রেণীর উপর কম নির্ভরশীল করে তুলতে পারে এবং নির্দিষ্ট অনুমান কাজের চাপের জন্য ডিজাইন করা হার্ডওয়্যারের উপর আরও জোর দিতে পারে। দ্রুত প্রতিক্রিয়ার সময়, কম অপারেটিং খরচ, ভাল শক্তি দক্ষতা এবং সেন্সরগুলির সাথে কঠোর সংহতকরণ হল দ্য রেজিস্টার দ্বারা বর্ণিত বাস্তব লক্ষ্য। প্রতিবেদনটি প্রতিষ্ঠিত করে না যে কোনো বিকল্প বাস্তব-বিশ্ব স্থাপনায় ব্যাপকভাবে Nvidia ছাড়িয়ে গেছে।

ব্যবহারিক তাৎপর্য হল যে AI কর্মক্ষমতা শুধুমাত্র মডেল দ্বারা নির্ধারিত হয় না। রেজিস্টারের রিপোর্টিং দেখায় যে বিক্রেতারা নির্দিষ্ট সীমাবদ্ধতার জন্য অনুমানের নীচে হার্ডওয়্যার অপ্টিমাইজ করছে: ইন্টারেক্টিভ সরঞ্জামগুলির জন্য টোকেন-জেনারেশন গতি, ডেটাসেন্টার র্যাকের জন্য শক্তি এবং শীতলতা এবং যানবাহন নিয়ন্ত্রণের জন্য লেটেন্সি। যদি এই ডিজাইনগুলি স্কেলে কাজ করে, কোম্পানিগুলি প্রশিক্ষণ, উচ্চ-ভলিউম অনুমান, প্রিমিয়াম লো-ল্যাটেন্সি অনুরোধ এবং প্রান্তের কাজের চাপের জন্য বিভিন্ন ত্বরণকারী বেছে নিতে পারে। এটি AI অবকাঠামো বাজারকে আরও বিশেষায়িত করে তুলবে এবং গ্রাহকদের সাধারণ-উদ্দেশ্য GPU সিস্টেমের আরও বিকল্প দিতে পারে।

সেরেব্রাসের রিপোর্ট করা র্যাক রিডিজাইন একটি অপারেশনাল সমস্যা হাইলাইট করে যা হেডলাইন পারফরম্যান্স দাবিতে মিস করা যেতে পারে। রেজিস্টার বলে যে আগের সিস্টেমগুলি চিপের জন্য প্রায় 15 কিলোওয়াট খরচ করত এবং একটি বড় চ্যাসিসে পাওয়ার-ডেলিভারি সরঞ্জাম সহ বান্ডেলড কম্পিউট। একটি মডুলার র্যাক মেরামত এবং আপগ্রেডকে কম বিঘ্নিত করতে পারে, এমনকি যদি সিলিকন অস্বাভাবিকভাবে শক্তি-ক্ষুধার্ত থাকে। ডেটাসেন্টার অপারেটরদের জন্য, পরিষেবাযোগ্যতা, ক্যাবলিং, কুলিং এবং একটি ব্যর্থ উপাদান প্রতিস্থাপন করার ক্ষমতা পিক থ্রুপুট হিসাবে গুরুত্বপূর্ণ হতে পারে। উৎসটি স্বাধীনভাবে রিপোর্ট করা শক্তি বা কর্মক্ষমতা পরিসংখ্যান যাচাই করে না, তাই সেই সুবিধাগুলো দাবি করেই থাকে যার জন্য প্রযুক্তিগত পর্যালোচনার প্রয়োজন হয়।

একটি বিস্তৃত সরবরাহকারী ভিত্তি দর কষাকষির ক্ষমতা এবং বিনিয়োগের সিদ্ধান্তকে প্রভাবিত করতে পারে। রেজিস্টার পরামর্শ দেয় যে ক্লাউড কোম্পানিগুলি তাদের পরিষেবাগুলির সাথে প্রাসঙ্গিক বৈশিষ্ট্যগুলিতে অভ্যন্তরীণ প্রকৌশলকে কেন্দ্রীভূত করার সময় কাস্টম চিপগুলির কম স্বতন্ত্র অংশগুলির জন্য বাইরের বুদ্ধিবৃত্তিক-সম্পত্তি সংস্থাগুলি ব্যবহার করে। ব্রডকম এবং মার্ভেলের মধ্যে প্রতিযোগিতা হাইপারস্কেলারদের আরেকটি ডিজাইন রুট দিতে পারে, কিন্তু কাস্টম সিলিকন সফ্টওয়্যার এবং সমর্থন বাধ্যবাধকতাও তৈরি করে। একটি কাজের চাপের জন্য দক্ষ একটি চিপ প্রোগ্রাম করা কঠিন, সংগ্রহ করা কঠিন বা অন্যটির জন্য খারাপভাবে উপযুক্ত। প্রতিবেদনে Nvidia সিস্টেমের সাথে কোন খরচের তুলনা করা হয় না এবং গ্রাহকরা যে বিস্তৃত স্কেলে পরিবর্তন করছে তার কোন প্রমাণ নেই। Waymo-এর উদাহরণ কাস্টম AI হার্ডওয়্যারকে শুধুমাত্র ডেটাসেন্টার অর্থনীতির পরিবর্তে একটি নিরাপত্তা-সংবেদনশীল স্থাপনার সাথে সংযুক্ত করে: একটি গাড়ি যখন সেন্সর ইনপুটে সাড়া দেয় তখন কম লেটেন্সি ব্যাপার, এবং দূরবর্তী মানব হস্তক্ষেপ অবিলম্বে অনবোর্ড প্রক্রিয়াকরণের জন্য একটি আদর্শ বিকল্প নয়। এটি উন্নত নিরাপত্তা প্রদর্শন করে না; কোন স্বাধীন মূল্যায়ন, ব্যর্থতার হার তুলনা বা নিয়ন্ত্রক মূল্যায়ন নেই। সংকীর্ণ উপসংহার হল যে স্বায়ত্তশাসিত যানবাহনগুলি সেন্সর প্রক্রিয়াকরণ এবং প্রতিক্রিয়া সময়কে ঘিরে সিলিকন ডিজাইন করার একটি কারণ সরবরাহ করে, যখন জনসাধারণের প্রভাব বাস্তব অপারেটিং অবস্থার বৈধতার উপর নির্ভর করে।

পরবর্তী কি দেখতে

মূল পরীক্ষাগুলি হল পাবলিক টেকনিক্যাল ডকুমেন্টেশন, স্বাধীন বেঞ্চমার্ক এবং স্কেল করা গ্রাহক ব্যবহারের প্রমাণ। সেরেব্রাসের নতুন র্যাক ডিজাইন, মার্ভেল-সমর্থিত কাস্টম অ্যাক্সিলারেটর এবং ওয়েমোর গাড়ির সিলিকন উৎপাদনে পৌঁছায় কিনা এবং তাদের সুবিধাগুলি সফ্টওয়্যার, সরবরাহ-চেইন এবং রক্ষণাবেক্ষণের খরচের চেয়ে বেশি কিনা তা দেখুন। Microsoft-এর উইন্ডোজ পরিবর্তনগুলিও জনসাধারণের প্রাপ্যতা দ্বারা বিচার করা উচিত এবং তারা কেবলমাত্র আরও সিস্টেম মনিটরিং যোগ করার পরিবর্তে ব্যবহারকারীর নিয়ন্ত্রণ উন্নত করে কিনা।

প্রথমে, Cerebras, Waymo, Google, Marvell বা তাদের গ্রাহকদের কাছ থেকে প্রাথমিক প্রযুক্তিগত উপাদান খুঁজুন। দরকারী প্রমাণগুলির মধ্যে স্থাপত্য নথি, শক্তি পরিমাপ, সফ্টওয়্যার সমর্থন, উত্পাদন অবস্থা এবং স্পষ্টভাবে সংজ্ঞায়িত কাজের চাপ পরীক্ষা অন্তর্ভুক্ত থাকবে। রেজিস্টারের রিপোর্ট জড়িত কোম্পানিগুলির একটি সংবাদযোগ্য মানচিত্র সরবরাহ করে, কিন্তু প্রাপ্যতা, মূল্য, গ্রাহকের পরিমাণ বা স্বাধীন কর্মক্ষমতা স্থাপন করে না। এই অনুপস্থিত বিবরণগুলি নির্ধারণ করে যে উন্নয়নগুলি শিল্পের চালনা নাকি প্রধানত প্রকৌশল পরিকল্পনা।

দ্বিতীয়ত, লাইকের সাথে লাইক তুলনা করুন। টোকেন-প্রতি-সেকেন্ড পরিসংখ্যান মডেলের আকার, ব্যাচিং, নির্ভুলতা, প্রসঙ্গ দৈর্ঘ্য এবং একযোগে ব্যবহারকারীর সংখ্যার সাথে পরিবর্তিত হতে পারে। একটি কাস্টম অ্যাক্সিলারেটর একটি সংকীর্ণ অনুমান প্যাটার্নের জন্য চমৎকার এবং সাধারণ কাজের চাপের জন্য কম উপযোগী হতে পারে। থ্রুপুট, রেসপন্স লেটেন্সি, জেনারেটেড টোকেন প্রতি শক্তি, ব্যবহার, নির্ভরযোগ্যতা এবং সমসাময়িক GPU সিস্টেমের বিরুদ্ধে মালিকানার মোট খরচ পরিমাপের স্বাধীন পরীক্ষার জন্য দেখুন। সেই প্রেক্ষাপট ছাড়া, দ্রুত বা সস্তা AI এর দাবিগুলি মূল্যায়ন করা কঠিন থেকে যায়। তৃতীয়, বাণিজ্যিক সম্পর্ক অনুসরণ করুন: রেজিস্টার AWS এবং AMD-এর সাথে সেরেব্রাস অংশীদারিত্বের রিপোর্ট করে এবং মার্ভেলকে পূর্বে ব্রডকম এবং অভ্যন্তরীণ হাইপারস্কেলার টিমের দ্বারা আধিপত্যপূর্ণ একটি ক্ষেত্রে প্রবেশ করার বর্ণনা দেয়। গুরুত্বপূর্ণ পরবর্তী প্রমাণ হবে যে সেই সম্পর্কগুলি সাধারণত অ্যাক্সেসযোগ্য পরিষেবাগুলি, নামযুক্ত স্থাপনা বা পুনরাবৃত্তি আদেশগুলি তৈরি করে কিনা। রিপোর্টের প্রত্যাশা যে AWS বা AMD পরিষেবাগুলি সেরেব্রাস হার্ডওয়্যার ব্যবহার করতে পারে তা দূরদর্শী ভাষ্য, একটি নিশ্চিত রোলআউট নয়, এবং এটিকে একটি হিসাবে বিবেচনা করা উচিত নয়।

অবশেষে, Waymo-এর যানবাহন বাস্তবায়ন এবং Microsoft-এর সফ্টওয়্যার পরিবর্তনগুলি আলাদাভাবে পর্যবেক্ষণ করুন। ওয়েমোর জন্য, অর্থবহ প্রশ্নগুলি হল প্রোডাকশন যানবাহনে এক্সিলারেটর ইনস্টল করা আছে কিনা, এটি কীভাবে সেন্সর ওয়ার্কলোডগুলি পরিচালনা করে, কোন ফলব্যাক সিস্টেমগুলি বিদ্যমান এবং কোন নিরাপত্তা বৈধতা সম্পন্ন হয়েছে। উইন্ডোজের জন্য, দ্য রেজিস্টার বলে যে টাস্কবার আন্দোলন রিলিজ প্রিভিউ চ্যানেলে রয়েছে এবং উন্নত NPU প্রক্রিয়া দৃশ্যমানতা তৈরি করা হচ্ছে, তবে সর্বজনীন সময় এবং চূড়ান্ত আচরণ পরিবর্তন হতে পারে। কোম্পানিগুলি স্থিতিশীল প্রাপ্যতা প্রকাশ না করা পর্যন্ত এবং স্বাধীন ব্যবহারকারীরা ফলাফলগুলি মূল্যায়ন না করা পর্যন্ত কোনও থ্রেডকে সম্পূর্ণ হিসাবে উপস্থাপন করা উচিত নয়।

সম্পর্কিত গাইড এবং কুইজ