উচ্চ ব্যান্ডউইথ মেমরি কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. হাই ব্যান্ডউইথ মেমরি এআই অ্যাক্সিলারেটরের জন্য কোন প্রাথমিক সমস্যা সমাধান করে?
   • ডেটা আসার জন্য অপেক্ষা করার সময় অলস বসে থাকা কোর কম্পিউট করুন
   • অত্যধিক আলো থেকে জিপিইউ অতিরিক্ত গরম হয়
   • পাওয়ার বন্ধ থাকলে স্থায়ীভাবে ফাইল সংরক্ষণ করা
   • GPU কে ইন্টারনেটের সাথে সংযুক্ত করা হচ্ছে
2. কিভাবে HBM শারীরিকভাবে সাধারণ GDDR মেমরি থেকে আলাদাভাবে নির্মিত হয়?
   • এটি একটি হার্ড ড্রাইভে সংরক্ষণ করা হয়
   • এটি একাধিক DRAM ডাই উল্লম্বভাবে স্ট্যাক করে এবং সিলিকন ভিয়াসের মাধ্যমে তাদের সংযোগ করে
   • এটি চিপের ভিতরে ফাইবার-অপ্টিক কেবল ব্যবহার করে
   • এতে কোনো ট্রানজিস্টর নেই
3. HBM এর উচ্চ ব্যান্ডউইথ অর্জনের জন্য প্রধানত কিসের উপর নির্ভর করে?
   • অন্যান্য মেমরির তুলনায় অনেক বেশি ঘড়ির গতি
   • তরল নাইট্রোজেন দিয়ে ঠান্ডা করা
   • একটি খুব বিস্তৃত ইন্টারফেসের মাধ্যমে চরম সমান্তরালতা
   • সমস্ত ডেটা এক বিটে সংকুচিত করা হচ্ছে
4. কেন এইচবিএম স্ট্যাকগুলি জিপিইউ-এর ঠিক পাশে একটি সিলিকন ইন্টারপোজারে স্থাপন করা হয়?
   • প্যাকেজ দেখতে আরও ভাল করতে
   • কারণ HBM এক মিটারের বেশি দূরে কাজ করতে পারে না
   • ব্যবহারকারী দ্বারা সহজ অপসারণের অনুমতি দিতে
   • তারগুলি ছোট রাখতে, প্রতি বিট এবং লেটেন্সি হ্রাস করে
5. বিশেষ করে বড় ভাষার মডেলের জন্য, কেন এইচবিএম কাঁচা গণনার মতো গুরুত্বপূর্ণ?
   • কারণ মডেলের ওজন অবশ্যই উচ্চ ক্ষমতা এবং ব্যান্ডউইথের দাবিতে ক্রমাগত স্ট্রিম করা উচিত
   • কারণ মডেলরা মোটেও গণিত করেন না
   • কারণ কম্পিউট বিনামূল্যে কিন্তু মেমরি ট্যাক্স করা হয়
   • কারণ এলএলএম শুধুমাত্র সিপিইউ ব্যবহার করে
6. Which HBM generations are part of the progression from HBM2 to currently sampling HBM4 products?
   • HBM2, HBM2E, HBM4E, then HBM3
   • HBM2, HBM2E, HBM3, HBM3E, and HBM4
   • GDDR6, GDDR7, DDR5, and HBM4
   • HBM3E directly followed by HBM1
7. Why can high HBM bandwidth help an autoregressive language model during token generation?
   • It eliminates the need to store model weights
   • It performs tokenization instead of the GPU
   • It can move model weights and other data to the compute units more quickly
   • It makes every model compute-bound
8. What is the difference between HBM capacity and HBM bandwidth?
   • They are identical measures of GPU clock speed
   • Capacity measures transfer speed and bandwidth measures data size
   • Neither is related to memory
   • Capacity is how much data can be stored; bandwidth is how quickly data can be transferred