পরবর্তী আপপরবর্তী গাইড
অ্যাডাম এবং অ্যাডাপটিভ অপ্টিমাইজার
টেকনিক্যাল
প্রযুক্তিগত গাইড
সিপিইউ এবং এনভিএমে অপ্টিমাইজার স্টেট অফলোডিং
একটি মেমরি-সেভিং ট্রিক যা কম জিপিইউ মেমরির পরিবর্তে সিপিইউ র্যামে বা এনভিএমই এসএসডি-তে প্রশিক্ষণের ভারী হিসাব সংরক্ষণ (অপ্টিমাইজার স্টেট, গ্রেডিয়েন্ট, কখনও কখনও ওজন) পার্ক করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
এটি লোকেদের তাদের GPU এর মেমরির চেয়ে অনেক বড় মডেলের প্রশিক্ষণ দিতে দেয় অন্যথায় অনুমতি দেয়।
গভীর ডুব
আপনি যখন অ্যাডামের মতো একটি অপ্টিমাইজারের সাহায্যে একটি নিউরাল নেটওয়ার্ককে প্রশিক্ষণ দেন, তখন প্রতিটি প্যারামিটার অতিরিক্ত লাগেজ বহন করে: দুটি চলমান পরিসংখ্যান (বেগ এবং পরিবর্তন), ওজনের একটি সম্পূর্ণ-নির্ভুল কপি এবং এর গ্রেডিয়েন্ট। মিশ্র-নির্ভুল প্রশিক্ষণে এটি প্রতি প্যারামিটারে মোটামুটিভাবে 16 বাইট হতে পারে, যা ওজনের জন্য 2 বাইটকে বামন করে। অফলোড করা সেই লাগেজটিকে GPU থেকে সরিয়ে দেয়। CPU অফলোড স্ট্রীম অপ্টিমাইজারকে PCIe বাসে সাধারণ সিস্টেম র্যামে নিয়ে যায়, যখন NVMe অফলোড সেগুলিকে দ্রুত সলিড-স্টেট ডিস্কে ঠেলে দেয়। DeepSpeed-এর ZeRO-Infinity এবং ZeRO-Offload দ্বারা জনপ্রিয়, কৌশলটি ক্ষমতার জন্য কাঁচা গতির ব্যবসা করে, একটি একক GPU বা বিলিয়ন প্যারামিটার সহ ছোট ক্লাস্টার ফাইন-টিউন মডেলকে অনুমতি দেয়।
বাস্তব-বিশ্ব বাস্তবায়ন
DeepSpeed’s ZeRO-Offload tutorial trains a ten-billion-parameter GPT-2 configuration on a 32 GB V100, with CPU optimizer offloading and activation checkpointing.
A research team evaluates ZeRO-Infinity with CPU and NVMe tiers for a model that exceeds GPU-only capacity.
A fine-tuning team configures CPU optimizer offloading and measures host memory use and update time.
A team compares larger GPUs with offloading, accounting for CPU, storage, and transfer costs.
সিপিইউ এবং NVMe-তে অপ্টিমাইজার স্টেট অফলোডিং এর ভবিষ্যত
যেহেতু মডেলগুলি জিপিইউ মেমরি বাড়াতে থাকে, তাই টায়ার্ড অফলোডিং বহিরাগত না হয়ে মানক হয়ে উঠছে। NVLink-C2C এবং CXL মেমরি পুলগুলির মতো দ্রুত আন্তঃসংযোগগুলির সাথে আরও শক্ত ইন্টিগ্রেশন আশা করুন যা CPU-GPU সীমানাকে ঝাপসা করে, এছাড়াও আরও স্মার্ট শিডিউলার যা পূর্বাভাস দেয় যে কোন রাজ্যগুলি প্রিফেচ করতে হবে৷ গ্রেস হপারের মতো ইউনিফাইড-মেমরি আর্কিটেকচারগুলি PCIe পেনাল্টি কমিয়ে দেয় এবং ফ্রেমওয়ার্কগুলি মাল্টি-টায়ার অফলোডকে প্রায় স্বচ্ছ করার দিকে ঠেলে দিচ্ছে যাতে শৌখিনরা পরিমিত হার্ডওয়্যারে বড় মডেলগুলিকে সুন্দর করতে পারে৷
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Optimizer State Offloading to CPU and NVMe quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
সিপিইউ এবং এনভিএমে অপ্টিমাইজার স্টেট অফলোডিং কি?
একটি মেমরি-সেভিং ট্রিক যা কম জিপিইউ মেমরির পরিবর্তে সিপিইউ র্যামে বা এনভিএমই এসএসডি-তে প্রশিক্ষণের ভারী হিসাব সংরক্ষণ (অপ্টিমাইজার স্টেট, গ্রেডিয়েন্ট, কখনও কখনও ওজন) পার্ক করে। এটি লোকেদের তাদের GPU এর মেমরির চেয়ে অনেক বড় মডেলের প্রশিক্ষণ দিতে দেয় অন্যথায় অনুমতি দেয়।
CPU বা NVMe-তে অপ্টিমাইজার স্টেট অফলোড করার প্রাথমিক লক্ষ্য কী?
অফলোডিং ভারী অপ্টিমাইজারকে GPU-কে CPU RAM বা NVMe-এ সরিয়ে দেয়, GPU মেমরি মুক্ত করে যাতে বড় মডেলগুলিকে একই হার্ডওয়্যারে প্রশিক্ষণ দেওয়া যায়।
For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
Each FP32 value uses four bytes: two moments plus one master weight total twelve. A sixteen-byte mixed-precision estimate includes other tensors as well.
কোন ফ্রেমওয়ার্ক বৈশিষ্ট্যটি বড় আকারের অপ্টিমাইজার অফলোডিংকে জনপ্রিয় করেছে?
ডিপস্পিড-এর জিরো-অফলোড এবং জিরো-ইনফিনিটি সিপিইউ এবং এনভিএম-এ অফলোডিং অপ্টিমাইজার স্টেট চালু করেছে এবং জনপ্রিয় করেছে।
CPU বা NVMe তে অফলোড করার প্রধান কর্মক্ষমতা খরচ কি?
GPU-এর বাইরে অবস্থানগুলি সরানো মানে PCIe বা NVMe-তে ডেটা স্থানান্তর করা, যা অন-GPU মেমরির চেয়ে ধীর, তাই কম্পিউটের সাথে ওভারল্যাপ না করা হলে থ্রুপুট কমে যায়।
অফলোডিং সিস্টেমগুলি কীভাবে ট্রান্সফার লেটেন্সির বেশিরভাগ লুকিয়ে রাখে?
GPU এখনও কম্পিউটিং করার সময় সিডিউলাররা PCIe-এ প্রয়োজনীয় পার্টিশনগুলি প্রিফেচ করে, লেটেন্সি মাস্ক করার জন্য কম্পিউটেশনের সাথে ওভারল্যাপ করে।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড