অ্যাক্টিভেশন রিকম্পিউটেশন ট্রেডঅফ
অ্যাক্টিভেশন রিকপুটেশন (গ্রেডিয়েন্ট বা অ্যাক্টিভেশন চেকপয়েন্টিং) ফরোয়ার্ড পাসের মধ্যবর্তী অ্যাক্টিভেশনগুলি বাতিল করে এবং ব্যাকওয়ার্ড পাসের সময় সেগুলি পুনরায় গণনা করে প্রশিক্ষণের সময় GPU মেমরি সংরক্ষণ করে।
ওভারভিউ
It trades extra compute for the ability to train larger models or longer sequences on the same hardware.
গভীর ডুব
ব্যাকপ্রোপগেশনের গ্রেডিয়েন্ট গণনা করার জন্য ফরওয়ার্ড-পাস অ্যাক্টিভেশনের প্রয়োজন, তাই ডিফল্টরূপে প্রতিটি স্তরের আউটপুট সংরক্ষণ করা হয় — একটি বিশাল মেমরি খরচ যা মডেলের আকার, ব্যাচের আকার এবং ক্রম দৈর্ঘ্যের সাথে বৃদ্ধি পায়। অ্যাক্টিভেশন পুনঃগণনা শুধুমাত্র কয়েকটি 'চেকপয়েন্ট' টেনসর রাখে (প্রায়ই শুধু স্তরের সীমানা) এবং বাকিগুলি ফেলে দেয়। ব্যাকওয়ার্ড পাসের সময়, এটি চেকপয়েন্টগুলির মধ্যে ফরোয়ার্ড কম্পিউটেশনকে পুনরায় চালিত করে যাতে চাহিদা অনুযায়ী বাতিল অ্যাক্টিভেশনগুলি পুনরুত্থিত হয়। ক্লাসিক ফলাফল হল যে প্রতিটি sqrt(N) স্তরে চেকপয়েন্ট স্থাপন করা হলে, মেমরি মোটামুটিভাবে O(sqrt(N)) এ নেমে যায় এবং প্রায় একটি অতিরিক্ত ফরওয়ার্ড পাস যোগ করে (~33% বেশি গণনা)। নির্বাচনী ভেরিয়েন্টগুলি শুধুমাত্র সস্তা-কিন্তু-মেমরি-ভারী অপারেশনগুলি (যেমন মনোযোগ বা ড্রপআউট) পুনরায় গণনা করে যখন ব্যয়বহুলগুলি ক্যাশে করা হয়, অনেক কম পুনঃগণনার ওভারহেডের জন্য বেশিরভাগ মেমরি সঞ্চয় করে।
প্রযুক্তিগত অন্তর্দৃষ্টি
মৌলিক ট্রেডঅফ হল মেমরি বনাম FLOPs। সম্পূর্ণ পুনঃগণনা মোটামুটিভাবে প্রতি ধাপে একটি অতিরিক্ত ফরোয়ার্ড পাস যোগ করে (~30-40% ধীর) কিন্তু মাত্রার একটি ক্রম অনুসারে অ্যাক্টিভেশন মেমরি কাটতে পারে। স্মার্ট পদক্ষেপ হল নির্বাচনী চেকপয়েন্টিং: অপারেটিং সিস্টেমগুলিকে চিহ্নিত করুন যেগুলি মেমরি-বড় কিন্তু কম্পিউট-সস্তা (সফটম্যাক্স, লেয়ারনর্ম, GELU, মনোযোগের স্কোর) এবং ব্যয়বহুল জিইএমএম-এর ফলাফল ক্যাশে রেখে শুধুমাত্র সেগুলিকে পুনরায় গণনা করুন — নষ্ট কম্পিউট কমিয়ে আনা।
কৌশলগত প্রভাব
খরচ ও বাজেট
আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
সুস্পষ্ট সিদ্ধান্ত
কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
মান নিয়ন্ত্রণ
ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
অ্যাক্টিভেশন রিকম্পিউটেশন ট্রেডঅফের ভবিষ্যত
পুনর্গণনা ক্রমবর্ধমান স্বয়ংক্রিয় এবং নির্বাচনী। ফ্রেমওয়ার্কগুলি এখন সর্বোত্তম চেকপয়েন্টগুলি বেছে নেওয়ার জন্য প্রতিটি অপের মেমরি এবং FLOP খরচ প্রোফাইল করে, এবং CPU/NVMe-এ অ্যাক্টিভেশন অফলোডিং এবং সমান্তরাল কৌশলগুলির সাথে পুনর্গণনাকে একত্রিত করে। যেহেতু প্রসঙ্গ দৈর্ঘ্য এবং মডেলের আকার বাড়তে থাকে, তাই কম্পাইলার-চালিত নীতিগুলি আশা করুন (PyTorch, JAX/XLA-এ) যা স্বয়ংক্রিয়ভাবে প্রতি-অপ রিকম্পিউটের সিদ্ধান্তগুলি বেছে নেয়, সাথে যোগাযোগের সাথে পুনরায় গণনার কঠোর ওভারল্যাপ যাতে অতিরিক্ত FLOPগুলি আংশিকভাবে লুকানো থাকে৷
বাস্তব-বিশ্ব বাস্তবায়ন
প্রতিটি স্তর ব্লক চেকপয়েন্টিং দ্বারা অন্যথায় মাপসই করা হবে না যে একটি বড় ট্রান্সফরমার প্রশিক্ষণ
PyTorch এর torch.utils.checkpoint ব্যবহার করে ট্রান্সফরমার ব্লকগুলি মোড়ানো এবং অ্যাক্টিভেশন মেমরি কাটা
মেগাট্রন-এলএম-এ মনোযোগ/সফটম্যাক্সের নির্বাচনী পুনর্গণনা ন্যূনতম স্লোডাউন সহ মেমরি সংরক্ষণ করতে
একটি নির্দিষ্ট জিপিইউ বাজেটে সঞ্চয় করার পরিবর্তে সক্রিয়করণগুলি পুনরায় গণনা করে দীর্ঘ ক্রম দৈর্ঘ্য সক্ষম করা
ঝুঁকি এবং প্রহরী
একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
বাস্তবায়ন রোডম্যাপ
বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Activation Recomputation Tradeoffs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
স্মুথকোয়ান্ট এবং অ্যাক্টিভেশন কোয়ান্টাইজেশন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Activation Recomputation Tradeoffs?
অ্যাক্টিভেশন রিকপুটেশন (গ্রেডিয়েন্ট বা অ্যাক্টিভেশন চেকপয়েন্টিং) ফরোয়ার্ড পাসের মধ্যবর্তী অ্যাক্টিভেশনগুলি বাতিল করে এবং ব্যাকওয়ার্ড পাসের সময় সেগুলি পুনরায় গণনা করে প্রশিক্ষণের সময় GPU মেমরি সংরক্ষণ করে। এটি একই হার্ডওয়্যারে বড় মডেল বা দীর্ঘ ক্রম প্রশিক্ষিত করার ক্ষমতার জন্য অতিরিক্ত গণনার ব্যবসা করে।
অ্যাক্টিভেশন পুনঃগণনা মেমরি সংরক্ষণের জন্য কি ব্যবসা করে?
পুনঃগণনা সঞ্চিত অ্যাক্টিভেশন বাতিল করে এবং মেমরির ব্যবহার কমাতে অতিরিক্ত কম্পিউট খরচ করে ব্যাকওয়ার্ড পাসে সেগুলিকে পুনরুত্থিত করে।
কেন ফরোয়ার্ড-পাস অ্যাক্টিভেশনগুলি সাধারণত সংরক্ষণ করা হয়?
ব্যাকওয়ার্ড পাস গ্রেডিয়েন্ট গণনা করার জন্য ফরওয়ার্ড অ্যাক্টিভেশন ব্যবহার করে, তাই ডিফল্টরূপে সেগুলি মেমরিতে রাখা হয় যতক্ষণ না পশ্চাদগামী পাস চলে।
মোটামুটিভাবে সম্পূর্ণ অ্যাক্টিভেশন পুনর্গণনা সাধারণত কত অতিরিক্ত গণনা যোগ করে?
সম্পূর্ণ পুনঃগণনা ব্যাকওয়ার্ড পাসের সময় ফরোয়ার্ড কম্পিউটেশনকে পুনরায় চালায়, মোটামুটি একটি অতিরিক্ত ফরওয়ার্ড পাস যোগ করে — 30-40% বেশি কম্পিউটের অর্ডারে।
নির্বাচনী (পূর্ণ নয়) পুনর্গণনার পিছনে ধারণা কি?
সিলেক্টিভ রিকম্পিউটেশন টার্গেট অপ্স যেগুলি প্রচুর মেমরি ব্যবহার করে কিন্তু কম কম্পিউট করে (যেমন সফটম্যাক্স বা লেয়ারনর্ম), যখন ব্যয়বহুল জিইএমএম ফলাফল ক্যাশ করে নষ্ট FLOPগুলি কমিয়ে দেয়।
কোন পরিপূরক কৌশলটি প্রায়ই আরও বেশি মেমরি সংরক্ষণের জন্য পুনর্গণনার সাথে মিলিত হয়?
অ্যাক্টিভেশন অফলোডিং কিছু অ্যাক্টিভেশনকে CPU/NVMe স্টোরেজে নিয়ে যায় এবং আরও মেমরি সঞ্চয়ের জন্য ঘন ঘন পুনঃগণনা এবং সমান্তরালতার সাথে একত্রিত হয়।