পরবর্তী আপপরবর্তী গাইড
ডেটা অ্যাট্রিবিউশন প্রশিক্ষণের জন্য প্রভাব ফাংশন
টেকনিক্যাল
প্রযুক্তিগত গাইড
GPTQ এবং AWQ পোস্ট-ট্রেনিং কোয়ান্টাইজেশন
GPTQ এবং AWQ হল দুটি প্রধান পদ্ধতি যা ইতিমধ্যেই প্রশিক্ষিত ভাষা মডেলগুলিকে 4-বিট নির্ভুলতায় সঙ্কুচিত করে যাতে তারা সস্তা, ছোট হার্ডওয়্যারে চলে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
এই কারণেই আপনি ডেটাসেন্টার র্যাকের পরিবর্তে একটি একক ভোক্তা GPU-তে একটি সক্ষম মডেল চালাতে পারেন।
গভীর ডুব
পোস্ট-ট্রেনিং কোয়ান্টাইজেশন (PTQ) একটি সমাপ্ত মডেলকে পুনরায় প্রশিক্ষণ না দিয়ে সংকুচিত করে, উচ্চ-নির্ভুলতার ওজনকে 4 বিট পর্যন্ত ম্যাপ করে মোটামুটিভাবে মেমরির কোয়ার্টার করার জন্য। চ্যালেঞ্জ সঠিকতা নষ্ট ছাড়া এটি করা হয়. GPTQ (OBQ-এর একটি পরিমার্জন) অবশিষ্ট ওজন সামঞ্জস্য করতে এবং প্রতিটি রাউন্ডিং ত্রুটির জন্য ক্ষতিপূরণ করতে একটি ছোট ক্রমাঙ্কন ডেটাসেট থেকে দ্বিতীয়-ক্রম তথ্য ব্যবহার করে, স্তর অনুসারে ওজন স্তরের পরিমাণ নির্ধারণ করে। AWQ (অ্যাক্টিভেশন-সচেতন ওয়েট কোয়ান্টাইজেশন) একটি ভিন্ন কোণ নেয়: এটি পর্যবেক্ষণ করে যে ওজন চ্যানেলগুলির একটি ছোট ভগ্নাংশ অসামঞ্জস্যপূর্ণভাবে গুরুত্বপূর্ণ, সক্রিয়করণের মাত্রা দেখে চিহ্নিত করা হয় এবং আক্রমণাত্মকভাবে তাদের পরিমাণ নির্ধারণের পরিবর্তে স্কেলিং করে সেই প্রধান চ্যানেলগুলিকে রক্ষা করে। উভয়ই Llama এর মত মডেলকে 4-বিটে চলতে দেয় এবং vLLM, llama.cpp, এবং AutoGPTQ-এর মতো টুলগুলিকে স্থানীয় এবং খরচ-দক্ষ অনুমানের জন্য মূলধারায় পরিণত করেছে।
বাস্তব-বিশ্ব বাস্তবায়ন
4-বিট GPTQ ওজন ব্যবহার করে একটি একক 24 GB ভোক্তা GPU-তে 70-বিলিয়ন-প্যারামিটার Llama মডেল চালানো।
AWQ- কোয়ান্টাইজড মডেলগুলি খরচ-দক্ষ উত্পাদন API-এর জন্য ভিএলএলএম-এ উচ্চ থ্রুপুটে পরিবেশিত হয়।
llama.cpp একটি ল্যাপটপ CPU-তে স্থানীয়ভাবে ভাষা মডেল চালানোর জন্য কোয়ান্টাইজড GGUF ওজন ব্যবহার করে।
Hugging Face-এর AutoGPTQ এবং AutoAWQ লাইব্রেরিগুলি ডেভেলপারদের কোডের কয়েকটি লাইনে একটি ডাউনলোড করা মডেলের পরিমাণ নির্ধারণ করতে দেয়৷
GPTQ এবং AWQ পোস্ট-ট্রেনিং কোয়ান্টাইজেশনের ভবিষ্যত
কোয়ান্টাইজেশন 4 বিটের নীচে 3-বিট, 2-বিট এবং মিশ্র-নির্ভুল স্কিমগুলির দিকে ঠেলে দিচ্ছে, প্রায়শই স্পারসিটির সাথে মিলিত হয়। পরিবেশনকারী ইঞ্জিনগুলির সাথে ঘনিষ্ঠ সংযোগের প্রত্যাশা করুন তাই কোয়ান্টাইজেশন, কেভি-ক্যাশে কম্প্রেশন এবং অনুমানমূলক ডিকোডিং একসাথে কাজ করে। NVFP4 এবং MXFP4 এর মতো লো-বিট ফরম্যাটের জন্য হার্ডওয়্যার সমর্থন পরিপক্ক হচ্ছে, এবং স্বয়ংক্রিয় সরঞ্জামগুলি ক্রমবর্ধমানভাবে প্রতি-স্তর বিট প্রস্থ বাছাই করবে। বিস্তৃত লক্ষ্য হল প্রায়-ক্ষতিহীন 4-বিট (এবং নিম্ন) ডিফল্ট হিসাবে, শক্তিশালী মডেলগুলিকে সর্বত্র পরিবেশন করার জন্য সস্তা করে তোলে।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the GPTQ and AWQ Post-Training Quantization quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
GPTQ এবং AWQ পোস্ট-ট্রেনিং কোয়ান্টাইজেশন কি?
GPTQ এবং AWQ হল দুটি প্রধান পদ্ধতি যা ইতিমধ্যেই প্রশিক্ষিত ভাষা মডেলগুলিকে 4-বিট নির্ভুলতায় সঙ্কুচিত করে যাতে তারা সস্তা, ছোট হার্ডওয়্যারে চলে। এই কারণেই আপনি ডেটাসেন্টার র্যাকের পরিবর্তে একটি একক ভোক্তা GPU-তে একটি সক্ষম মডেল চালাতে পারেন।
'পোস্ট-ট্রেনিং কোয়ান্টাইজেশন' বলতে কী বোঝায়?
প্রশিক্ষণ-পরবর্তী পরিমাপকরণ একটি সমাপ্ত মডেলের ওজনের (যেমন, 4 বিট পর্যন্ত) সূক্ষ্মতাকে স্ক্র্যাচ থেকে পুনরায় প্রশিক্ষণ না দিয়ে কমিয়ে দেয়।
কোয়ান্টাইজ করার সময় রাউন্ডিং ত্রুটির জন্য ক্ষতিপূরণ দিতে GPTQ কোন তথ্য ব্যবহার করে?
জিপিটিকিউ একটি আনুমানিক হেসিয়ান ব্যবহার করে বোঝার জন্য যে একটি ওজনের পরিমাণ কীভাবে ক্ষতিকে প্রভাবিত করে, তারপর ক্ষতিপূরণের জন্য অবশিষ্ট ওজনগুলি সামঞ্জস্য করে।
কোন মূল অন্তর্দৃষ্টি AWQ (অ্যাক্টিভেশন-সচেতন ওজন কোয়ান্টাইজেশন) চালায়?
AWQ অ্যাক্টিভেশন ম্যাগনিটিউড ব্যবহার করে প্রধান ওজন চ্যানেল সনাক্ত করে এবং স্কেলিং এর মাধ্যমে তাদের রক্ষা করে, যেহেতু কয়েকটি চ্যানেল অসামঞ্জস্যপূর্ণভাবে গুরুত্বপূর্ণ।
4-বিট কোয়ান্টাইজেশন 16-বিট ওজনের তুলনায় মোটামুটি কত মেমরি সংরক্ষণ করে?
16 বিট থেকে 4 বিট প্রতি ওজনে যাওয়া ওজন মেমরিকে প্রায় এক চতুর্থাংশ, মোটামুটিভাবে 4x হ্রাস করে।
কেন জিপিটিকিউ এবং এডব্লিউকিউ উভয়ই সাধারণত ওজন পরিমাপ করে কিন্তু সক্রিয়করণগুলিকে উচ্চ নির্ভুলতায় রাখে?
ওজন হল মেমরির প্রধান খরচ, যখন অ্যাক্টিভেশনগুলি নির্ভুলতা হ্রাসের জন্য আরও সংবেদনশীল, তাই ওজন-শুধুমাত্রা পরিমাপ করা সাধারণ মিষ্টি স্পট।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড