গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
GPTQ এবং AWQ পোস্ট-ট্রেনিং কোয়ান্টাইজেশন কুইজ
GPTQ এবং AWQ, ক্রমাঙ্কন ডেটা, বক্রতা ক্ষতিপূরণ, সক্রিয়করণ-সচেতন চ্যানেল এবং লো-বিট মেমরির মধ্যে পার্থক্য পরীক্ষা করে।
প্রশ্ন 1 এর 8
'পোস্ট-ট্রেনিং কোয়ান্টাইজেশন' বলতে কী বোঝায়?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- 'পোস্ট-ট্রেনিং কোয়ান্টাইজেশন' বলতে কী বোঝায়?
- সম্পূর্ণ পুনঃপ্রশিক্ষণ ছাড়াই কম নির্ভুলতার জন্য ইতিমধ্যে-প্রশিক্ষিত মডেলের ওজনকে সংকুচিত করা
- কম নির্ভুলতা সম্পূর্ণরূপে মডেল পুনরায় প্রশিক্ষণ
- স্থাপনার পরে আরও প্রশিক্ষণ ডেটা যোগ করা হচ্ছে
- মডেলের পরামিতি সংখ্যা বৃদ্ধি
- কোয়ান্টাইজ করার সময় রাউন্ডিং ত্রুটির জন্য ক্ষতিপূরণ দিতে GPTQ কোন তথ্য ব্যবহার করে?
- মডেল এর শব্দভান্ডার তালিকা
- একটি ক্রমাঙ্কন ডেটাসেট থেকে দ্বিতীয়-ক্রম (হেসিয়ান/বক্রতা) তথ্য
- ব্যবহারকারীর প্রম্পট ইতিহাস
- এলোমেলো আওয়াজ
- কোন মূল অন্তর্দৃষ্টি AWQ (অ্যাক্টিভেশন-সচেতন ওজন কোয়ান্টাইজেশন) চালায়?
- সমস্ত ওজন সমান গুরুত্বপূর্ণ
- অ্যাক্টিভেশনের পরিমাপ করা উচিত কিন্তু ওজন অপরিবর্তিত রাখা উচিত
- ওজন চ্যানেলের একটি ছোট ভগ্নাংশ বিশেষভাবে গুরুত্বপূর্ণ এবং সুরক্ষিত করা উচিত
- কোয়ান্টাইজেশন শুধুমাত্র pretraining সময় ঘটতে হবে
- 4-বিট কোয়ান্টাইজেশন 16-বিট ওজনের তুলনায় মোটামুটি কত মেমরি সংরক্ষণ করে?
- সঞ্চয় নেই
- প্রায় দ্বিগুণ স্মৃতি
- ঠিক অর্ধেক স্মৃতি
- প্রায় এক চতুর্থাংশ মেমরি (একটি 4x হ্রাস)
- কেন জিপিটিকিউ এবং এডব্লিউকিউ উভয়ই সাধারণত ওজন পরিমাপ করে কিন্তু সক্রিয়করণগুলিকে উচ্চ নির্ভুলতায় রাখে?
- ওজন মেমরিকে প্রাধান্য দেয়, এবং আক্রমনাত্মক অ্যাক্টিভেশন কোয়ান্টাইজেশন নির্ভুলতাকে আরও ক্ষতিগ্রস্ত করে
- ট্রান্সফরমারগুলিতে সক্রিয়করণ বিদ্যমান নেই
- সক্রিয়করণগুলি ইতিমধ্যে 1-বিট
- এটা আইন দ্বারা আবশ্যক
- কনজিউমার হার্ডওয়্যারে স্থানীয়ভাবে কোয়ান্টাইজড মডেল চালানোর জন্য সাধারণত কোন টুল ব্যবহার করা হয়?
- Microsoft শব্দ
- llama.cpp
- একটি স্প্রেডশীট প্রোগ্রাম
- একা একটি ওয়েব ব্রাউজার
- How does GPTQ use a calibration dataset during layer-wise weight quantization?
- It adds new training labels to the model
- It selects a new tokenizer vocabulary
- It estimates second-order information to compensate for rounding errors
- It measures only GPU temperature
- How does AWQ identify which weight channels deserve protection?
- It computes a full Hessian inverse
- It adds random noise to all weights
- It selects channels only by their index
- It uses activation magnitudes to identify channels important to preserve