গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর

GPTQ এবং AWQ পোস্ট-ট্রেনিং কোয়ান্টাইজেশন কুইজ

GPTQ এবং AWQ, ক্রমাঙ্কন ডেটা, বক্রতা ক্ষতিপূরণ, সক্রিয়করণ-সচেতন চ্যানেল এবং লো-বিট মেমরির মধ্যে পার্থক্য পরীক্ষা করে।

প্রশ্ন 1 এর 8

'পোস্ট-ট্রেনিং কোয়ান্টাইজেশন' বলতে কী বোঝায়?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. 'পোস্ট-ট্রেনিং কোয়ান্টাইজেশন' বলতে কী বোঝায়?
    • সম্পূর্ণ পুনঃপ্রশিক্ষণ ছাড়াই কম নির্ভুলতার জন্য ইতিমধ্যে-প্রশিক্ষিত মডেলের ওজনকে সংকুচিত করা
    • কম নির্ভুলতা সম্পূর্ণরূপে মডেল পুনরায় প্রশিক্ষণ
    • স্থাপনার পরে আরও প্রশিক্ষণ ডেটা যোগ করা হচ্ছে
    • মডেলের পরামিতি সংখ্যা বৃদ্ধি
  2. কোয়ান্টাইজ করার সময় রাউন্ডিং ত্রুটির জন্য ক্ষতিপূরণ দিতে GPTQ কোন তথ্য ব্যবহার করে?
    • মডেল এর শব্দভান্ডার তালিকা
    • একটি ক্রমাঙ্কন ডেটাসেট থেকে দ্বিতীয়-ক্রম (হেসিয়ান/বক্রতা) তথ্য
    • ব্যবহারকারীর প্রম্পট ইতিহাস
    • এলোমেলো আওয়াজ
  3. কোন মূল অন্তর্দৃষ্টি AWQ (অ্যাক্টিভেশন-সচেতন ওজন কোয়ান্টাইজেশন) চালায়?
    • সমস্ত ওজন সমান গুরুত্বপূর্ণ
    • অ্যাক্টিভেশনের পরিমাপ করা উচিত কিন্তু ওজন অপরিবর্তিত রাখা উচিত
    • ওজন চ্যানেলের একটি ছোট ভগ্নাংশ বিশেষভাবে গুরুত্বপূর্ণ এবং সুরক্ষিত করা উচিত
    • কোয়ান্টাইজেশন শুধুমাত্র pretraining সময় ঘটতে হবে
  4. 4-বিট কোয়ান্টাইজেশন 16-বিট ওজনের তুলনায় মোটামুটি কত মেমরি সংরক্ষণ করে?
    • সঞ্চয় নেই
    • প্রায় দ্বিগুণ স্মৃতি
    • ঠিক অর্ধেক স্মৃতি
    • প্রায় এক চতুর্থাংশ মেমরি (একটি 4x হ্রাস)
  5. কেন জিপিটিকিউ এবং এডব্লিউকিউ উভয়ই সাধারণত ওজন পরিমাপ করে কিন্তু সক্রিয়করণগুলিকে উচ্চ নির্ভুলতায় রাখে?
    • ওজন মেমরিকে প্রাধান্য দেয়, এবং আক্রমনাত্মক অ্যাক্টিভেশন কোয়ান্টাইজেশন নির্ভুলতাকে আরও ক্ষতিগ্রস্ত করে
    • ট্রান্সফরমারগুলিতে সক্রিয়করণ বিদ্যমান নেই
    • সক্রিয়করণগুলি ইতিমধ্যে 1-বিট
    • এটা আইন দ্বারা আবশ্যক
  6. কনজিউমার হার্ডওয়্যারে স্থানীয়ভাবে কোয়ান্টাইজড মডেল চালানোর জন্য সাধারণত কোন টুল ব্যবহার করা হয়?
    • Microsoft শব্দ
    • llama.cpp
    • একটি স্প্রেডশীট প্রোগ্রাম
    • একা একটি ওয়েব ব্রাউজার
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve