Тест, свързан с ръководство · Среден Ниво

GPTQ и AWQ Тест за квантуване след обучение

Проверява разликата между GPTQ и AWQ, данните за калибриране, компенсацията на кривината, каналите за активиране и нискобитовата памет.

Свързани ръководни пътекиGptq и Awq Квантоване след обучение
Въпрос 1 на 8

Какво означава „квантуване след обучение“?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво означава „квантуване след обучение“?
    • Компресиране на тежестите на вече обучен модел до по-ниска точност без пълно повторно обучение
    • Преобучение на модела изцяло с ниска точност
    • Добавяне на повече данни за обучение след внедряването
    • Увеличаване на броя на параметрите на модела
  2. Каква информация използва GPTQ, за да компенсира грешките при закръгляване при квантуване?
    • Списък с речници на модела
    • Информация от втори ред (Хесен/кривина) от набор от данни за калибриране
    • История на подканите на потребителя
    • Случаен шум
  3. Каква ключова информация задвижва AWQ (Quantization-aware Weight Quantization)?
    • Всички тежести са еднакво важни
    • Активациите трябва да бъдат квантувани, но теглата да останат недокоснати
    • Малка част от каналите за тегло са особено важни и трябва да бъдат защитени
    • Квантуването трябва да се извършва само по време на предварителна подготовка
  4. Приблизително колко памет спестява 4-битовото квантуване в сравнение с 16-битовите тегла?
    • Без спестявания
    • Около двойно повече памет
    • Точно половината памет
    • Около една четвърт памет (намаление 4 пъти)
  5. Защо GPTQ и AWQ обикновено квантуват теглата, но поддържат активирането с по-висока точност?
    • Теглата доминират в паметта и агресивното квантуване на активиране има тенденция да вреди повече на точността
    • В трансформаторите не съществуват активации
    • Активациите вече са 1-битови
    • Изисква се по закон
  6. Кой инструмент обикновено се използва за изпълнение на квантувани модели локално на потребителски хардуер?
    • Microsoft Дума
    • llama.cpp
    • Програма за електронни таблици
    • Само уеб браузър
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve