Викторина, связанная с руководством · Средний Уровень

Викторина по квантованию после обучения GPTQ и AWQ

Проверяет разницу между GPTQ и AWQ, данными калибровки, компенсацией кривизны, каналами с поддержкой активации и младшими битами памяти.

Связанные направляющие путиКвантование Gptq и Awq после обучения
Вопрос 1 из 8

Что означает «квантование после обучения»?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что означает «квантование после обучения»?
    • Сжатие весов уже обученной модели для снижения точности без полного переобучения.
    • Полное переобучение модели с низкой точностью
    • Добавление дополнительных обучающих данных после развертывания
    • Увеличение количества параметров модели
  2. Какую информацию использует GPTQ для компенсации ошибок округления при квантовании?
    • Словарный запас модели
    • Информация второго порядка (гессиан/кривизна) из набора калибровочных данных.
    • История запросов пользователя
    • Случайный шум
  3. Какая ключевая информация лежит в основе AWQ (квантования веса с учетом активации)?
    • Все веса одинаково важны
    • Активации следует квантовать, но веса оставить нетронутыми.
    • Небольшая часть весовых каналов особенно важна и должна быть защищена.
    • Квантование должно происходить только во время предварительного обучения.
  4. Сколько примерно памяти экономит 4-битное квантование по сравнению с 16-битным взвешиванием?
    • Нет экономии
    • Почти вдвое больше памяти
    • Ровно половина памяти
    • Около четверти памяти (уменьшение в 4 раза)
  5. Почему и GPTQ, и AWQ обычно квантуют веса, но сохраняют активацию с более высокой точностью?
    • Веса доминируют в памяти, а агрессивное квантование активации имеет тенденцию еще больше вредить точности.
    • Активации не существуют в трансформерах
    • Активации уже 1-битные
    • Этого требует закон
  6. Какой инструмент обычно используется для локального запуска квантованных моделей на потребительском оборудовании?
    • Microsoft Слово
    • лама.cpp
    • Программа для работы с электронными таблицами
    • Только веб-браузер
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve