Вікторина, пов’язана з посібником · Середній Рівень

Тест квантування GPTQ і AWQ після навчання

Перевіряє різницю між GPTQ і AWQ, дані калібрування, компенсацію кривизни, канали з підтримкою активації та низькорозрядну пам’ять.

Пов'язані напрямні шляхиКвантування Gptq і Awq після навчання
Питання 1 з 8

Що означає «квантування після навчання»?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що означає «квантування після навчання»?
    • Стиснення ваги вже навченої моделі для зниження точності без повного повторного навчання
    • Перенавчання моделі повністю з низькою точністю
    • Додавання додаткових навчальних даних після розгортання
    • Збільшення кількості параметрів моделі
  2. Яку інформацію використовує GPTQ для компенсації помилок округлення під час квантування?
    • Список словника моделі
    • Інформація другого порядку (Гессе/кривизна) з набору даних калібрування
    • Історія підказок користувача
    • Випадковий шум
  3. Яке ключове розуміння керує AWQ (квантування ваги з урахуванням активації)?
    • Усі ваги однаково важливі
    • Активації слід квантувати, але ваги залишати без змін
    • Невелика частка вагових каналів особливо важлива і повинна бути захищена
    • Квантування має відбуватися лише під час попереднього навчання
  4. Приблизно скільки пам’яті зберігає 4-бітне квантування порівняно з 16-бітними вагами?
    • Без заощаджень
    • Приблизно вдвічі більше пам'яті
    • Рівно половина пам'яті
    • Приблизно чверть пам'яті (зменшення в 4 рази)
  5. Чому і GPTQ, і AWQ зазвичай квантують ваги, але зберігають активації з вищою точністю?
    • Ваги домінують у пам’яті, а агресивне квантування активації, як правило, більше шкодить точності
    • У трансформерах активацій немає
    • Активації вже 1-бітні
    • Це вимагає закон
  6. Який інструмент зазвичай використовується для запуску квантованих моделей локально на споживчому обладнанні?
    • Microsoft Слово
    • llama.cpp
    • Програма для роботи з електронними таблицями
    • Один веб-браузер
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve