Викторина, связанная с руководством · Средний Уровень

Викторина по квантованию модели

Примените квантованную память, коэффициенты масштабирования и компромиссы по точности, в том числе, почему исходное снижение веса не гарантирует полного соответствия модели или скорости.

Связанные направляющие путиКвантование модели
Вопрос 1 из 8

Quantizing a model mainly reduces what?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Quantizing a model mainly reduces what?
    • Числовая точность, используемая для хранения весов и активаций.
    • Количество слоев в сети
    • Набор обучающих данных, на котором была построена модель.
    • Язык, который понимает модель
  2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
    • The payload is unchanged
    • It is one hundredth of the original payload
    • The four-bit payload is one quarter of the sixteen-bit payload
    • The payload becomes four times larger
  3. Каков основной недостаток агрессивного низкобитового квантования?
    • Модель забывает язык обучения
    • Потенциальная потеря точности, поскольку значения сжимаются в меньшее количество сегментов.
    • Он может работать только на суперкомпьютерах
    • Он навсегда удаляет слои
  4. Чем обучение с учетом квантования отличается от квантования после обучения?
    • вообще не требует данных
    • Работает только с изображениями
    • Со временем количество бит увеличивается.
    • Он имитирует округление во время обучения, поэтому модель учится переносить низкую точность.
  5. Какой метод использует 4-битное квантование, чтобы сделать точную настройку больших моделей доступной на одном графическом процессоре?
    • Отсев
    • Пакетная нормализация
    • QLoRA
    • Токенизация
  6. Почему масштабирование по каналам или по группам помогает квантованным моделям?
    • Он присваивает отдельные масштабные коэффициенты срезам весовой матрицы для сохранения точности.
    • Это устраняет необходимость в каких-либо весах.
    • Это делает модель крупнее.
    • Он преобразует текст в аудио
  7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
    • Every four-bit weight expands permanently to a gigabyte
    • Quantization guarantees no runtime allocations
    • Only the model’s filename consumes the remaining memory
    • Caches, scales, unquantized tensors, or workspace need additional memory
  8. A team quantizes to INT8 but sees no inference speedup. What should it check?
    • Whether the training data are alphabetized
    • Whether the workload uses efficient supported kernels on its hardware
    • Whether lower bit width always guarantees faster execution
    • Whether the model must have changed languages