Тест квантування моделі

Відповіді та пояснення з’являються під час виконання тесту.

1. Quantizing a model mainly reduces what?
   • Числова точність, яка використовується для збереження ваг і активацій
   • Кількість шарів у мережі
   • Навчальний набір даних, на основі якого побудовано модель
   • Мова, зрозуміла моделі
2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
   • The payload is unchanged
   • It is one hundredth of the original payload
   • The four-bit payload is one quarter of the sixteen-bit payload
   • The payload becomes four times larger
3. Який головний недолік агресивного низькорозрядного квантування?
   • Модель забуває мову навчання
   • Потенційна втрата точності, оскільки значення стискаються в меншу кількість відер
   • Він може працювати тільки на суперкомп'ютерах
   • Він остаточно видаляє шари
4. Чим навчання з усвідомленням квантування відрізняється від квантування після навчання?
   • Для цього взагалі не потрібні дані
   • Він працює лише на зображеннях
   • З часом кількість бітів збільшується
   • Він імітує округлення під час навчання, щоб модель навчилася терпіти низьку точність
5. Яка техніка використовує 4-бітове квантування, щоб зробити тонке налаштування великих моделей доступним на одному GPU?
   • Вибуття
   • Пакетна нормалізація
   • QLoRA
   • Токенізація
6. Чому поканальне або погрупове масштабування допомагає квантованим моделям?
   • Він призначає окремі масштабні коефіцієнти фрагментам вагової матриці, щоб зберегти точність
   • Зникає необхідність у будь-яких обтяженнях
   • Це робить модель більшою
   • Він перетворює текст на аудіо
7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
   • Every four-bit weight expands permanently to a gigabyte
   • Quantization guarantees no runtime allocations
   • Only the model’s filename consumes the remaining memory
   • Caches, scales, unquantized tensors, or workspace need additional memory
8. A team quantizes to INT8 but sees no inference speedup. What should it check?
   • Whether the training data are alphabetized
   • Whether the workload uses efficient supported kernels on its hardware
   • Whether lower bit width always guarantees faster execution
   • Whether the model must have changed languages