Тест за квантуване на модели

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Квантуването на модел основно намалява какво?
   • Числената точност, използвана за съхраняване на тегла и активации
   • Броят на слоевете в мрежата
   • Наборът от данни за обучение, върху който е изграден моделът
   • Езикът, който моделът може да разбере
2. Пренебрегвайки метаданните за мащаба и други тензори по време на изпълнение, какво е съотношението тегло-полезен товар от шестнадесет бита на четири бита на тегло?
   • Полезният товар е непроменен
   • Това е една стотна от първоначалния полезен товар
   • Четирийбитовият полезен товар е една четвърт от шестнадесетбитовия полезен товар
   • Полезният товар става четири пъти по-голям
3. Какъв е основният недостатък на агресивното нискобитово квантуване?
   • Моделът забравя езика си на обучение
   • Потенциална загуба на точност, тъй като стойностите се притискат в по-малко кофи
   • Може да работи само на суперкомпютри
   • Изтрива завинаги слоевете
4. По какво се различава обучението за квантуване от квантуването след обучение?
   • Изобщо не изисква данни
   • Работи само върху изображения
   • Увеличава броя на битовете с течение на времето
   • Той симулира закръгляване по време на обучение, така че моделът да се научи да толерира ниска точност
5. Коя техника използва 4-битово квантуване, за да направи фината настройка на големи модели достъпна на един GPU?
   • Отпадане
   • Пакетно нормализиране
   • QLoRA
   • Токенизация
6. Защо мащабирането по канал или по група помага на квантуваните модели?
   • Той присвоява отделни мащабни коефициенти на части от тегловна матрица, за да запази прецизността
   • Премахва необходимостта от всякакви тежести
   • Това прави модела по-голям
   • Преобразува текст в аудио
7. Суровите тегла на четирибитов модел се побират в наличната VRAM, но обслужването се проваля извън паметта. Какво може да обясни това?
   • Всяко тегло от четири бита се разширява постоянно до гигабайт
   • Квантуването не гарантира разпределение по време на изпълнение
   • Само името на файла на модела заема оставащата памет
   • Кешовете, скалите, неквантуваните тензори или работното пространство се нуждаят от допълнителна памет
8. Екип квантува до INT8, но не вижда ускоряване на извода. Какво трябва да проверява?
   • Дали данните за обучението са подредени по азбучен ред
   • Дали работното натоварване използва ефективни поддържани ядра на своя хардуер
   • Дали по-малката ширина на бита винаги гарантира по-бързо изпълнение
   • Дали моделът трябва да е променил езиците