Тест, свързан с ръководство · Среден Ниво

QLoRA и 4-битов тест за фина настройка

Прегледайте замразената 4-битова база на QLoRA, обучаемите адаптери от нисък ранг, NF4, двойното квантуване, страниците оптимизатори и временното деквантуване.

Свързани ръководни пътекиQlora и 4-битова фина настройка
Въпрос 1 на 8

Каква е основната идея за спестяване на памет зад „4-битовата“ част на QLoRA?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Каква е основната идея за спестяване на памет зад „4-битовата“ част на QLoRA?
    • Той квантува теглата на замразения базов модел до 4 бита всеки
    • Изтрива 75% от слоевете на модела
    • Обучава модела само в 4 епохи
    • Той използва само 4 GPU вместо много
  2. По време на фината настройка на QLoRA кои параметри всъщност се актуализират чрез градиентно спускане?
    • Всички оригинални грамажи на модела
    • Само малките LoRA адаптерни матрици с нисък ранг
    • 4-битовите константи на квантуване
    • Речникът на токенизатора
  3. Какво е NF4 в контекста на QLoRA?
    • 4-слойна невронна мрежа
    • Нов алгоритъм за оптимизиране
    • 4-битов тип данни, оптимизиран за нормално разпределени тегла
    • Формат на клъстерен GPU с 4 възела
  4. Какъв проблем решават „оптимизаторите за страници“ в QLoRA?
    • Бавно изтегляне от интернет на файлове с модели
    • Неправилно токенизиране
    • Пренастройване на малки набори от данни
    • Пикове при липса на памет по време на дълги поредици
  5. Кога 4-битовите тегла се преобразуват обратно в по-висока точност по време на тренировка?
    • Точно навреме по време на умножението на матрицата, след което се изхвърля
    • Те никога не се преобразуват; математиката се прави в 4 бита
    • Само веднъж в самото начало на тренировката
    • Само след приключване на обучението
  6. Какво показа оригиналната хартия QLoRA относно качеството?
    • 4-битовата фина настройка винаги е по-добра от пълната фина настройка
    • Фината настройка на модел 65B на един графичен процесор може да съответства на пълното 16-битово качество на фина настройка
    • Квантуването прави безполезни моделите под 8 бита
    • Само малки модели могат да бъдат фино настроени по този начин
  7. What does QLoRA’s double-quantization step compress?
    • Речникът на токенизатора
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks