Викторина, связанная с руководством · Средний Уровень

QLoRA и 4-битная викторина по точной настройке

Ознакомьтесь с замороженной 4-битной базой QLoRA, обучаемыми адаптерами низкого ранга, NF4, двойным квантованием, страничными оптимизаторами и временным деквантованием.

Связанные направляющие путиQlora и 4-битная точная настройка
Вопрос 1 из 8

Какова основная идея экономии памяти, лежащая в основе «4-битной» части QLoRA?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какова основная идея экономии памяти, лежащая в основе «4-битной» части QLoRA?
    • Он квантует веса замороженной базовой модели до 4 битов каждая.
    • Удаляет 75% слоев модели.
    • Он обучает модель всего за 4 эпохи.
    • Он использует только 4 графических процессора вместо многих
  2. Какие параметры на самом деле обновляются градиентным спуском во время тонкой настройки QLoRA?
    • Весь оригинальный вес модели.
    • Только небольшие матрицы адаптеров LoRA низкого ранга.
    • 4-битные константы квантования
    • Словарь токенизатора
  3. Что такое NF4 в контексте QLoRA?
    • 4-слойная нейронная сеть
    • Новый алгоритм оптимизатора
    • 4-битный тип данных, оптимизированный для нормально распределенных весов.
    • Формат кластера графических процессоров с 4 узлами
  4. Какую проблему решают «оптимизаторы страниц» в QLoRA?
    • Медленная загрузка файлов моделей из Интернета.
    • Неправильная токенизация
    • Переобучение на небольших наборах данных
    • Всплески нехватки памяти во время длинных последовательностей
  5. Когда во время обучения 4-битные веса преобразуются обратно в более высокую точность?
    • Точно в срок во время умножения матрицы, затем отбрасывается
    • Они никогда не обращаются; математика выполняется в 4 битах
    • Только один раз в самом начале обучения
    • Только после завершения обучения
  6. Что исходный документ QLoRA продемонстрировал в отношении качества?
    • 4-битная точная настройка всегда лучше полной точной настройки
    • Точная настройка модели 65B на одном графическом процессоре может обеспечить качество полной 16-битной настройки.
    • Квантование делает бесполезными модели ниже 8 бит
    • Таким образом можно точно настроить только крошечные модели.
  7. What does QLoRA’s double-quantization step compress?
    • Словарь токенизатора
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks