Викторина, связанная с руководством · Средний Уровень
QLoRA и 4-битная викторина по точной настройке
Ознакомьтесь с замороженной 4-битной базой QLoRA, обучаемыми адаптерами низкого ранга, NF4, двойным квантованием, страничными оптимизаторами и временным деквантованием.
Вопрос 1 из 8
Какова основная идея экономии памяти, лежащая в основе «4-битной» части QLoRA?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Какова основная идея экономии памяти, лежащая в основе «4-битной» части QLoRA?
- Он квантует веса замороженной базовой модели до 4 битов каждая.
- Удаляет 75% слоев модели.
- Он обучает модель всего за 4 эпохи.
- Он использует только 4 графических процессора вместо многих
- Какие параметры на самом деле обновляются градиентным спуском во время тонкой настройки QLoRA?
- Весь оригинальный вес модели.
- Только небольшие матрицы адаптеров LoRA низкого ранга.
- 4-битные константы квантования
- Словарь токенизатора
- Что такое NF4 в контексте QLoRA?
- 4-слойная нейронная сеть
- Новый алгоритм оптимизатора
- 4-битный тип данных, оптимизированный для нормально распределенных весов.
- Формат кластера графических процессоров с 4 узлами
- Какую проблему решают «оптимизаторы страниц» в QLoRA?
- Медленная загрузка файлов моделей из Интернета.
- Неправильная токенизация
- Переобучение на небольших наборах данных
- Всплески нехватки памяти во время длинных последовательностей
- Когда во время обучения 4-битные веса преобразуются обратно в более высокую точность?
- Точно в срок во время умножения матрицы, затем отбрасывается
- Они никогда не обращаются; математика выполняется в 4 битах
- Только один раз в самом начале обучения
- Только после завершения обучения
- Что исходный документ QLoRA продемонстрировал в отношении качества?
- 4-битная точная настройка всегда лучше полной точной настройки
- Точная настройка модели 65B на одном графическом процессоре может обеспечить качество полной 16-битной настройки.
- Квантование делает бесполезными модели ниже 8 бит
- Таким образом можно точно настроить только крошечные модели.
- What does QLoRA’s double-quantization step compress?
- Словарь токенизатора
- The LoRA adapter rank
- The quantization constants used to represent the 4-bit weights
- The training examples’ text labels
- How can one QLoRA base model support multiple task-specific versions?
- They delete the optimizer state after every token
- They increase the base model from 4-bit to 32-bit
- They move all activations into the tokenizer
- Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks