Викторина «Смесь экспертов LoRA»

Ответы и пояснения появляются по мере прохождения теста.

1. К чему относится часть «LoRA» в «Mixture of LoRA Experts»?
   • Адаптация низкого ранга, которая обучает небольшие матрицы низкого ранга вместо полных весов.
   • Модель вознаграждения за обучение с подкреплением
   • Механизм дальнодействующего внимания
   • Конвейер загрузки данных для адаптеров
2. Какова работа сети шлюзов/маршрутизаторов в MoLE?
   • Сжатие веса базовой модели
   • Чтобы решить, каких экспертов активировать и с каким весом для данного входа.
   • Для создания обучающих данных для адаптеров
   • Преобразование текста во внедренные элементы
3. Почему MoLE зачастую лучше, чем обучение одного адаптера выполнению множества смешанных задач?
   • Он использует больше памяти графического процессора по замыслу
   • Это устраняет необходимость в какой-либо базовой модели.
   • Это уменьшает помехи и забывание, сохраняя навыки в отдельных компонуемых экспертах.
   • Работает только на одном языке
4. В LoRA обновление веса обычно выражается как что из следующего?
   • Полная плотная матрица, заменяющая W
   • Один скалярный множитель на W
   • Матрица случайного шума добавляется на каждом этапе
   • Произведение двух матриц низкого ранга, B умноженное на A.
5. Что обычно происходит во время обучения MoLE с предварительно обученными весами базовой модели?
   • Они остаются замороженными, пока обучаются только адаптеры и маршрутизатор.
   • Они полностью переучиваются с нуля
   • Они удаляются и перестраиваются
   • Они квантованы до одного бита.
6. Какую проблему в моделях диффузных изображений помогает решить иерархическая/послойная вентиляция в MoLE?
   • Медленная загрузка в Интернете
   • Несколько концептуальных LoRA, подавляющих друг друга при составлении
   • Недостаток данных для обучения
   • Неправильные форматы файлов
7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
   • It must retrain the pretrained backbone for every prompt
   • It can use only one expert for all inputs
   • It can select or weight experts conditionally for a task or layer
   • It removes every low-rank matrix before inference
8. In a LoRA update with rank r, what does r control most directly?
   • The number of decoder tokens generated
   • The number of original model layers removed
   • The size of the training vocabulary
   • The dimension of the low-rank factors and thus the capacity and parameter cost of the update