Вікторина, пов’язана з посібником · важко Рівень

Суміш тесту експертів LoRA

Перевіряє низькорангові оновлення LoRA, експертні стробування, заморожені базові ваги, навички компонування та маршрутизацію на рівні для змішаних адаптерів.

Пов'язані напрямні шляхиСуміш Lora Experts
Питання 1 з 8

Про що йдеться в розділі «LoRA» на сайті Mixture of LoRA Experts?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Про що йдеться в розділі «LoRA» на сайті Mixture of LoRA Experts?
    • Адаптація низького рангу, яка тренує невеликі матриці низького рангу замість повних ваг
    • Модель винагороди за навчання з підкріпленням
    • Механізм дальньої уваги
    • Конвеєр завантаження даних для адаптерів
  2. Яка робота мережі шлюзів/маршрутизаторів у MoLE?
    • Щоб стиснути базову модель тягарців
    • Вирішувати, яких експертів активувати та з якими вагами для певного введення
    • Для створення навчальних даних для адаптерів
    • Щоб перетворити текст на вбудовування
  3. Чому MoLE часто краще, ніж тренувати один адаптер для багатьох змішаних завдань?
    • Він використовує більше пам'яті графічного процесора
    • Це усуває потребу в будь-якій базовій моделі
    • Це зменшує втручання та забування, зберігаючи навички в окремих компонованих експертів
    • Він працює лише на одній мові
  4. У LoRA оновлення ваги зазвичай виражається як що з наведеного нижче?
    • Повна щільна матриця, що замінює W
    • Один скалярний множник на W
    • До кожного кроку додається матриця випадкового шуму
    • Добуток двох матриць низького рангу, B, помножене на A
  5. Під час навчання MoLE, що зазвичай відбувається з попередньо підготовленими вагами базової моделі?
    • Вони залишаються замороженими, поки навчаються лише адаптери та маршрутизатор
    • Вони повністю перенавчаються з нуля
    • Їх видаляють і відбудовують
    • Вони квантовані до одного біта
  6. У моделях дифузійних зображень, яку проблему допомагає вирішити ієрархічне/пошарове стробування в MoLE?
    • Повільне завантаження з Інтернету
    • Кілька концепцій LoRA переважають одна над одною, коли вони складаються
    • Відсутність даних про навчання
    • Неправильні формати файлів
  7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
    • It must retrain the pretrained backbone for every prompt
    • It can use only one expert for all inputs
    • It can select or weight experts conditionally for a task or layer
    • It removes every low-rank matrix before inference
  8. In a LoRA update with rank r, what does r control most directly?
    • The number of decoder tokens generated
    • The number of original model layers removed
    • The size of the training vocabulary
    • The dimension of the low-rank factors and thus the capacity and parameter cost of the update