Тест, свързан с ръководство · трудно Ниво

Смес от LoRA Experts Quiz

Проверява актуализациите от нисък ранг на LoRA, експертно стробиране, замразени базови тегла, композируеми умения и маршрутизиране на слой за смесени адаптери.

Свързани ръководни пътекиСмес от Lora Experts
Въпрос 1 на 8

За какво се отнася частта „LoRA“ на Mixture of LoRA Experts?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. За какво се отнася частта „LoRA“ на Mixture of LoRA Experts?
    • Адаптация с нисък ранг, която обучава малки матрици с нисък ранг вместо пълни тегла
    • Модел за възнаграждение за учене с подсилване
    • Механизъм за внимание на далечни разстояния
    • Тръбопровод за зареждане на данни за адаптери
  2. Каква е работата на стробиращата/рутерна мрежа в MoLE?
    • За компресиране на тежестите на базовия модел
    • Да решите кои експерти да активирате и с какви тегла за даден вход
    • За генериране на данни за обучение за адаптерите
    • За да конвертирате текст във вграждания
  3. Защо MoLE често е по-добър от обучението на един адаптер за много смесени задачи?
    • Той използва повече GPU памет по дизайн
    • Той елиминира необходимостта от какъвто и да е основен модел
    • Намалява намесата и забравянето, като запазва уменията в отделни композируеми експерти
    • Работи само на един език
  4. В LoRA актуализацията на теглото обикновено се изразява като кое от следните?
    • Пълна плътна матрица, заместваща W
    • Единичен скаларен множител на W
    • Всяка стъпка добавя произволна шумова матрица
    • Произведението на две матрици с нисък ранг, B по A
  5. По време на обучението на MoLE, какво обикновено се случва с предварително обучените тежести на базовия модел?
    • Те остават замразени, докато се обучават само адаптерите и рутерът
    • Те са напълно преквалифицирани от нулата
    • Те се изтриват и възстановяват
    • Те са квантувани до един бит
  6. В моделите на дифузионно изображение, какъв проблем помага да се реши йерархичното/по слой стробиране в MoLE?
    • Бавно изтегляне от интернет
    • Множество концептуални LoRA, надделяващи един над друг, когато са съставени
    • Липса на данни за обучение
    • Неправилни файлови формати
  7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
    • It must retrain the pretrained backbone for every prompt
    • It can use only one expert for all inputs
    • It can select or weight experts conditionally for a task or layer
    • It removes every low-rank matrix before inference
  8. In a LoRA update with rank r, what does r control most directly?
    • The number of decoder tokens generated
    • The number of original model layers removed
    • The size of the training vocabulary
    • The dimension of the low-rank factors and thus the capacity and parameter cost of the update