Тест, свързан с ръководство · Среден Ниво

Адаптерни слоеве за тест за прехвърляне

Проверете как адаптерите за тесни места запазват замразен базов модел, активирайте модулна задача или трансфер на домейн и сравнете с LoRA.

Свързани ръководни пътекиАдаптерни слоеве за прехвърляне
Въпрос 1 на 8

Какво се случва с оригиналните предварително тренирани тежести при тренировка с адаптери?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво се случва с оригиналните предварително тренирани тежести при тренировка с адаптери?
    • Те са замразени, докато се обучават само параметрите на адаптера
    • Те се изтриват
    • Те се инициализират на случаен принцип
    • Удвоени са по размер
  2. Каква е типичната вътрешна структура на адаптер за тесни места?
    • Единичен огромен плътен слой
    • Проекция надолу, нелинейност, след това проекция нагоре, с остатъчна връзка
    • Само главата на вниманието
    • Конволюционен филтър за изображения
  3. Приблизително каква част от параметрите обикновено тренират адаптерите?
    • 100%
    • точно 50%
    • Често под 5%
    • Никакви
  4. Защо адаптерите са удобни за обслужване на много задачи?
    • Те изискват отделно копие на пълен модел за всяка задача
    • Те не могат да се комбинират
    • Те изтриват базовия модел след всяка задача
    • Запазвате един базов модел и разменяте малки адаптери за всяка задача
  5. Към кое семейство техники принадлежат адаптерите?
    • Параметрно ефективна фина настройка (PEFT)
    • Увеличаване на данните
    • Компресия на изображението
    • Схеми за токенизация
  6. Какво предимство предлага LoRA пред класически вмъкнат адаптер по време на извод?
    • Не може да се обучи
    • Неговите научени тегла могат да бъдат обединени в базовите матрици, като се избягва допълнителното забавяне на слой
    • Това изисква преквалификация на целия модел
    • Той премахва остатъчната връзка за постоянно
  7. What does a residual connection contribute to a classic bottleneck adapter?
    • A second full pretrained model copy for each task
    • A mandatory external retrieval database
    • A path that adds the adapter’s transformed representation back to the original hidden state
    • A guarantee that no added computation occurs
  8. What is one benefit of stacking a domain adapter with a task adapter?
    • Merge all user data into the frozen base weights automatically
    • Avoid using any adapter modules
    • Convert a language model into a vision encoder
    • Reuse a domain specialization together with a separate task specialization