Вікторина, пов’язана з посібником · Середній Рівень

Адаптерні рівні для тесту щодо передачі

Перевірте, як вузькі адаптери зберігають заморожену базову модель, увімкніть модульне завдання або перенесення домену та порівняйте з LoRA.

Пов'язані напрямні шляхиАдаптерні шари для перенесення
Питання 1 з 8

Що відбувається з оригінальними попередньо підготовленими вагами під час тренування з адаптерами?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що відбувається з оригінальними попередньо підготовленими вагами під час тренування з адаптерами?
    • Вони зависають, поки навчаються лише параметри адаптера
    • Вони видаляються
    • Вони повторно ініціалізуються випадковим чином
    • Вони збільшені вдвічі
  2. Яка типова внутрішня структура адаптера вузького місця?
    • Один величезний щільний шар
    • Проекція вниз, нелінійність, потім проекція вгору, із залишковим зв’язком
    • Тільки увага голові
    • Фільтр згорткового зображення
  3. Приблизно яку частину параметрів зазвичай навчають адаптери?
    • 100%
    • Рівно 50%
    • Часто менше 5%
    • Ніякої взагалі
  4. Чому адаптери зручні для виконання багатьох завдань?
    • Вони потребують окремої повної копії моделі для кожного завдання
    • Їх не можна поєднувати
    • Вони стирають базову модель після кожного завдання
    • Ви зберігаєте одну базову модель і змінюєте невеликі адаптери для кожного завдання
  5. До якого сімейства техніки належать адаптери?
    • Точне налаштування параметрів (PEFT)
    • Збільшення даних
    • Стиснення зображення
    • Схеми токенізації
  6. Яку перевагу пропонує LoRA перед класичним вставленим адаптером під час визначення часу?
    • Його не можна дресирувати
    • Його отримані вагові коефіцієнти можна об’єднати в базові матриці, уникаючи додаткової затримки для кожного шару
    • Це вимагає перенавчання всієї моделі
    • Це назавжди видаляє залишкове з’єднання
  7. What does a residual connection contribute to a classic bottleneck adapter?
    • A second full pretrained model copy for each task
    • A mandatory external retrieval database
    • A path that adds the adapter’s transformed representation back to the original hidden state
    • A guarantee that no added computation occurs
  8. What is one benefit of stacking a domain adapter with a task adapter?
    • Merge all user data into the frozen base weights automatically
    • Avoid using any adapter modules
    • Convert a language model into a vision encoder
    • Reuse a domain specialization together with a separate task specialization