Викторина, связанная с руководством · Средний Уровень

Слои адаптера для викторины по переносу

Проверьте, как адаптеры «узких мест» сохраняют замороженную базовую модель, обеспечивают модульную задачу или передачу домена, и сравнивают с LoRA.

Связанные направляющие путиСлои адаптера для переноса
Вопрос 1 из 8

Что происходит с исходными предварительно подготовленными весами при тренировке с адаптерами?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что происходит с исходными предварительно подготовленными весами при тренировке с адаптерами?
    • Они заморожены, пока обучаются только параметры адаптера
    • Они удалены
    • Они случайным образом повторно инициализируются
    • Они увеличены в два раза
  2. Какова типичная внутренняя структура адаптера узкого места?
    • Один огромный плотный слой
    • Проекция вниз, нелинейность, затем проекция вверх, с остаточной связью.
    • Только внимание головы
    • Сверточный фильтр изображений
  3. Какую примерно долю параметров обычно обучают адаптеры?
    • 100%
    • Ровно 50%
    • Часто ниже 5%
    • Совсем нет
  4. Почему адаптеры удобны для решения многих задач?
    • Для каждой задачи требуется отдельная полная копия модели.
    • Их нельзя совмещать
    • Они стирают базовую модель после каждого задания.
    • Вы оставляете одну базовую модель и заменяете небольшие адаптеры для каждой задачи.
  5. К какому семейству техники относятся адаптеры?
    • Точная настройка с эффективным использованием параметров (PEFT)
    • Увеличение данных
    • Сжатие изображения
    • Схемы токенизации
  6. Какое преимущество предлагает LoRA перед классическим вставленным адаптером во время вывода?
    • Это невозможно обучить
    • Его изученные веса можно объединить с базовыми матрицами, избегая дополнительных задержек на каждом уровне.
    • Требуется переобучение всей модели.
    • Он навсегда удаляет остаточное соединение
  7. What does a residual connection contribute to a classic bottleneck adapter?
    • A second full pretrained model copy for each task
    • A mandatory external retrieval database
    • A path that adds the adapter’s transformed representation back to the original hidden state
    • A guarantee that no added computation occurs
  8. What is one benefit of stacking a domain adapter with a task adapter?
    • Merge all user data into the frozen base weights automatically
    • Avoid using any adapter modules
    • Convert a language model into a vision encoder
    • Reuse a domain specialization together with a separate task specialization