Викторина, связанная с руководством · Средний Уровень

Продолжение предварительной подготовки или викторины по тонкой настройке

Проверяет данные и объективные различия между продолжительной предварительной тренировкой и точной настройкой, катастрофическим забыванием и повторением, а также тем, когда извлечение лучше подходит.

Вопрос 1 из 8

В чем основная разница в данных между продолжительным предварительным обучением и контролируемой точной настройкой?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. В чем основная разница в данных между продолжительным предварительным обучением и контролируемой точной настройкой?
    • Оба используют только помеченные пары вопросов и ответов.
    • При продолжении предварительного обучения используется необработанный доменный текст; тонкая настройка использует тщательно подобранные помеченные примеры
    • Точная настройка использует больше данных, чем дальнейшее предварительное обучение.
    • Продолжение предварительного обучения использует только изображения
  2. Где обычно рассчитываются потери при контролируемой точной настройке?
    • На каждом токене, включая приглашение
    • Только на жетонах подсказки
    • На случайно выбранных токенах
    • Только на токенах ответа
  3. Что такое повтор в непрерывной предварительной тренировке?
    • Добавление некоторых общих данных в обучение, чтобы ограничить забывание
    • Запуск одной и той же партии дважды
    • Возобновление обучения с нуля
    • Воспроизведение разговоров пользователей во время вывода
  4. Как создавался код Llama?
    • С нуля только на коде
    • Быстрое проектирование Llama 2
    • Продолжая обучение Llama 2 на большом корпусе кода.
    • Путем точной настройки нескольких сотен вопросов по кодированию
  5. Какой подход, предлагаемый в руководстве, часто лучше, чем точная настройка, для фактов, которые часто меняются?
    • Продолжение предварительной подготовки каждый день
    • Получение актуальных документов
    • Повышение температуры отбора проб
    • Обучение более крупного токенизатора
  6. Какое утверждение о BloombergGPT согласно руководству верно?
    • Продолжена предтренировка Llama 2.
    • Он был создан только с помощью LoRA.
    • Это был быстро сконструированный ГПТ-3.
    • Обучено с нуля на финансовых и общих данных
  7. Что показала статья 2020 года «Не прекращайте предтренировку»?
    • Второй этап предварительного обучения работе с внутридоменным текстом улучшил RoBERTa при выполнении предметных задач.
    • Предварительное обучение всегда должно прекращаться после одной эпохи.
    • Точная настройка бесполезна для классификации
    • Текст домена вредит каждой модели
  8. Зачем повышать скорость обучения в начале продолжения предварительной подготовки?
    • Чтобы сбросить токенизатор
    • Чтобы заморозить базовые веса
    • Возобновление с высокой скоростью дестабилизирует тренировку, тогда как слишком низкая скорость мало чему учит.
    • Чтобы пропустить необходимость в данных домена