Викторина, связанная с руководством · Средний Уровень
Продолжение предварительной подготовки или викторины по тонкой настройке
Проверяет данные и объективные различия между продолжительной предварительной тренировкой и точной настройкой, катастрофическим забыванием и повторением, а также тем, когда извлечение лучше подходит.
Вопрос 1 из 8
В чем основная разница в данных между продолжительным предварительным обучением и контролируемой точной настройкой?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- В чем основная разница в данных между продолжительным предварительным обучением и контролируемой точной настройкой?
- Оба используют только помеченные пары вопросов и ответов.
- При продолжении предварительного обучения используется необработанный доменный текст; тонкая настройка использует тщательно подобранные помеченные примеры
- Точная настройка использует больше данных, чем дальнейшее предварительное обучение.
- Продолжение предварительного обучения использует только изображения
- Где обычно рассчитываются потери при контролируемой точной настройке?
- На каждом токене, включая приглашение
- Только на жетонах подсказки
- На случайно выбранных токенах
- Только на токенах ответа
- Что такое повтор в непрерывной предварительной тренировке?
- Добавление некоторых общих данных в обучение, чтобы ограничить забывание
- Запуск одной и той же партии дважды
- Возобновление обучения с нуля
- Воспроизведение разговоров пользователей во время вывода
- Как создавался код Llama?
- С нуля только на коде
- Быстрое проектирование Llama 2
- Продолжая обучение Llama 2 на большом корпусе кода.
- Путем точной настройки нескольких сотен вопросов по кодированию
- Какой подход, предлагаемый в руководстве, часто лучше, чем точная настройка, для фактов, которые часто меняются?
- Продолжение предварительной подготовки каждый день
- Получение актуальных документов
- Повышение температуры отбора проб
- Обучение более крупного токенизатора
- Какое утверждение о BloombergGPT согласно руководству верно?
- Продолжена предтренировка Llama 2.
- Он был создан только с помощью LoRA.
- Это был быстро сконструированный ГПТ-3.
- Обучено с нуля на финансовых и общих данных
- Что показала статья 2020 года «Не прекращайте предтренировку»?
- Второй этап предварительного обучения работе с внутридоменным текстом улучшил RoBERTa при выполнении предметных задач.
- Предварительное обучение всегда должно прекращаться после одной эпохи.
- Точная настройка бесполезна для классификации
- Текст домена вредит каждой модели
- Зачем повышать скорость обучения в начале продолжения предварительной подготовки?
- Чтобы сбросить токенизатор
- Чтобы заморозить базовые веса
- Возобновление с высокой скоростью дестабилизирует тренировку, тогда как слишком низкая скорость мало чему учит.
- Чтобы пропустить необходимость в данных домена