Продолжение предварительной подготовки против тонкой настройки

Продолжающееся предварительное обучение, также называемое предварительным обучением, адаптирующимся к предметной области, начинается с того места, где остановилось исходное предварительное обучение. Модель видит необработанный текст из целевого домена, например медицинские документы, исходный код или юридические документы, и учится прогнозировать каждый следующий токен точно так же, как при предварительном обучении. Гуруранган и его коллеги показали в статье 2020 года «Не прекращайте предварительное обучение», что второй этап предварительного обучения работе с внутридоменным текстом улучшил RoBERTa при выполнении задач в области биомедицины, информатики, новостей и обзоров. Обычно для этого требуются большие объемы текста, часто миллиарды токенов, а также полнопараметрическое обучение, поэтому это стоит гораздо дороже, чем точная настройка. Точная настройка, обычно контролируемая, использует пары подсказок и ответов. Потери обычно вычисляются только по токенам ответа, поэтому модель узнает, что производить с учетом входных данных. Наборы данных варьируются от нескольких тысяч до сотен тысяч примеров, а методы с эффективными параметрами, такие как LoRA, делают их доступными на скромном оборудовании. Он хорош в преподавании формата, стиля, поведения при выполнении задач и следования инструкциям. Часто следуют методы предпочтений, такие как RLHF или DPO. Обычный конвейер — это базовая модель, затем продолжается предварительное обучение, затем контролируемая точная настройка, а затем настройка предпочтений. Продолжение предварительной подготовки имеет известный риск: катастрофическое забывание, при котором ухудшаются общие навыки. Применительно к модели чата это также может нарушить выполнение инструкций, поэтому команды часто начинают с базовой модели, а затем повторяют настройку инструкций. Выделяются два заблуждения. Во-первых, точная настройка не является надежным способом добавления большого количества новых фактов; исследования, такие как Гехман и его коллеги (2024), показали, что модели медленно усваивают новые факты посредством тонкой настройки, и это может увеличить галлюцинации. Для быстро меняющихся фактов поиск часто оказывается лучшим инструментом. Во-вторых, BloombergGPT иногда называют непрерывным предварительным обучением, но оно было обучено с нуля на сочетании финансовых и общих данных. Грубое правило: используйте непрерывное предварительное обучение, когда язык предметной области сильно отличается от веб-текста и много неразмеченных данных; используйте точную настройку, когда вам нужно поведение или формат.