Подкрепление обучения на основе обратной связи с людьми
RLHF — это метод, который превращает необработанную языковую модель в полезного и вежливого помощника, обучая ее человеческим предпочтениям.
Обзор
Это важно, потому что это согласует поведение модели с тем, чего люди действительно хотят, а не только с статистической вероятностью.
Глубокое погружение
Предварительно обученная языковая модель предсказывает правдоподобный текст, но правдоподобный — это не то же самое, что полезный, честный или безопасный. RLHF исправляет это поэтапно. Во-первых, контролируемая точная настройка учит модель следовать инструкциям, используя примеры ответов, написанных человеком. Затем люди сравнивают пары модельных ответов на одну и ту же подсказку и выбирают лучший; эти сравнения обучают отдельную модель вознаграждения, которая оценивает любой ответ. Наконец, языковая модель оптимизирована с помощью обучения с подкреплением для получения ответов, которые высоко оцениваются моделью вознаграждения. Штраф удерживает его от отклонения слишком далеко от исходной модели, поэтому он остается плавным и не использует особенности модели вознаграждения. RLHF сыграл центральную роль в обеспечении возможности использования помощников в стиле ChatGPT.
Техническая информация
Модель вознаграждения обычно обучается на парах предпочтений с потерей в стиле Брэдли-Терри, обучаясь давать предпочитаемому человеком ответу более высокий скалярный балл. Затем политика обновляется с помощью PPO (оптимизация проксимальной политики), которая максимизирует вознаграждение, в то время как штраф за расхождение KL по сравнению с эталонной моделью предотвращает чрезмерную оптимизацию и «взлом вознаграждения». Поскольку PPO неудобен, новые методы, такие как DPO (прямая оптимизация предпочтений), пропускают явную модель вознаграждения и цикл подкрепления, оптимизируя политику непосредственно на основе пар предпочтений.
Стратегическое воздействие
Стоимость и бюджет
Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
Более четкие решения
Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
Контроль качества
Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Будущее обучения с подкреплением на основе обратной связи с людьми
RLHF модернизируется и частично автоматизируется. DPO и связанные с ним методы прямого предпочтения заменяют тяжелый конвейер PPO для многих команд, а RLAIF использует обратную связь, генерируемую искусственным интеллектом (как в конституционном искусственном интеллекте), чтобы сократить расходы на маркировку. Исследования направлены на борьбу с хакингом вознаграждений, предвзятостью аннотаторов и сложностью оценки длинных или экспертных ответов с помощью таких методов, как надзор за процессом и дебаты. Ожидайте, что согласование позволит объединить обратную связь между людьми и искусственным интеллектом, более богатые сигналы вознаграждения, выходящие за рамки одного большого пальца, и растущее внимание к тому, кто предоставляет предпочтения и какие ценности они кодируют.
Реальная реализация
Настройка чат-помощника так, чтобы он отклонял вредоносные запросы и давал полезные, хорошо структурированные ответы, а не просто правдоподобный текст.
Ранжирование пар резюме по предпочтениям человека для обучения модели, которая пишет резюме, которые люди действительно находят полезными.
Сокращение токсичных или предвзятых результатов за счет вознаграждения за ответы, которые оценщики считают уважительными и безопасными.
Использование DPO для набора данных предпочтительных и отклоненных ответов для согласования модели с открытым исходным кодом без запуска полного цикла PPO.
Риски и ограничения
Оптимизация одного теста может скрыть более широкие недостатки системы.
Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Дорожная карта реализации
Определите целевые показатели задержки, качества и стоимости перед внедрением.
Тестирование при реалистичной нагрузке и условиях данных.
Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reinforcement Learning From Human Feedback quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Обучение с подкреплением
Часто задаваемые вопросы
Что такое обучение с подкреплением на основе обратной связи человека?
RLHF — это метод, который превращает необработанную языковую модель в полезного и вежливого помощника, обучая ее человеческим предпочтениям. Это важно, потому что моделируемое поведение согласуется с тем, чего люди на самом деле хотят, а не только с тем, что статистически вероятно.
Какова основная цель RLHF для языковой модели?
RLHF ориентирует модель на реакции, которые предпочитают люди, делая ее более полезной, честной и безопасной, а не просто правдоподобной.
Чему на самом деле учится модель вознаграждения в RLHF?
Модель вознаграждения обучается на сравнении человеческих предпочтений для оценки ответов, обеспечивая сигнал, против которого оптимизируется политика.
Почему на этапе RL используется штраф за KL-дивергенцию по сравнению с исходной моделью?
Штраф KL сохраняет оптимизированную политику близкой к эталонной модели, защищая от взлома вознаграждений и потери беглости речи.
Как обычно собираются данные о предпочтениях для модели вознаграждения?
Аннотаторы выбирают предпочтительный ответ в парных сравнениях, что обучает модель вознаграждения с помощью проигрыша в стиле Брэдли-Терри.
Какое преимущество предлагает DPO (прямая оптимизация предпочтений) по сравнению с классическим конвейером RLHF?
DPO выводит цель непосредственно из предпочтений, избегая отдельной модели вознаграждения и трудоемкого этапа обучения с подкреплением.