ДаліНаступний посібник
Reinforcement Learning for Trading
технічний
Технічний КЕРІВНИЦТВО
Навчання з підкріпленням на основі відгуків людини
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
Глибоке занурення
A pretrained language model predicts plausible text, but plausible is not the same as helpful, honest, or safe. A common RLHF pipeline addresses these goals in stages. First, supervised fine-tuning teaches the model to follow instructions using human-written example answers. Next, humans compare pairs of model responses to the same prompt and pick the better one; these comparisons train a separate reward model that scores any response. Finally, the language model is optimized with reinforcement learning to produce responses the reward model rates highly. A penalty regularizes deviation from a reference policy; it does not eliminate exploitation of reward-model errors. RLHF was central to making ChatGPT-style assistants usable.
Реалізація в реальному світі
Налаштування помічника в чаті таким чином, щоб він відмовлявся від шкідливих запитів і давав корисні, добре структуровані відповіді, а не просто правдоподібний текст.
Ранжування пар резюме за перевагами людини, щоб навчити модель, яка пише резюме, які люди дійсно вважають корисними.
Зменшення токсичних або упереджених результатів шляхом винагороди за відповіді, які люди вважають шанобливими та безпечними.
Використання DPO на наборі даних бажаних і відхилених відповідей для узгодження моделі з відкритим кодом без запуску повного циклу PPO.
Майбутнє підкріплення, що навчається на відгуках людей
RLHF упорядковується та частково автоматизується. DPO та пов’язані з ним методи прямого пріоритету замінюють важкий конвеєр PPO для багатьох команд, а RLAIF використовує зворотній зв’язок, створений ШІ (як у Конституційному ШІ), щоб скоротити витрати на маркування. Дослідження вирішують питання хакерства винагороди, упередженості анотаторів і труднощів оцінки довгих чи експертних відповідей за допомогою таких методів, як нагляд за процесом і дебати. Очікуйте узгодження, яке поєднує відгуки людини та штучного інтелекту, більш багаті сигнали про винагороду, окрім одного підняття великого пальця вгору, і дедалі більшу увагу до того, хто надає переваги та які цінності вони кодують.
Застосування на практиці
Чому це важливо
- Вартість і бюджет. Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
- Чіткіші рішення. Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
- Контроль якості. Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Зверніть увагу на
- Оптимізація одного тесту може приховати ширші слабкі сторони системи.
- Витрати на інфраструктуру та обслуговування часто недооцінюються.
- Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Наступні кроки
- Визначте цільові показники затримки, якості та вартості перед впровадженням.
- Тест за реалістичних умов навантаження та даних.
- Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
- Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Reinforcement Learning From Human Feedback quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is Reinforcement Learning From Human Feedback?
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior. It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
Яке основне призначення RLHF для мовної моделі?
RLHF спрямовує модель на відповіді, які віддають перевагу людям, роблячи її більш корисною, чесною та безпечною, а не просто правдоподібною.
Що насправді вчиться робити модель винагороди в RLHF?
Модель винагороди навчається на основі порівняння людських уподобань для оцінки відповідей, надаючи сигнал, за яким політика оптимізується.
What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
The penalty discourages large policy shifts. It is not proof that the reward model cannot be exploited or that generated answers are correct.
Як зазвичай збираються дані про переваги для моделі винагороди?
Анотатори вибирають бажану відповідь у попарних порівняннях, що тренує модель винагороди за допомогою втрати у стилі Бредлі-Террі.
Які переваги пропонує DPO (пряма оптимізація переваг) перед класичним конвеєром RLHF?
DPO виводить ціль безпосередньо з уподобань, уникаючи окремої моделі винагороди та складного етапу навчання з підкріпленням.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми