СледваСледващо ръководство
Подсилващо обучение за търговия
технически
Техническо РЪКОВОДСТВО
Подсилване на обучението от човешка обратна връзка
Обучението с подсилване от човешка обратна връзка използва човешки преценки, за да изгради обучителен сигнал за поведението на модела.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Може да подобри съгласието със събраните предпочитания, но не гарантира верни, безопасни или универсално предпочитани отговори.
Дълбоко гмуркане
Предварително обучен езиков модел предвижда правдоподобен текст, но правдоподобният не е същият като полезен, честен или безопасен. Един общ RLHF тръбопровод адресира тези цели на етапи. Първо, контролираната фина настройка учи модела да следва инструкции, използвайки написани от човека примерни отговори. След това хората сравняват двойки модели отговори на една и съща подкана и избират по-добрия; тези сравнения обучават отделен модел на възнаграждение, който оценява всеки отговор. И накрая, езиковият модел е оптимизиран с обучение за подсилване, за да произвежда отговори, които моделът за възнаграждение оценява високо. Наказанието регулира отклонението от референтната политика; не елиминира използването на грешки в модела на възнаграждение. RLHF беше централен за правенето на използваеми асистенти в стил ChatGPT.
Внедряване в реалния свят
Настройване на асистент за чат, така че да отказва вредни заявки и да дава полезни, добре структурирани отговори, а не просто правдоподобен текст.
Класиране на двойки резюмета по човешки предпочитания, за да се обучи модел, който пише резюмета, които хората наистина намират за полезни.
Намаляване на токсичните или предубедени резултати чрез възнаграждаване на отговорите, които човешките оценители оценяват като уважителни и безопасни.
Използване на DPO върху набор от данни за предпочитани срещу отхвърлени отговори за подравняване на модел с отворен код, без да се изпълнява пълен PPO цикъл.
Бъдещето на обучението за подсилване от човешката обратна връзка
RLHF се рационализира и частично автоматизира. DPO и свързаните с него методи за директни предпочитания заменят тежкия PPO тръбопровод за много екипи, а RLAIF използва обратна връзка, генерирана от AI (както в Конституционния AI), за да намали разходите за етикетиране. Изследванията се занимават с хакването на възнагражденията, пристрастията на анотаторите и трудността да се преценяват дългите или експертни отговори с техники като надзор на процеса и дебат. Очаквайте подравняване, което да съчетава човешка и AI обратна връзка, по-богати сигнали за възнаграждение отвъд едно вдигане на палец нагоре и нарастващ контрол върху това кой предоставя предпочитанията и какви ценности кодират.
Прилагайки го на практика
Защо има значение
- Разходи и бюджет. Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
- По-ясни решения. Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
- Контрол на качеството. По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Внимавайте за
- Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
- Разходите за инфраструктура и поддръжка често се подценяват.
- Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Следващи стъпки
- Определете целите за латентност, качество и разходи преди внедряването.
- Бенчмарк при реалистични условия на натоварване и данни.
- Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
- Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Reinforcement Learning From Human Feedback quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво е подсилване, което се учи от човешката обратна връзка?
Обучението с подсилване от човешка обратна връзка използва човешки преценки, за да изгради обучителен сигнал за поведението на модела. Може да подобри съгласието със събраните предпочитания, но не гарантира верни, безопасни или универсално предпочитани отговори.
Каква е основната цел на RLHF за езиков модел?
RLHF насочва модела към отговорите, които хората предпочитат, което го прави по-полезен, честен и безопасен, а не просто правдоподобен.
Какво всъщност се научава да прави моделът на възнаграждение в RLHF?
Моделът на възнаграждението се обучава на сравнения на човешки предпочитания, за да оценява отговорите, предоставяйки сигнала, спрямо който политиката оптимизира.
Какво има за цел да регулира санкцията за KL-дивергенция срещу референтна политика в цел на RLHF?
Наказанието обезсърчава големи промени в политиката. Това не е доказателство, че моделът на възнаграждение не може да бъде използван или че генерираните отговори са верни.
Как обикновено се събират данните за предпочитанията за модела на възнаграждение?
Анотаторите избират предпочитания отговор при сравнения по двойки, което обучава модела на възнаграждение чрез загуба в стил Брадли-Тери.
Какво предимство предлага DPO (Direct Preference Optimization) пред класическия RLHF тръбопровод?
DPO извлича целта директно от предпочитанията, като избягва отделния модел на възнаграждение и неудобната стъпка на обучение за подсилване.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема