Műszaki ÚTMUTATÓ

Az emberi visszajelzésekből való tanulás megerősítése

Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az emberi visszajelzésekből való tanulás megerősítésének jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.

Mély merülés

A pretrained language model predicts plausible text, but plausible is not the same as helpful, honest, or safe. A common RLHF pipeline addresses these goals in stages. First, supervised fine-tuning teaches the model to follow instructions using human-written example answers. Next, humans compare pairs of model responses to the same prompt and pick the better one; these comparisons train a separate reward model that scores any response. Finally, the language model is optimized with reinforcement learning to produce responses the reward model rates highly. A penalty regularizes deviation from a reference policy; it does not eliminate exploitation of reward-model errors. RLHF was central to making ChatGPT-style assistants usable.

Valós megvalósítás

A csevegési asszisztens hangolása úgy, hogy az elutasítsa a káros kéréseket, és hasznos, jól strukturált válaszokat adjon, nem csak elfogadható szöveget.

Az összefoglaló párok rangsorolása emberi preferenciák alapján, hogy olyan modellt képezzenek ki, amely összefoglalókat ír, amelyeket az emberek valóban hasznosnak találnak.

A mérgező vagy elfogult kimenetek csökkentése az értékelők által tiszteletteljesnek és biztonságosnak ítélt válaszok jutalmazásával.

DPO használata előnyben részesített és elutasított válaszok adathalmazán egy nyílt forráskódú modell összehangolásához teljes PPO-hurok futtatása nélkül.

Az emberi visszajelzésekből való tanulás megerősítésének jövője

Az RLHF áramvonalasítása és részben automatizálása folyamatban van. Az adatvédelmi tisztviselő és a kapcsolódó közvetlen preferenciális módszerek sok csapatnál felváltják a nehéz PPO-folyamatot, és az RLAIF mesterséges intelligencia által generált visszajelzést használ (mint az alkotmányos mesterségesintelligencia esetében) a címkézési költségek csökkentése érdekében. A kutatás a jutalmazási hackelés, a jegyzők torzítása és a hosszú vagy szakértői válaszok megítélésének nehézségei ellen küzd olyan technikákkal, mint a folyamatfelügyelet és a vita. Várható, hogy az összehangolás ötvözze az emberi és a mesterséges intelligencia visszajelzéseit, gazdagabb jutalomjeleket az egyetlen hüvelykujj felütésen túl, és egyre nagyobb ellenőrzést kap, hogy ki adja meg a preferenciákat és milyen értékeket kódol.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Reinforcement Learning From Human Feedback quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is Reinforcement Learning From Human Feedback?

Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior. It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.

Mi az RLHF fő célja egy nyelvi modell szempontjából?

Az RLHF az emberek által preferált válaszok felé irányítja a modellt, és segítőkészebbé, őszintébbé és biztonságosabbá teszi, mint pusztán elfogadhatóvá.

Mit tanul meg valójában az RLHF jutalmazási modellje?

A jutalmazási modellt az emberi preferenciák összehasonlítására képezik a válaszok pontozása érdekében, így biztosítva azt a jelet, amelyre a politika optimalizál.

What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?

The penalty discourages large policy shifts. It is not proof that the reward model cannot be exploited or that generated answers are correct.

Általában hogyan gyűjtik a preferenciaadatokat a jutalommodellhez?

Az annotátorok páronkénti összehasonlításban választják ki az előnyben részesített választ, ami egy Bradley-Terry-stílusú veszteségen keresztül képezi a jutalommodellt.

Milyen előnyöket kínál a DPO (Direct Preference Optimization) a klasszikus RLHF-folyamattal szemben?

Az adatvédelmi tisztviselő a célt közvetlenül a preferenciákból vezeti le, elkerülve a külön jutalmazási modellt és a nehézkes megerősítő tanulási lépést.