Il prossimoProssima guida
Apprendimento per rinforzo per il trading
Tecnico
GUIDA TECNICA
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior.
Ascolta questa guidaNarrato dall'IA · ~2 min
It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
A pretrained language model predicts plausible text, but plausible is not the same as helpful, honest, or safe. A common RLHF pipeline addresses these goals in stages. First, supervised fine-tuning teaches the model to follow instructions using human-written example answers. Next, humans compare pairs of model responses to the same prompt and pick the better one; these comparisons train a separate reward model that scores any response. Finally, the language model is optimized with reinforcement learning to produce responses the reward model rates highly. A penalty regularizes deviation from a reference policy; it does not eliminate exploitation of reward-model errors. RLHF was central to making ChatGPT-style assistants usable.
Ottimizzare un assistente di chat in modo che rifiuti richieste dannose e fornisca risposte utili e ben strutturate anziché solo testo plausibile.
Classificare coppie di riepiloghi in base alle preferenze umane per addestrare un modello che scriva riepiloghi che le persone trovano effettivamente utili.
Ridurre i risultati tossici o distorti premiando le risposte che i valutatori umani giudicano rispettose e sicure.
Utilizzo del DPO su un set di dati di risposte preferite e rifiutate per allineare un modello open source senza eseguire un ciclo PPO completo.
RLHF è in fase di razionalizzazione e in parte automatizzato. Il DPO e i relativi metodi di preferenza diretta stanno sostituendo la pesante pipeline PPO per molti team e RLAIF utilizza il feedback generato dall'intelligenza artificiale (come nell'intelligenza artificiale costituzionale) per ridurre i costi di etichettatura. La ricerca sta affrontando l’hacking delle ricompense, i pregiudizi degli annotatori e la difficoltà di giudicare risposte lunghe o di esperti, con tecniche come la supervisione dei processi e il dibattito. Aspettatevi un allineamento per fondere il feedback umano e quello dell’intelligenza artificiale, segnali di ricompensa più ricchi oltre un singolo pollice in su e un controllo crescente su chi fornisce le preferenze e quali valori codificano.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior. It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
RLHF indirizza un modello verso le risposte preferite dagli esseri umani, rendendolo più utile, onesto e sicuro piuttosto che semplicemente plausibile.
Il modello di ricompensa viene addestrato sul confronto delle preferenze umane per valutare le risposte, fornendo il segnale rispetto al quale la politica ottimizza.
The penalty discourages large policy shifts. It is not proof that the reward model cannot be exploited or that generated answers are correct.
Gli annotatori scelgono la risposta preferita nei confronti a coppie, che addestra il modello di ricompensa tramite una perdita in stile Bradley-Terry.
Il DPO fa derivare l'obiettivo direttamente dalle preferenze, evitando il modello di ricompensa separato e la complicata fase di apprendimento per rinforzo.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Apprendimento per rinforzo per il trading
Tecnico