What is DPO (Direct Preference Optimization)? Definition | AI Understanding

Definicja

Metoda uczenia, która dostraja modele bezpośrednio na parach preferencji, bez konieczności stosowania osobnego modelu nagrody.

Powiązane terminy

Uczenie się przez wzmocnienie na podstawie informacji zwrotnej od ludzi (RLHF)

Metoda szkoleniowa wykorzystująca sygnały preferencji ludzkich do kształtowania zachowań modelu.

Etapy treningu stosowane po treningu wstępnym, takie jak dostrajanie instrukcji, optymalizacja preferencji i dostrajanie bezpieczeństwa.

Podejścia szkoleniowe, które pozwalają modelowi uczyć się na nowych danych, nie zapominając o wcześniejszej wiedzy.

Kontynuowanie szkolenia na danych specyficznych dla domeny w celu dostosowania wstępnie wyszkolonego modelu do konkretnego zadania.

Zejście gradientowe

Metoda optymalizacji, która aktualizuje parametry w kierunku zmniejszającym błąd.

Instrukcja strojenia

Dostrajanie modelu par instrukcja-odpowiedź w celu poprawy wykonywania zadań.

Dowiedz się więcej z naszych bezpłatnych przewodników

AI Inference Optimization Bidirectional Recurrent Networks Second-Order Optimization and Newton Methods Odds Ratio Preference Optimization

Zobacz także

Tree of Thoughts QLoRA ReAct Flash Attention Agentic Loop Multi-Head Attention MCP (Model Context Protocol)Positional Encoding

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI