Termo do glossário de IA

O que é DPO (otimização de preferência direta)?

Definição

Um método de treinamento que ajusta modelos diretamente em pares de preferências sem a necessidade de um modelo de recompensa separado.

Termos relacionados

Aprendizagem por Reforço com Feedback Humano (RLHF)
Um método de treinamento que usa sinais de preferência humana para moldar o comportamento do modelo.
Pós-treinamento
Etapas de treinamento aplicadas após o pré-treinamento, como ajuste de instrução, otimização de preferência e ajuste de segurança.
Aprendizagem Contínua
Abordagens de treinamento que permitem que um modelo continue aprendendo com novos dados sem esquecer o conhecimento prévio.
Afinação
Treinamento contínuo em dados específicos de domínio para adaptar um modelo pré-treinado a uma tarefa específica.
Descida Gradiente
Um método de otimização que atualiza os parâmetros na direção que reduz o erro.
Ajuste de instrução
Ajustando um modelo em pares instrução-resposta para melhorar o acompanhamento de tarefas.

Saiba mais em nossos guias gratuitos

AI Inference OptimizationBidirectional Recurrent NetworksSecond-Order Optimization and Newton MethodsOdds Ratio Preference Optimization

Veja também

Tree of ThoughtsQLoRAReActFlash AttentionAgentic LoopMulti-Head AttentionMCP (Model Context Protocol)Positional Encoding
Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA