A seguirPróximo guia
QLoRA e ajuste fino de 4 bits
IA de linguagem
GUIA de IA de linguagem
Ajuste fino de amostragem de rejeição
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training.
Ouça este guiaNarrado por IA · ~2 min
Nesta página2 minutos de leitura
Visão geral
It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
Mergulho profundo
A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.
Implementação no mundo real
Alinhar modelos no estilo Llama amostrando múltiplas respostas por prompt, mantendo as pontuações mais altas do modelo de recompensa e, em seguida, SFT nessas
Melhorar um solucionador matemático gerando muitas soluções e retendo apenas aquelas que alcançam a resposta correta e verificável
Geração de código onde os candidatos são mantidos apenas se passarem nos testes unitários e depois usados como dados de treinamento
Construindo conjuntos de dados de instruções sintéticas, filtrando as melhores respostas autogeradas de um modelo para a próxima rodada de treinamento
O futuro do ajuste fino da amostragem de rejeição
O RFT é fundamental para o pós-treinamento moderno, frequentemente usado antes ou junto com métodos de RL como PPO e DPO. Seu apelo cresce com inferência barata e verificadores automáticos fortes: à medida que os modelos melhoram na autogeração e na autoverificação, a amostragem iterada de rejeição suporta dados sintéticos e ciclos de autoaperfeiçoamento. Espere uma integração mais estreita com modelos de raciocínio que produzem cadeias de pensamento verificáveis e um estudo contínuo sobre como evitar o hacking de recompensas e o colapso da diversidade ao treinar repetidamente nos próprios resultados de um modelo.
Colocando em prática
Por que isso importa
- Velocidade e escala. Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
- Acesso e alcance. Ele expande o acesso entre idiomas e estilos de comunicação.
- Decisões mais claras. As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
Cuidado com
- Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
- A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
- Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Próximas etapas
- Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
- Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
- Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
- Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Boletim informativo gratuito
Receba o resumo diário de IA
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Take the Rejection Sampling Fine-Tuning quiz
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Perguntas frequentes
What is Rejection Sampling Fine-Tuning?
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
O RFT faz amostras de múltiplas respostas, filtra as que obtiveram maior pontuação e ajusta o modelo para os vencedores.
Em domínios verificáveis como matemática ou código, o que pode servir como recompensa?
Para tarefas verificáveis, o RFT pode usar a correção exata ou passar em testes unitários, evitando um modelo de recompensa aprendido.
Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
The Llama 2 paper describes rejection sampling as one stage of the Llama 2-Chat alignment pipeline.
Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
RFT uses generated and filtered examples for supervised updates, though generation, scoring, and data quality still incur costs.
O treinamento nas amostras de recompensa máxima faz efetivamente o quê?
Ao aprender com as principais respostas filtradas, o modelo internaliza comportamentos de maior qualidade em uma única geração.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico