O que é Ajuste fino com eficiência de parâmetros (PEFT)?

Treinamento contínuo em dados específicos de domínio para adaptar um modelo pré-treinado a uma tarefa específica.

Um método de ajuste fino com parâmetros eficientes que adiciona matrizes adaptadoras de classificação baixa.

Etapas de treinamento aplicadas após o pré-treinamento, como ajuste de instrução, otimização de preferência e ajuste de segurança.

Ajustando um modelo em pares instrução-resposta para melhorar o acompanhamento de tarefas.

Um hiperparâmetro de treinamento que controla quanto os parâmetros mudam em cada etapa de atualização.

Um método de treinamento que ajusta modelos diretamente em pares de preferências sem a necessidade de um modelo de recompensa separado.