que es Ajuste fino eficiente de parámetros (PEFT)?

Capacitación continua sobre datos de dominios específicos para adaptar un modelo previamente entrenado a una tarea específica.

Un método de ajuste fino eficiente en parámetros que agrega matrices de adaptadores de bajo rango.

Pasos de capacitación aplicados después del entrenamiento previo, como ajuste de instrucciones, optimización de preferencias y ajuste de seguridad.

Ajustar un modelo sobre pares instrucción-respuesta para mejorar el seguimiento de tareas.

Un hiperparámetro de entrenamiento que controla cuánto cambian los parámetros en cada paso de actualización.

Un método de entrenamiento que afina los modelos directamente en pares de preferencias sin necesidad de un modelo de recompensa separado.