que es LoRA (adaptación de bajo rango)?

Métodos que adaptan modelos entrenando un pequeño subconjunto de parámetros agregados.

Una técnica de ajuste que combina la cuantificación de peso de 4 bits con adaptadores LoRA para reducir las necesidades de memoria.

Capacitación continua sobre datos de dominios específicos para adaptar un modelo previamente entrenado a una tarea específica.

Ajustar un modelo sobre pares instrucción-respuesta para mejorar el seguimiento de tareas.

Un método de entrenamiento que afina los modelos directamente en pares de preferencias sin necesidad de un modelo de recompensa separado.

Un método de regularización que suaviza las etiquetas duras para mejorar la generalización.