Término del glosario de IA

¿Qué es QLoRA?

Definición

Una técnica de ajuste que combina la cuantificación de peso de 4 bits con adaptadores LoRA para reducir las necesidades de memoria.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

LoRA (adaptación de bajo rango)Un método de ajuste fino eficiente en parámetros que agrega matrices de adaptadores de bajo rango.CuantizaciónConversión de pesos de modelos a formatos de menor precisión, como 8 bits o 4 bits.Ajuste finoCapacitación continua sobre datos de dominios específicos para adaptar un modelo previamente entrenado a una tarea específica.Ajuste de instruccionesAjustar un modelo sobre pares instrucción-respuesta para mejorar el seguimiento de tareas.Cuantización del modeloReducir la precisión numérica de los pesos del modelo para disminuir el costo de memoria e inferencia.Ajuste fino eficiente de parámetros (PEFT)Métodos que adaptan modelos entrenando un pequeño subconjunto de parámetros agregados.

Obtenga más información en nuestras guías gratuitas.

QLoRA and 4-Bit Fine-Tuning

Véase también

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)