Término del glosario de IA

que es QLoRA?

Definición

Una técnica de ajuste que combina la cuantificación de peso de 4 bits con adaptadores LoRA para reducir las necesidades de memoria.

Términos relacionados

LoRA (adaptación de bajo rango)
Un método de ajuste fino eficiente en parámetros que agrega matrices de adaptadores de bajo rango.
Cuantización
Conversión de pesos de modelos a formatos de menor precisión, como 8 bits o 4 bits.
Ajuste fino
Capacitación continua sobre datos de dominios específicos para adaptar un modelo previamente entrenado a una tarea específica.
Ajuste de instrucciones
Ajustar un modelo sobre pares instrucción-respuesta para mejorar el seguimiento de tareas.
Cuantización del modelo
Reducir la precisión numérica de los pesos del modelo para disminuir el costo de memoria e inferencia.
Ajuste fino eficiente de parámetros (PEFT)
Métodos que adaptan modelos entrenando un pequeño subconjunto de parámetros agregados.

Obtenga más información en nuestras guías gratuitas.

QLoRA and 4-Bit Fine-Tuning

See also

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
Explore el glosario completo de IAExplora todas las guías gratuitas de IA