Termo do glossário de IA

O que é QLoRA?

Definição

Uma técnica de ajuste fino que combina quantização de peso de 4 bits com adaptadores LoRA para reduzir as necessidades de memória.

Termos relacionados

LoRA (adaptação de baixa classificação)
Um método de ajuste fino com parâmetros eficientes que adiciona matrizes adaptadoras de classificação baixa.
Quantização
Converter pesos de modelo em formatos de menor precisão, como 8 ou 4 bits.
Afinação
Treinamento contínuo em dados específicos de domínio para adaptar um modelo pré-treinado a uma tarefa específica.
Ajuste de instrução
Ajustando um modelo em pares instrução-resposta para melhorar o acompanhamento de tarefas.
Quantização de Modelo
Reduzindo a precisão numérica dos pesos do modelo para diminuir o custo de memória e inferência.
Ajuste fino com eficiência de parâmetros (PEFT)
Métodos que adaptam modelos treinando um pequeno subconjunto de parâmetros adicionados.

Saiba mais em nossos guias gratuitos

QLoRA and 4-Bit Fine-Tuning

Veja também

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA