Termo do glossário de IA

O que é QLoRA?

Definição

Uma técnica de ajuste fino que combina quantização de peso de 4 bits com adaptadores LoRA para reduzir as necessidades de memória.

Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA

Termos relacionados

LoRA (adaptação de baixa classificação)Um método de ajuste fino com parâmetros eficientes que adiciona matrizes adaptadoras de classificação baixa.QuantizaçãoConverter pesos de modelo em formatos de menor precisão, como 8 ou 4 bits.AfinaçãoTreinamento contínuo em dados específicos de domínio para adaptar um modelo pré-treinado a uma tarefa específica.Ajuste de instruçãoAjustando um modelo em pares instrução-resposta para melhorar o acompanhamento de tarefas.Quantização de ModeloReduzindo a precisão numérica dos pesos do modelo para diminuir o custo de memória e inferência.Ajuste fino com eficiência de parâmetros (PEFT)Métodos que adaptam modelos treinando um pequeno subconjunto de parâmetros adicionados.

Saiba mais em nossos guias gratuitos

QLoRA and 4-Bit Fine-Tuning

Veja também

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)