QLoRA e teste de ajuste fino de 4 bits

As respostas e explicações aparecem conforme você responde ao teste.

1. Qual é a ideia central de economia de memória por trás da parte de '4 bits' do QLoRA?
   • Ele quantiza os pesos do modelo base congelado em até 4 bits cada
   • Exclui 75% das camadas do modelo
   • Ele treina o modelo em apenas 4 épocas
   • Ele usa apenas 4 GPUs em vez de muitas
2. Durante o ajuste fino do QLoRA, quais parâmetros são realmente atualizados pela descida do gradiente?
   • Todos os pesos originais do modelo
   • Apenas as pequenas matrizes adaptadoras LoRA de baixo nível
   • As constantes de quantização de 4 bits
   • O vocabulário do tokenizer
3. O que é NF4 no contexto do QLoRA?
   • Uma rede neural de 4 camadas
   • Um novo algoritmo otimizador
   • Um tipo de dados de 4 bits otimizado para pesos normalmente distribuídos
   • Um formato de cluster GPU de 4 nós
4. Qual problema os 'otimizadores paginados' no QLoRA abordam?
   • Downloads lentos de arquivos de modelo pela Internet
   • Tokenização incorreta
   • Overfitting em pequenos conjuntos de dados
   • Picos de falta de memória durante sequências longas
5. Quando os pesos de 4 bits são convertidos novamente para maior precisão durante o treinamento?
   • Just-in-time durante a multiplicação da matriz e depois descartado
   • Eles nunca são convertidos; matemática é feita em 4 bits
   • Apenas uma vez no início do treinamento
   • Somente após a conclusão do treinamento
6. O que o artigo original do QLoRA demonstrou sobre qualidade?
   • O ajuste fino de 4 bits sempre supera o ajuste fino completo
   • O ajuste fino de um modelo de 65B em uma GPU pode corresponder à qualidade de ajuste fino total de 16 bits
   • A quantização torna os modelos inúteis abaixo de 8 bits
   • Apenas modelos minúsculos podem ser ajustados desta forma
7. What does QLoRA’s double-quantization step compress?
   • O vocabulário do tokenizador
   • The LoRA adapter rank
   • The quantization constants used to represent the 4-bit weights
   • The training examples’ text labels
8. How can one QLoRA base model support multiple task-specific versions?
   • They delete the optimizer state after every token
   • They increase the base model from 4-bit to 32-bit
   • They move all activations into the tokenizer
   • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks