Questionário vinculado ao guia · Médio Nível
Camadas adaptadoras para teste de transferência
Verifique como os adaptadores de gargalo preservam um modelo básico congelado, permitem tarefas modulares ou transferência de domínio e compare com LoRA.
Pergunta 1 de 8
O que acontece com os pesos pré-treinados originais ao treinar com adaptadores?
Visualize cada pergunta8 perguntas
As respostas e explicações aparecem conforme você responde ao teste.
- O que acontece com os pesos pré-treinados originais ao treinar com adaptadores?
- Eles ficam congelados enquanto apenas os parâmetros do adaptador são treinados
- Eles são excluídos
- Eles são reinicializados aleatoriamente
- Eles têm o dobro do tamanho
- Qual é a estrutura interna típica de um adaptador gargalo?
- Uma única enorme camada densa
- Uma projeção para baixo, uma não-linearidade, depois uma projeção para cima, com uma conexão residual
- Apenas uma cabeça de atenção
- Um filtro de imagem convolucional
- Aproximadamente que fração de parâmetros os adaptadores normalmente treinam?
- 100%
- Exatamente 50%
- Muitas vezes menos de 5%
- Nenhum
- Por que os adaptadores são convenientes para realizar muitas tarefas?
- Eles exigem uma cópia completa do modelo separada por tarefa
- Eles não podem ser combinados
- Eles apagam o modelo básico após cada tarefa
- Você mantém um modelo básico e troca pequenos adaptadores por tarefa
- A que família de técnicas pertencem os adaptadores?
- Ajuste fino com eficiência de parâmetros (PEFT)
- Aumento de dados
- Compressão de imagem
- Esquemas de tokenização
- Que vantagem o LoRA oferece em relação a um adaptador inserido clássico no momento da inferência?
- Não pode ser treinado
- Seus pesos aprendidos podem ser mesclados nas matrizes base, evitando latência extra por camada
- Requer reciclagem de todo o modelo
- Remove a conexão residual permanentemente
- What does a residual connection contribute to a classic bottleneck adapter?
- A second full pretrained model copy for each task
- A mandatory external retrieval database
- A path that adds the adapter’s transformed representation back to the original hidden state
- A guarantee that no added computation occurs
- What is one benefit of stacking a domain adapter with a task adapter?
- Merge all user data into the frozen base weights automatically
- Avoid using any adapter modules
- Convert a language model into a vision encoder
- Reuse a domain specialization together with a separate task specialization