Questionário vinculado ao guia · Médio Nível

Questionário de ajuste de prefixo

Avalie a abordagem de backbone congelado do ajuste de prefixo, a economia de parâmetros por tarefa, o posicionamento da camada de atenção e os resultados em tarefas de geração de linguagem natural.

Caminhos de guia relacionadosAjuste de prefixo
Pergunta 1 de 8

O que o ajuste de prefixo realmente treina?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. O que o ajuste de prefixo realmente treina?
    • Todos os pesos do transformador do modelo
    • Apenas a camada de vocabulário de saída do modelo
    • Uma cópia separada do modelo para cada tarefa
    • Um pequeno conjunto de vetores de prefixo contínuos enquanto o modelo permanece congelado
  2. Onde os vetores de prefixo são injetados?
    • Nas chaves e valores em cada camada de atenção
    • Somente na camada de saída final
    • Apenas na função de perda
    • No tokenizer antes de incorporar
  3. Quem introduziu o ajuste de prefixo e aproximadamente quando?
    • OpenAI em 2018
    • Li e Liang em Stanford em 2021
    • Google em 2015
    • Meta em 2023
  4. Por que o ajuste de prefixo é atraente para atender a muitas tarefas?
    • Não requer nenhum dado de treinamento
    • Faz a inferência ser executada sem hardware
    • Cada tarefa precisa apenas de um pequeno prefixo em vez de uma cópia completa do modelo
    • Ele reescreve permanentemente o modelo base para todas as tarefas de uma só vez
  5. Que truque é frequentemente usado para estabilizar o treinamento de prefixo?
    • Dobrando a taxa de aprendizagem a cada passo
    • Congelando o prefixo e treinando o modelo
    • Removendo todas as camadas de atenção
    • Reparametrizando o prefixo através de uma pequena rede feed-forward que posteriormente é descartada
  6. Em que tipo de tarefa o ajuste de prefixo brilhou especialmente?
    • Geração de linguagem natural, como tabela para texto e resumo
    • Classificação de imagens
    • Síntese de forma de onda de áudio
    • Indexação de banco de dados
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • Cerca de 50%
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter