Questionário vinculado ao guia · Médio Nível

Questionário de preconceito de posição ALiBi

Verifique como o ALiBi adiciona vieses de atenção baseados na distância e suporta sequências de inferência mais longas sem tabelas de posição absoluta aprendidas.

Caminhos de guia relacionadosViés de posição de álibi
Pergunta 1 de 8

O que significa ALiBi?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. O que significa ALiBi?
    • Atenção com vieses lineares
    • Polarização Linear Adaptativa
    • Codificação Bidirecional Alinhada
    • Indexação Linear Absoluta
  2. Como o ALiBi penaliza tokens distantes?
    • Ao zerar os embeddings além de uma janela fixa
    • Adicionando uma penalidade proporcional à distância entre a consulta e as posições-chave
    • Aprendendo uma incorporação separada para cada posição
    • Girando a consulta e os vetores-chave
  3. Qual é a vantagem prática mais celebrada do ALiBi?
    • Elimina a necessidade de um softmax
    • Faz a atenção correr na memória constante
    • Extrapola bem para sequências mais longas do que aquelas vistas no treinamento
    • Elimina a necessidade de múltiplas cabeças de atenção
  4. O que há de diferente no viés linear entre as cabeças de atenção?
    • Cada cabeça compartilha exatamente a mesma inclinação
    • As pistas são aprendidas durante o treinamento
    • Apenas a primeira cabeça recebe um viés
    • Cada cabeça recebe sua própria inclinação fixa, formando uma sequência geométrica
  5. Comparado aos embeddings posicionais tradicionais, o ALiBi adiciona quantos parâmetros aprendidos?
    • Nenhum — as inclinações de polarização são fixas, não aprendidas
    • Um por posição
    • Um por token
    • Dois por cabeça de atenção
  6. Qual modelo grande conhecido usou ALiBi para informações de posição?
    • GPT-2
    • FLOR
    • BERTO
    • Word2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position