Questionário vinculado ao guia · Médio Nível

Questionário FlashAttention

Verifique como o FlashAttention reduz o tráfego de memória de alta largura de banda enquanto calcula a atenção exata e que hardware altera os alvos do FlashAttention-3.

Caminhos de guia relacionadosFlashatenção
Pergunta 1 de 8

Quais são os principais gargalos dos alvos do FlashAttention na atenção padrão?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Quais são os principais gargalos dos alvos do FlashAttention na atenção padrão?
    • Lendo e escrevendo a grande matriz de atenção para diminuir a memória da GPU
    • O número de multiplicações de ponto flutuante
    • O custo de tokenizar o texto de entrada
    • Latência de rede entre GPUs
  2. Como a saída do FlashAttention se compara à atenção padrão?
    • É uma aproximação que troca precisão por velocidade
    • É matematicamente idêntico (exato)
    • Funciona apenas para sequências curtas
    • Muda os pesos do modelo
  3. Qual memória GPU o FlashAttention explora processando dados em blocos?
    • A grande mas lenta memória de alta largura de banda (HBM)
    • RAM da CPU
    • A SRAM on-chip pequena, mas muito rápida
    • Armazenamento em disco
  4. Que técnica permite que o FlashAttention calcule o softmax sem ver todas as pontuações de uma vez?
    • Ignorando totalmente o softmax
    • Arredondando todas as pontuações para zero
    • Pré-computando softmax na CPU
    • Softmax online (incremental) com reescalonamento em execução
  5. Como a matriz de atenção completa nunca é armazenada no HBM, o uso da memória aumenta aproximadamente:
    • Linearmente com comprimento de sequência
    • Quadraticamente com comprimento de sequência
    • Exponencialmente com comprimento de sequência
    • Independentemente do comprimento da sequência
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware