가이드 연계 퀴즈 · 중간 레벨

플래시주의 퀴즈

FlashAttention이 정확한 주의를 계산하면서 고대역폭 메모리 트래픽을 줄이는 방법과 FlashAttention-3 대상을 변경하는 하드웨어가 무엇인지 확인하세요.

관련 가이드 경로섬광주의
질문 1 의 8

Standard Attention의 주요 병목 현상인 FlashAttention 대상은 무엇입니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. Standard Attention의 주요 병목 현상인 FlashAttention 대상은 무엇입니까?
    • GPU 메모리 속도를 늦추기 위해 대규모 어텐션 매트릭스 읽기 및 쓰기
    • 부동 소수점 곱셈의 수
    • 입력 텍스트를 토큰화하는 비용
    • GPU 간 네트워크 대기 시간
  2. FlashAttention의 출력은 표준 주의와 어떻게 비교됩니까?
    • 속도와 정확성을 교환하는 근사치입니다.
    • 수학적으로 동일하다 (정확하다)
    • 짧은 시퀀스에만 작동합니다.
    • 모델의 가중치를 변경합니다.
  3. FlashAttention은 타일의 데이터를 처리하여 어떤 GPU 메모리를 활용합니까?
    • 크지만 느린 고대역폭 메모리(HBM)
    • CPU의 RAM
    • 작지만 매우 빠른 온칩 SRAM
    • 디스크 스토리지
  4. 모든 점수를 한 번에 확인하지 않고 FlashAttention이 소프트맥스를 계산할 수 있는 기술은 무엇입니까?
    • 소프트맥스를 완전히 건너뛰기
    • 모든 점수를 0으로 반올림
    • CPU에서 소프트맥스 사전 계산
    • 재조정을 실행하는 온라인(증분) 소프트맥스
  5. 전체 주의 매트릭스는 HBM에 저장되지 않기 때문에 메모리 사용량은 대략 다음과 같이 확장됩니다.
    • 시퀀스 길이에 따라 선형적으로
    • 시퀀스 길이에 따른 이차적
    • 시퀀스 길이에 따라 기하급수적으로
    • 시퀀스 길이와 무관
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware