플래시 주의 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. Flash Attention의 주요 병목 현상은 무엇입니까?
   • GPU 메모리 속도를 늦추기 위해 대규모 어텐션 매트릭스 읽기 및 쓰기
   • 관심 있는 부동 소수점 곱셈의 수
   • 디스크에서 모델 가중치를 로드하는 비용
   • 여러 GPU 간의 네트워크 대기 시간
2. Flash Attention은 전체 NxN Attention 매트릭스 저장을 어떻게 방지합니까?
   • 무작위 예측을 통해 주의에 접근합니다.
   • 작은 타일의 쿼리, 키, 값을 처리하고 부분 결과를 결합합니다.
   • 대부분의 토큰 쌍을 완전히 건너뜁니다.
   • 양자화를 통해 행렬을 압축합니다.
3. 전체 행을 한 번에 확인하지 않고도 Flash Attention이 소프트맥스를 올바르게 계산할 수 있는 기술은 무엇입니까?
   • 미리 계산된 지수 조회 테이블
   • 소프트맥스를 삭제하고 선형 근사 사용
   • 실행 중인 최대값과 합계를 추적하는 실행 중인(온라인) 소프트맥스
   • 정규화 전 점수 정렬
4. 표준 Attention과 비교하여 Flash Attention의 출력은 다음과 같습니다.
   • 속도와 정확성을 교환하는 대략적인 근사치
   • 정밀도가 높기 때문에 더욱 정확합니다.
   • 짧은 시퀀스에만 유효합니다.
   • 수학적으로 동일하지만 더 효율적으로 계산되었습니다.
5. Flash Attention이 긴 시퀀스에 가장 도움이 되는 이유는 무엇입니까?
   • 주의 기억은 시퀀스 길이에 따라 2차적으로 증가하기 때문에
   • 더 긴 시퀀스에는 더 적은 수의 레이어가 필요하기 때문입니다.
   • 긴 입력에는 소프트맥스가 필요하지 않기 때문입니다.
   • 짧은 시퀀스에서는 GPU가 더 느리게 실행되기 때문입니다.
6. Flash Attention의 'IO 인식' 설계는 무엇을 최소화하는 데 우선순위를 두나요?
   • 모델 매개변수의 수
   • SRAM과 HBM 간의 메모리 읽기 및 쓰기
   • 신경망의 깊이
   • 토크나이저의 어휘 크기
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation