블록 희소 및 네이티브 희소 주의 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 긴 시퀀스에 표준 셀프 어텐션이 비싼 이유는 ​​무엇입니까?
   • 비용은 시퀀스 길이에 따라 2차적으로 증가합니다.
   • 너무 적은 매개변수를 사용합니다.
   • GPU에서는 실행할 수 없습니다.
   • 첫 번째 토큰에만 참석합니다.
2. 블록 희소 관심의 핵심 아이디어는 무엇입니까?
   • 피드포워드 레이어 제거
   • 선택된 토큰 블록 사이에서만 주의 계산
   • 하나의 어텐션 헤드만 사용
   • 임베딩 차원을 두 배로 늘리기
3. NSA(Native Sparse Attention)가 이전의 많은 희소 방법과 다른 점은 무엇입니까?
   • 그것은 주의를 완전히 제거한다.
   • 추론 중에만 작동합니다.
   • 엔드투엔드 학습이 가능하며 하드웨어에 맞춰져 있습니다.
   • GPU가 필요하지 않습니다
4. NSA는 키와 값을 위해 어떤 세 가지 분기를 결합합니까?
   • 인코더, 디코더 및 임베딩
   • 드롭아웃, 정규화 및 풀링
   • 양자화, 가지치기, 증류
   • 압축, 선택 및 슬라이딩 창
5. NSA가 임의의 토큰 수준 희소성 대신 블록 수준 작업을 사용하는 이유는 무엇입니까?
   • 실제 속도 향상을 위해 GPU 메모리 액세스 및 텐서 코어 처리량에 맞춰 조정
   • 모델을 더 크게 만들려면
   • 주의를 전혀 사용하지 않으려면
   • 레이어 수를 줄이려면
6. 자동회귀 디코딩 중에는 희박한 주의가 특히 도움이 됩니다. 그 이유는 해당 단계가 다음과 같은 경우가 많기 때문입니다.
   • 행렬 곱셈에 대한 계산 바인딩
   • 메모리에 묶여 있으므로 참여 토큰을 줄이면 속도가 빨라집니다.
   • 시퀀스 길이와 무관
   • CPU에서만 실행
7. What information does NSA’s compression branch provide to the attention computation?
   • A full dense score for every token pair
   • Only the optimizer’s first moment
   • Coarse-grained summaries of blocks of tokens
   • A random subset of output labels
8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
   • They remove the need to compute attention scores
   • They guarantee zero memory use
   • They force every token to attend globally
   • They can select blocks relevant to the input while remaining aligned with efficient hardware operations