시퀀스 병렬성과 링 어텐션 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 시퀀스 병렬 처리는 어떤 차원을 따라 데이터를 분할합니까?
   • 숨겨진/기능 차원
   • 토큰(시퀀스) 차원
   • 배치 차원만
   • 레이어 수
2. Ring Attention은 링으로 배열된 GPU 간에 무엇을 전달합니까?
   • 전체 모델 가중치
   • 최적화 상태
   • 최종 로짓
   • 키/값 블록
3. 링 어텐션은 전체 어텐션 패턴을 근사화하지 않고 어떻게 부분 어텐션 블록을 결합할 수 있나요?
   • Online softmax with a running maximum and normalizer
   • Randomly dropping unseen key blocks
   • Truncating every distant key
   • Replacing all attention scores with zeros
4. Ring Attention에서 전체 K/V를 저장하기 위해 단일 GPU가 필요하지 않은 이유는 무엇입니까?
   • 대부분의 키를 삭제합니다.
   • 더 작은 모델을 사용합니다.
   • K/V는 블록 단위로 스트리밍되며 부분 결과만 누적됩니다.
   • 주의 사항은 대략적인 것이며 정확하지는 않습니다.
5. 링 어텐션은 K/V 블록 전송에 소요되는 노출 시간을 언제 줄일 수 있나요?
   • Whenever the model has any number of parameters
   • Only when every device stores the full sequence
   • By eliminating all transfers between devices
   • When useful block computation overlaps those transfers
6. 링 어텐션 로드 밸런싱에 인과 마스킹으로 인해 어떤 복잡성이 발생합니까?
   • 모델을 미분 불가능하게 만듭니다.
   • 나중에 토큰이 더 많은 키에 사용되어 GPU당 작업이 고르지 않게 됩니다.
   • 반지가 필요 없게 됩니다.
   • 매개변수 개수가 두 배로 늘어납니다.
7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
   • To discard the earlier keys permanently
   • To replace all token embeddings
   • To keep accumulated terms consistent with the updated running maximum
   • 어휘량을 줄이려면
8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
   • Later tokens that can attend to more preceding positions
   • All tokens require exactly one key
   • Only padding tokens at the start
   • Earlier tokens because they can see the future