가이드 연계 퀴즈 · 중간 레벨

다중 쿼리 주의 퀴즈

Multi-Query Attention이 키-값 헤드를 공유하고, 캐시 트래픽을 줄이고, 디코더 모델에서 그룹화된 쿼리 Attention과 어떻게 관련되는지 테스트합니다.

관련 가이드 경로다중 쿼리 주의
질문 1 의 8

Multi-Query Attention은 모든 Attention 헤드에서 무엇을 공유합니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. Multi-Query Attention은 모든 Attention 헤드에서 무엇을 공유합니까?
    • 단일 키 및 값 세트
    • 쿼리 예측
    • 소프트맥스 온도
    • 출력 레이어 가중치
  2. 자동 회귀 생성 중에 MQA가 해결하는 주요 병목 현상은 무엇입니까?
    • 부동 소수점 컴퓨팅 처리량
    • KV 캐시 로드로 인한 메모리 대역폭
    • 훈련 시대의 수
    • 토크나이저 어휘 크기
  3. MQA는 대략 어떤 요소로 KV 캐시를 축소합니까?
    • 시퀀스 길이별
    • 배치 크기별
    • 주목 헤드 수에 따라
    • KV 캐시 크기는 변경되지 않습니다.
  4. MQA 사용의 주요 장단점은 무엇입니까?
    • 훨씬 느린 추론
    • 더 이상 여러 개의 헤드를 사용할 수 없습니다.
    • 훨씬 더 많은 훈련 데이터가 필요합니다.
    • 모델 품질이 약간 저하됨
  5. 표준 다중 헤드 주의와 MQA 사이에 어떤 변형이 있습니까?
    • 그룹화된 쿼리 주의
    • 슬라이딩 윈도우 주의
    • 플래시 주의
    • 희박한 관심
  6. Multi-Query Attention을 제안한 사람은 누구입니까?
    • 제프리 힌튼
    • 노암 셰이저
    • 얀 르쿤
    • 안드레이 카르파티
  7. In Multi-Query Attention, what remains separate for each attention head?
    • The shared key projection
    • The shared value projection
    • The query projection
    • The token sequence itself
  8. How does Grouped-Query Attention differ from standard MQA?
    • It shares query projections but gives every head separate keys and values
    • It removes attention and replaces it with a recurrent layer
    • It groups output vocabulary tokens instead of attention heads
    • It shares keys and values within several groups of query heads rather than across all heads at once