가이드 연계 퀴즈 · 중간 레벨

그룹 쿼리 주의 퀴즈

그룹화된 쿼리 어텐션이 키/값 헤드를 공유하고, 생성 시간 캐시 비용을 줄이고, 기존 체크포인트에서 얻을 수 있는 방법을 검토하세요.

관련 가이드 경로그룹화된 쿼리 주의
질문 1 의 8

Grouped-Query Attention에서는 쿼리 헤드 그룹 간에 무엇을 공유합니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. Grouped-Query Attention에서는 쿼리 헤드 그룹 간에 무엇을 공유합니까?
    • 키 및 값 헤드
    • 출력 투영만
    • 입력 임베딩
    • 학습률
  2. GQA는 어느 두 극단 사이의 중간 지점으로 가장 잘 설명됩니까?
    • 컨볼루션과 주목
    • 완전한 멀티헤드 어텐션과 멀티쿼리 어텐션
    • FP32 및 FP8 정밀도
    • 인코더 전용 모델과 디코더 전용 모델
  3. GQA는 주로 어떤 추론 부분을 더 저렴하게 만들어 주나요?
    • 프롬프트의 토큰화
    • 훈련 손실 계산
    • KV 캐시 메모리 및 생성 중 대역폭
    • 어휘에 대한 최종 소프트맥스
  4. 모델에 32개의 쿼리 헤드와 8개의 KV 그룹이 있는 경우 KV 캐시는 대략 어떤 요소로 줄어듭니까?
    • 약 32배
    • 약 2배
    • 감소 없음
    • 약 4배
  5. What quality/speed tradeoff did the GQA paper report in its experiments?
    • Quality close to MHA with inference speed closer to MQA
    • Lower quality and slower inference than both
    • Exactly the same latency and quality for every model
    • A result only on image classification
  6. 기존 다중 헤드 모델은 종종 어떻게 GQA로 변환됩니까?
    • 모든 Attention 레이어를 삭제하여
    • 기존 체크포인트에서 짧은 '업트레이닝' 단계를 통해
    • 다른 토크나이저로 전환하여
    • 전혀 변환할 수 없습니다.
  7. Which task families did the GQA paper evaluate?
    • Image segmentation and object detection
    • Speech synthesis and speaker verification
    • Language modeling and machine translation
    • Molecular generation and toxicity prediction
  8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
    • 약 50%
    • About 100%
    • No additional training compute
    • 약 5%