주의 롤아웃 및 머리 가지치기 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 주의 롤아웃의 목표는 무엇입니까?
   • 입력 토큰부터 레이어 간 출력까지 누적 정보 흐름을 추적하려면
   • Transformer에 더 많은 레이어를 추가하려면
   • 학습률을 높이려면
   • 주의를 컨볼루션으로 변환하려면
2. 단일 레이어의 어텐션 맵이 설명하기에 종종 불충분한 이유는 무엇입니까?
   • 어텐션은 계산되지 않습니다.
   • 정보가 여러 레이어와 헤드에 혼합되어 하나의 지도가 전체 경로를 놓치게 됩니다.
   • 지도는 항상 균일하다
   • 트랜스포머는 머리가 하나뿐이다
3. 잔여 연결을 설명하기 위해 주의 롤아웃은 각 주의 매트릭스에 무엇을 추가합니까?
   • 편향 0
   • 무작위 잡음 용어
   • 정규화 전 단위 행렬 구성 요소
   • 추가 소프트맥스
4. 다중 헤드 주의에 대한 연구는 헤드 중복에 대해 무엇을 밝혀냈습니까?
   • 모든 머리는 필수적이다
   • 헤드는 제거할 수 없습니다.
   • 가지치기는 항상 정확도를 두 배로 늘립니다.
   • 정확도 손실이 거의 없이 많은 머리를 잘라낼 수 있습니다.
5. 가지치기에 있어 머리의 중요성은 일반적으로 어떻게 평가됩니까?
   • 머리 마스크 손실의 기울기 기반 감도를 통해
   • 알파벳 위치에 따라
   • 매개변수만 계산하여
   • 하루 중 시간까지
6. What different jobs do attention rollout and head pruning each do?
   • 똑같은 기술들이에요
   • 롤아웃은 해석을 돕고 가지치기는 중복성을 활용하여 모델을 압축합니다.
   • 둘 다 매개변수만 추가합니다.
   • 둘 다 관심을 끌지 않습니다
7. In an attention-rollout calculation, why are residual paths included with layer attention?
   • To make every head have the same weight
   • To remove the value vectors from the Transformer
   • To approximate information that can pass along the identity path when layer transitions are composed
   • To prevent the attention matrix from being normalized
8. How should an attention-rollout score be interpreted?
   • As proof that a token caused the output
   • As the exact value vector used at every layer
   • As a measure of how many heads the model contains
   • As a post-hoc approximation of relative token influence, not a causal explanation