구조화된 가지치기 및 레이어 삭제 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 구조화된 가지치기는 실제 속도 향상을 가져오는 반면 구조화되지 않은 가지치기는 종종 그렇지 않은 이유는 무엇입니까?
   • 구조화된 가지치기는 실제로 텐서를 축소하는 일관성 있는 블록을 제거합니다.
   • 구조화되지 않은 가지치기로 인해 모델 크기가 증가합니다.
   • 구조화된 가지치기로 더 많은 레이어 추가
   • 구조화되지 않은 가지치기는 CPU에서만 작동합니다.
2. 변압기의 맥락에서 '레이어 드롭'이란 무엇입니까?
   • 레이어당 학습률 줄이기
   • 모델 깊이를 줄이기 위해 전체 변압기 블록 삭제
   • 모든 레이어에 드롭아웃 추가
   • 레이어를 무작위로 재정렬
3. 일반적으로 변환기 레이어를 안전하게 떨어뜨릴 수 있음을 나타내는 신호는 무엇입니까?
   • 레이어에 가장 많은 매개변수가 있습니다.
   • 레이어는 네트워크의 첫 번째 레이어입니다.
   • 레이어의 입력 및 출력 숨겨진 상태는 매우 유사합니다.
   • 레이어가 가장 많은 메모리를 사용합니다.
4. 구조화된 가지치기 후 일반적으로 정확도를 복구하는 단계는 무엇입니까?
   • 배치 크기만 늘리기
   • 16비트로 재양자화
   • 더 많은 관심 헤드 추가
   • 짧은 미세 조정 또는 지식 증류
5. 개인의 관심 머리는 가지치기를 위해 어떻게 순위가 매겨지나요?
   • 머리를 마스크했을 때 손실이 증가하여(감도)
   • 알파벳순으로
   • 어휘에서의 위치에 따라
   • 그들이 본 토큰의 수에 따라
6. 증류와 결합된 구조화된 가지치기의 주요 실제 용도는 무엇입니까?
   • 훈련 데이터 자동 생성
   • 하나의 큰 체크포인트에서 더 작고 빠른 모델 제품군 파생
   • 모델 가중치 암호화
   • 컨텍스트 창 길이 늘리기
7. Why can a smaller student recover some function of a pruned model during distillation?
   • It restores the deleted weights in place
   • It changes the test labels
   • It is trained to match useful outputs or behavior of the larger teacher
   • It removes the need for validation
8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
   • The layer is guaranteed to be useless for every task
   • The model must add another layer
   • The output has no features
   • The layer changed the representation relatively little and may be a candidate for dropping