모델 가지치기 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. What does model pruning remove from a trained network?
   • 출력에 거의 기여하지 않는 가중치 또는 구조 제거
   • 정확도를 높이기 위해 더 많은 매개변수 추가
   • 더 많은 시대를 위한 모델 훈련
   • 입력 해상도 높이기
2. 구조화된 가지치기와 구조화되지 않은 가지치기의 차이점은 무엇입니까?
   • 구조화된 가지치기는 이미지에서만 작동합니다.
   • 구조화된 가지치기는 뉴런이나 머리와 같은 전체 단위를 제거합니다. 구조화되지 않은 경우 개별 가중치가 제거됩니다.
   • 구조화되지 않은 가지치기에는 처음부터 재교육이 필요함
   • 그들 사이에는 실질적인 차이가 없습니다
3. 구조화되지 않은 가지치기가 일반 하드웨어에서 모델 속도를 높이는 데 종종 실패하는 이유는 무엇입니까?
   • 너무 많은 레이어를 삭제합니다.
   • 항상 정확도가 0으로 감소합니다.
   • 희소 가중치 행렬에는 0을 활용하기 위해 특수 하드웨어나 라이브러리가 필요합니다.
   • 매개변수 개수가 늘어납니다.
4. 전형적인 반복 가지치기 방법은 무엇입니까?
   • 한 번에 모든 것을 정리한 후 배포
   • 먼저 양자화한 다음 다시 훈련하지 마세요.
   • 정확도가 떨어질 때까지 레이어를 무작위로 삭제합니다.
   • 훈련하고, 가장 중요하지 않은 매개변수를 정리하고, 복구를 위해 미세 조정하고 반복합니다.
5. 복권 가설은 무엇을 주장하는가?
   • 조밀한 네트워크에는 올바른 초기화를 통해 학습할 때 전체 모델과 일치할 수 있는 희소 하위 네트워크가 포함되어 있습니다.
   • 가지치기는 항상 정확성을 향상시킵니다.
   • 무작위 가지치기는 항상 최선이다
   • 대형 모델은 압축할 수 없습니다.
6. 정리할 가중치를 결정하는 데 일반적으로 사용되는 간단한 기준은 무엇입니까?
   • 레이어 이름의 알파벳 순서
   • 가중치의 절대 크기
   • 활성화 맵의 색상
   • 훈련 예시의 수
7. When is pruning most likely to reduce inference latency on ordinary dense hardware?
   • When individual zeros are added but the dense kernel still computes them
   • When the model is renamed without changing its graph
   • When whole channels or other structures are removed to produce a smaller dense model
   • When a sparse checkpoint is stored in a larger file
8. What should a team measure after pruning for a deployment target?
   • Only the number of zeros in a checkpoint
   • Only training accuracy before pruning
   • Whether the file extension changed
   • Task quality and latency or memory on the intended hardware