지식 증류 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 지식 증류에서 학생 모델은 무엇을 하도록 훈련되었나요?
   • 대규모 교사 모델을 모방하기 위해 소규모 학생 모델을 훈련하려면
   • 모델을 더 크고 정확하게 만들기 위해
   • 데이터에 자동으로 레이블을 지정하려면
   • 모델의 가중치를 암호화하려면
2. 선생님의 '어두운 지식'이란 무엇을 의미합니까?
   • 모델에 숨겨진 악의적인 행동
   • 모델 파일의 암호화된 부분
   • 교사가 잘못된 수업에 할당한 상대 확률 정보
   • 교사가 교육받은 적이 없는 데이터
3. 증류에서 온도(T)는 어떤 역할을 합니까?
   • 모델의 학습 속도만 제어합니다.
   • 소프트맥스를 부드럽게 하여 작은 클래스 간 유사성을 학습 가능하게 만듭니다.
   • 학생의 레이어 수를 설정합니다.
   • GPU의 열 출력을 측정합니다.
4. 고전적인 증류 손실은 어떤 두 가지 구성 요소를 결합합니까?
   • 두 가지 별도의 보상 모델
   • 평균 제곱 오차 및 힌지 손실
   • 참조 정책과 가치 함수에 대한 KL 페널티
   • Teacher의 소프트 출력과 실제 레이블의 교차 엔트로피를 일치시키는 KL 발산 항
5. 증류된 언어 모델의 예는 무엇입니까?
   • ResNet-50
   • Word2Vec
   • 디스틸버트
   • 알렉스넷
6. 특성 기반 증류는 기존 출력 기반 접근 방식과 어떻게 다릅니까?
   • 최종 출력뿐만 아니라 중간 숨겨진 레이어 표현과도 일치합니다.
   • 선생님을 완전히 무시해요
   • 하드 라벨만 사용합니다.
   • 학생 대신 교사를 훈련시킨다
7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
   • A guarantee that either alternative is the correct label
   • The teacher’s complete original training corpus
   • The teacher’s exact number of hidden layers
   • Relative relationships among the teacher’s alternative class scores
8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
   • Assume its accuracy must equal the teacher’s
   • Measure its task accuracy and runtime on the intended system
   • Assume fewer parameters guarantee lower latency on every device
   • Only compare the models’ names