교사의 시퀀스 모델 강제력 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 교사 강제 동안 각 디코딩 단계에서 입력으로 무엇이 공급됩니까?
   • 실제 이전 토큰
   • 모델 자체의 이전 예측
   • 무작위 토큰
   • 최종 출력 토큰
2. During teacher-forced training, what target is paired with decoder input y_(t−1)?
   • The previous ground-truth token
   • The next target token y_t
   • A token sampled from the validation set
   • The maximum-probability output from an earlier training run
3. 교사 강제로 인한 열차-테스트 불일치는 다음과 같이 알려져 있습니다.
   • 사라지는 그라데이션
   • 모드 축소
   • 노출 편향
   • 라벨 누출
4. Transformer 디코더에서 교사 강제 훈련을 여러 위치에 걸쳐 병렬로 실행할 수 있는 메커니즘은 무엇입니까?
   • 탈락
   • 일괄 정규화
   • 빔 검색
   • 인과관계(예측) 주의 마스크
5. 추론 시 왜 교사 강제를 사용할 수 없나요?
   • 공급할 실제 미래 토큰이 없습니다.
   • 손실 기능을 사용할 수 없습니다.
   • GPU가 너무 느립니다.
   • 주의 마스크가 비활성화되었습니다.
6. 교사 강제 훈련 중 각 단계에서 일반적으로 사용되는 손실은 무엇입니까?
   • 원시 로짓의 평균 제곱 오류
   • 예측된 분포와 실제 다음 토큰 간의 교차 엔트로피
   • 임베딩의 힌지 손실
   • 코사인 유사성 손실
7. The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
   • The model’s prediction for “green”
   • The future token after “green”
   • The ground-truth previous token “blue”
   • A randomly sampled vocabulary item
8. At decoder position t, which tokens must a causal attention mask block?
   • The source sequence
   • All earlier target tokens
   • The current position’s own input
   • Target tokens at positions later than t