예약된 샘플링 및 노출 바이어스 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 노출 편향은 교사가 다음 조건만 강요하여 훈련된 모델 때문에 발생합니다.
   • 실측 토큰이지만 추론 시 자체 토큰을 사용해야 합니다.
   • 자신의 예측 토큰
   • 무작위 노이즈 토큰
   • 미래 토큰
2. 훈련 중에 예약된 샘플링은 무엇을 합니까?
   • 항상 실제 토큰을 공급합니다.
   • 실제 토큰과 모델 자체 예측 중에서 무작위로 선택합니다.
   • 주기적으로 손실 기능을 비활성화합니다.
   • 시간이 지남에 따라 학습 속도가 두 배로 증가합니다.
3. 예약된 샘플링의 훈련에 따라 실측 토큰을 사용할 확률이 어떻게 변합니까?
   • 일정하게 유지됩니다
   • 낮게 시작해서 커진다
   • 높게 시작하여 0을 향해 감소합니다.
   • 무작위로 진동합니다.
4. 예정된 샘플링을 도입한 사람은 누구이며, 대략 언제입니까?
   • 바스와니 외, 2017
   • 힌턴 외, 2006
   • 르쿤 외, 1998
   • 벤지오 외, 2015
5. 훈련 중에 샘플링된 토큰을 다시 공급하는 데 있어 알려진 기술적인 단점은 다음과 같습니다.
   • 이산 샘플링 단계는 미분 불가능하고 기울기가 복잡합니다.
   • 훈련을 완전히 결정적으로 만듭니다.
   • 검증 데이터가 필요하지 않습니다.
   • 임베딩이 필요하지 않습니다.
6. 교사 강제 가능성을 감소시키기 위해 일반적으로 인용되는 일정 형태는 무엇입니까?
   • 상수
   • 역시그모이드 붕괴
   • 승압 선형 증가
   • 랜덤 워크
7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
   • The next ground-truth token every time
   • A token from a separate validation sequence
   • A token sampled from the model’s predicted distribution
   • The average of all vocabulary embeddings
8. Why does scheduled sampling usually begin with a high probability of using ground truth?
   • It guarantees unbiased gradients
   • It removes the need for a training schedule
   • It makes inference use ground-truth tokens
   • Early predictions are poor, so a correct prefix can stabilize initial learning