다음 토큰 예측 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 다음 토큰 예측 모델은 각 단계에서 무엇을 출력합니까?
   • 다음 토큰의 어휘에 대한 확률 분포
   • 하나의 고정된 단어
   • 문장의 번역
   • 문법 점수
2. GPT 스타일 디코더는 어떤 유형의 주의를 사용합니까?
   • 양방향 관심
   • 미래의 토큰을 숨기는 인과적(마스크된) 관심
   • 전혀 관심이 없다
   • 무작위 관심
3. 여기서 '자동회귀' 세대는 무엇을 의미하나요?
   • 모델은 모든 토큰을 한 번에 생성합니다.
   • 모델이 평균값으로 회귀합니다.
   • 각각의 새 토큰이 추가되고 다시 공급되어 다음 토큰을 예측합니다.
   • 토큰은 무작위 순서로 생성됩니다.
4. 훈련 중에 일반적으로 최소화되는 손실 함수는 무엇입니까?
   • 평균 제곱 오차
   • 힌지 손실
   • 코사인 거리
   • 다음 토큰에 대한 교차 엔트로피
5. 샘플링 중에 온도를 높이는 것은 무엇을 합니까?
   • 출력을 더욱 무작위적이고 창의적으로 만듭니다.
   • 출력을 엄격하게 결정적으로 만듭니다.
   • 어휘력이 늘어납니다
   • 소프트맥스 레이어를 제거합니다.
6. 예측 전에 원시 텍스트는 일반적으로 어떻게 준비됩니까?
   • 영어로 번역됩니다
   • 토크나이저에 의해 토큰으로 분할됩니다.
   • 오디오로 변환됩니다
   • 처리되지 않은 원시 문자로 남아 있습니다.
7. During next-token training, what is teacher forcing?
   • The model receives future target tokens before the input
   • The model randomly changes the tokenizer at every step
   • The model receives the ground-truth preceding tokens when predicting the next token
   • The model always samples its own previous prediction during training
8. What mismatch can arise because generation feeds back model-produced tokens?
   • The model can no longer use attention
   • The vocabulary disappears after the first token
   • The model’s loss is computed only on images
   • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix