대비 디코딩 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 대조 디코딩에서 작은 '아마추어' 모델은 어떤 역할을 합니까?
   • 공유 실패 모드를 억제하기 위해 로그 확률을 뺍니다.
   • 최종 출력 텍스트를 직접 생성합니다.
   • 전문가의 실수를 세밀하게 조정한 것이다
   • 전문가가 불확실할 때 전문가를 대체합니다.
2. 아마추어의 확률을 빼면 반복과 단조로운 출력이 줄어드는 이유는 무엇입니까?
   • 아마추어는 절대 단어를 반복하지 않도록 훈련받습니다.
   • 일반 및 반복 토큰은 두 모델 모두에서 선호되므로 대조로 인해 이러한 토큰이 상쇄됩니다.
   • 아마추어는 생성 후 중복된 토큰을 삭제합니다.
   • 두 모델이 투표하면 반복이 불가능합니다.
3. What does the adaptive plausibility constraint do in contrastive decoding?
   • It guarantees every remaining continuation is coherent and true
   • It replaces the expert distribution with the amateur distribution
   • It filters out candidates whose expert probability is too low relative to the expert’s top token
   • It forces every token to have equal probability
4. 대조 디코딩의 채점 공식은 대략 무엇입니까?
   • 로그 p_amateur 빼기 로그 p_expert
   • p_expert 시간 p_amateur
   • 두 확률의 평균
   • log p_expert 빼기 계수 곱하기 log p_amateur
5. 대조 디코딩의 주요 실제 이점은 다음과 같습니다.
   • 추가 교육 없이 추론 시 작동
   • 두 모델을 공동으로 재교육해야 함
   • 분류 작업에서만 작동합니다.
   • 대형 모델의 필요성 제거
6. 대조 아이디어를 단일 모델의 자체 레이어로 확장하는 최신 방법은 무엇입니까?
   • 빔 검색
   • 초기 레이어와 후기 레이어를 대조하는 DoLa
   • 그리디 디코딩
   • 온도 스케일링
7. The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
   • 0.4
   • 0.1
   • 0.04
   • 0.004
8. Why can contrastive decoding require more inference work than using the expert model alone?
   • It must retrain both models for every prompt
   • It replaces the vocabulary with image patches
   • It runs only the amateur model
   • It scores candidates with both an expert and an amateur model at inference time