Nucleus 및 Top-k 샘플링 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. Top-k 샘플링은 토큰 선택을 어떻게 제한합니까?
   • 확률이 가장 높은 k개의 토큰만 유지한 다음 그 중에서 샘플링합니다.
   • 누적 확률이 k를 초과할 때까지 토큰을 유지합니다.
   • 항상 가능성이 가장 높은 단일 토큰을 선택합니다.
   • 가능성이 가장 낮은 k개의 토큰만 제거합니다.
2. 핵(top-p) 샘플링에서 '핵'을 정의하는 것은 무엇입니까?
   • 학습 데이터에서 가장 자주 사용되는 k개의 단어
   • 확률의 합이 최소 p인 가장 작은 토큰 집합
   • 단일 확률이 가장 높은 토큰
   • 확률이 50% 이상인 모든 토큰
3. top-k에 비해 top-p의 주요 장점은 무엇입니까?
   • 계산하는 것이 항상 더 빠릅니다.
   • 결코 무작위 출력을 생성하지 않습니다.
   • 후보 토큰의 수는 모델의 신뢰도에 따라 조정됩니다.
   • 토큰 확률을 무시합니다.
4. 샘플링 전에 온도 매개변수는 무엇을 합니까?
   • 최대 시퀀스 길이를 설정합니다.
   • 출력 언어를 선택합니다.
   • 어휘 크기를 계산합니다.
   • 확률 분포를 더 날카롭거나 평평하게 재조정합니다.
5. What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
   • It improved diversity without sacrificing fluency and coherence in the reported comparisons
   • It guaranteed factual correctness in every output
   • It eliminated all sampling randomness
   • It improved translation quality on every benchmark
6. For a greedy decoding baseline with no token sampling, how should generation be configured?
   • Disable sampling and use greedy decoding to select the highest-probability token at each step
   • Use high temperature and a large nucleus threshold
   • Randomize the temperature at every step
   • Keep sampling enabled but increase top-p
7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
   • They remain assigned their original total mass below one
   • They are replaced with equal probabilities
   • They are renormalized over the retained top-k tokens
   • They are converted into beam-search scores
8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
   • It always yields the most diverse human-like passages
   • 언어 모델이 필요하지 않습니다.
   • It guarantees factual correctness
   • It can produce bland and repetitive text despite strong likelihood scores