네거티브 샘플링 및 잡음 대비 추정 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 네거티브 샘플링과 NCE는 주로 어떤 문제를 해결합니까?
   • 매우 큰 출력 공간에 걸쳐 전체 소프트맥스를 계산하는 데 드는 높은 비용
   • 작은 데이터세트에 대한 과적합
   • 순환 신경망의 기울기 소실
   • 지도 학습을 위한 레이블이 지정된 데이터가 부족합니다.
2. 잡음 대비 추정은 학습 과제를 어떻게 재구성합니까?
   • 연속 대상에 대한 회귀로
   • 실제 데이터 샘플과 노이즈 샘플 간의 이진 분류
   • 라벨이 지정되지 않은 포인트의 클러스터링으로
   • 보상이 있는 강화 학습으로
3. 단어 임베딩 학습을 위해 네거티브 샘플링을 대중화한 모델은 무엇인가요?
   • 버트
   • 레스넷
   • word2vec의 스킵그램 모델
   • GPT-2
4. 네거티브 샘플링은 전체 NCE와 어떻게 다릅니까?
   • 정확성을 위해 추가 정규화 조건을 추가합니다.
   • 모든 단계에서 전체 어휘가 필요합니다.
   • 시그모이드 대신 회귀 손실을 사용합니다.
   • NCE의 정규화 항을 삭제하여 더 빠르게 만들지만 일관된 밀도 추정기는 아닙니다.
5. 3/4 거듭제곱의 유니그램 분포에서 네거티브가 종종 샘플링되는 이유는 무엇입니까?
   • 순전히 빈도로 샘플링하는 것이 아니라 자주 사용되는 단어와 희귀 단어의 영향 균형을 맞추기 위해
   • 희귀 단어를 완전히 무시하려면
   • 모든 단어를 동등하게 만들기 위해
   • 훈련에서 불용어를 제거하려면
6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
   • It computes an exact probability for every vocabulary item
   • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
   • It eliminates the need to score the positive pair
   • It sorts all words by frequency on each step
7. In skip-gram negative sampling, what is treated as the positive training pair?
   • Two words sampled independently from the noise distribution
   • A word paired with an empty context
   • A word and a context word observed together in the corpus
   • A validation label paired with a model checkpoint
8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
   • It always sums over the full vocabulary
   • It requires exact maximum-likelihood normalization
   • It never uses negative examples
   • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead