ネガティブ サンプリングとノイズ対比推定のクイズ

クイズに答えると、答えと解説が表示されます。

1. ネガティブ サンプリングと NCE は主にどのような問題を解決しますか?
   • 非常に大きな出力空間で完全なソフトマックスを計算するとコストが高くなります
   • 小さなデータセットでの過学習
   • リカレントネットワークにおける勾配消失
   • 教師あり学習用のラベル付きデータの欠如
2. ノイズ対比推定は学習タスクをどのように再構成するのでしょうか?
   • 継続的な目標に対する回帰として
   • 真のデータサンプルとノイズサンプル間のバイナリ分類として
   • ラベルのない点のクラスタリングとして
   • 報酬付きの強化学習として
3. 単語埋め込みを学習するためのネガティブ サンプリングを普及させたモデルはどれですか?
   • バート
   • レスネット
   • word2vec のスキップグラム モデル
   • GPT-2
4. ネガティブ サンプリングは完全な NCE とどのように異なりますか?
   • 精度を高めるために追加の正規化項を追加します
   • あらゆる段階で語彙全体が必要です
   • シグモイドの代わりに回帰損失を使用します
   • NCE の正規化項が削除され、高速化されますが、一貫した密度推定器ではありません。
5. ユニグラム分布の 3/4 乗からネガ値がサンプリングされることが多いのはなぜですか?
   • 純粋に頻度だけでサンプリングするのではなく、頻繁に使用される単語とまれな単語の影響のバランスを取るため
   • まれな単語を完全に無視する
   • すべての単語の可能性を等しくするには
   • トレーニングからストップワードを削除するには
6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
   • It computes an exact probability for every vocabulary item
   • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
   • It eliminates the need to score the positive pair
   • It sorts all words by frequency on each step
7. In skip-gram negative sampling, what is treated as the positive training pair?
   • Two words sampled independently from the noise distribution
   • A word paired with an empty context
   • A word and a context word observed together in the corpus
   • A validation label paired with a model checkpoint
8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
   • It always sums over the full vocabulary
   • It requires exact maximum-likelihood normalization
   • It never uses negative examples
   • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead