Тест на отрицательную выборку и контрастную оценку шума

Ответы и пояснения появляются по мере прохождения теста.

1. Какую проблему в первую очередь решают отрицательная выборка и NCE?
   • Высокая стоимость вычисления полного softmax в очень большом пространстве вывода.
   • Переобучение на небольших наборах данных
   • Исчезающие градиенты в рекуррентных сетях
   • Отсутствие маркированных данных для контролируемого обучения
2. Как метод оценки контрастности шума переосмысливает задачу обучения?
   • Как регрессия по непрерывным целям
   • Как двоичная классификация между истинными выборками данных и выборками шума.
   • Как кластеризация непомеченных точек
   • Как обучение с подкреплением и вознаграждением
3. Какая модель популяризировала отрицательную выборку для изучения встраивания слов?
   • БЕРТ
   • РесНет
   • Модель пропуска грамм word2vec
   • ГПТ-2
4. Чем отрицательная выборка отличается от полной NCE?
   • Он добавляет дополнительные условия нормализации для точности.
   • На каждом этапе требуется весь словарный запас
   • Он использует регрессионную потерю вместо сигмовидной
   • В нем отсутствуют условия нормализации NCE, что делает его более быстрым, но не обеспечивает согласованную оценку плотности.
5. Почему негативы часто выбираются из распределения униграмм, возведенных в степень 3/4?
   • Чтобы сбалансировать влияние частых и редких слов, а не делать выборку исключительно по частоте.
   • Полностью игнорировать редкие слова
   • Сделать все слова одинаково вероятными
   • Удаление стоп-слов из обучения
6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
   • It computes an exact probability for every vocabulary item
   • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
   • It eliminates the need to score the positive pair
   • It sorts all words by frequency on each step
7. In skip-gram negative sampling, what is treated as the positive training pair?
   • Two words sampled independently from the noise distribution
   • A word paired with an empty context
   • A word and a context word observed together in the corpus
   • A validation label paired with a model checkpoint
8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
   • It always sums over the full vocabulary
   • It requires exact maximum-likelihood normalization
   • It never uses negative examples
   • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead