Вікторина, пов’язана з посібником · важко Рівень

Тест на оцінку негативної вибірки та порівняння шуму

Перевіряє, як NCE і негативна вибірка використовують приклади шуму, зменшують повну вартість softmax і відрізняються у своїх імовірнісних цілях.

Пов'язані напрямні шляхиНегативна вибірка та порівняльна оцінка шуму
Питання 1 з 8

Яку проблему в основному вирішують негативна вибірка та NCE?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яку проблему в основному вирішують негативна вибірка та NCE?
    • Висока вартість обчислення повного softmax на дуже великому вихідному просторі
    • Переобладнання невеликих наборів даних
    • Зникаючі градієнти в рекурентних мережах
    • Відсутність позначених даних для контрольованого навчання
  2. Як оцінка порівняння шуму змінює форму навчального завдання?
    • Як регресія на безперервних цілях
    • Як двійкова класифікація між справжніми зразками даних і зразками шуму
    • Як кластеризація непозначених точок
    • Як підкріплення навчання з винагородами
  3. Яка модель популяризувала негативну вибірку для вивчення вставок слів?
    • БЕРТ
    • ResNet
    • модель skip-gram word2vec
    • ГПТ-2
  4. Чим негативна вибірка відрізняється від повної NCE?
    • Він додає додаткові умови нормалізації для точності
    • Це вимагає повного словникового запасу на кожному кроці
    • Він використовує втрату регресії замість сигмовидної
    • Він скидає умови нормалізації NCE, роблячи його швидшим, але не послідовним оцінювачем щільності
  5. Чому негативи часто беруть вибірку з уніграмного розподілу, зведеного до степеня 3/4?
    • Щоб збалансувати вплив частих і рідкісних слів, а не вибірку виключно за частотою
    • Зовсім ігнорувати рідкісні слова
    • Щоб усі слова були однаково ймовірними
    • Прибрати стоп-слова з навчання
  6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
    • It computes an exact probability for every vocabulary item
    • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
    • It eliminates the need to score the positive pair
    • It sorts all words by frequency on each step
  7. In skip-gram negative sampling, what is treated as the positive training pair?
    • Two words sampled independently from the noise distribution
    • A word paired with an empty context
    • A word and a context word observed together in the corpus
    • A validation label paired with a model checkpoint
  8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
    • It always sums over the full vocabulary
    • It requires exact maximum-likelihood normalization
    • It never uses negative examples
    • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead