ДаліНаступний посібник
Онлайн і жорсткий негативний майнінг
технічний
Технічний КЕРІВНИЦТВО
Негативна вибірка та порівняльна оцінка шуму
Негативна вибірка та порівняльна оцінка шуму (NCE) — це прийоми, які дозволяють моделям вивчати величезні словники без обчислення дорогого повного softmax.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Instead of scoring every possible output, they teach the model to tell real (positive) examples from a handful of fake (negative) ones.
Глибоке занурення
Коли словниковий запас містить сотні тисяч слів, звичайний softmax повинен нормалізувати кожне слово для кожного кроку навчання — надто повільно. Noise Contrastive Estimation переформулює проблему як двійкову класифікацію: задана ціль і кілька «шумових» вибірок, взятих із відомого розподілу, навчіться відрізняти справжню вибірку від шуму, який неявно відновлює бажані ймовірності без явної нормалізації. Негативна вибірка, популяризована моделлю skip-gram від word2vec, є спрощеним двоюрідним братом: для кожної правдивої пари (слово, контекст) вона відбирає k негативів і навчає модель призначати високу оцінку справжній парі та низьку оцінку підробленим, використовуючи сигмоподібну ціль. Обидва перетворюють дорогу багатокласову проблему на багато дешевих двійкових, роблячи широкомасштабне навчання впровадження практичним. Вибір розподілу шуму (часто уніграма, зведена до 3/4 ступеня) сильно впливає на якість.
Реалізація в реальному світі
word2vec skip-gram з негативною вибіркою, що вивчає вбудовування слів із мільярдів токенів без повного softmax.
Мовні моделі, які історично використовували NCE для ефективного навчання словникам із сотень тисяч слів.
Системи рекомендацій і пошуку, що відбирають «негативні» елементи, з якими користувач не взаємодіяв, для навчання моделей вбудованих двох веж.
Вбудовування графів і графів знань (наприклад, псування голови чи хвоста трійки) з використанням негативних зразків для вивчення зв’язків сутностей.
Майбутнє негативної вибірки та порівняльної оцінки шуму
Основна ідея — навчання, порівнюючи позитиви з вибірками негативів — тепер лежить в основі сучасного самоконтрольованого та порівняльного навчання репрезентації через бачення, мову та рекомендації. Майбутня робота зосереджена на жорсткому негативному аналізі (вибір інформативних негативів замість випадкових), усуненні хибних негативів і дешевому масштабуванні негативів за допомогою великих банків пам’яті або пакетної вибірки. У міру зростання моделей ефективні вибіркові цілі залишаються важливими скрізь, де вихідні простори або набори кандидатів величезні, наприклад пошук і великомасштабні рекомендації.
Застосування на практиці
Чому це важливо
- Вартість і бюджет. Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
- Чіткіші рішення. Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
- Контроль якості. Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Зверніть увагу на
- Оптимізація одного тесту може приховати ширші слабкі сторони системи.
- Витрати на інфраструктуру та обслуговування часто недооцінюються.
- Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Наступні кроки
- Визначте цільові показники затримки, якості та вартості перед впровадженням.
- Тест за реалістичних умов навантаження та даних.
- Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
- Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Negative Sampling and Noise Contrastive Estimation quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is Negative Sampling and Noise Contrastive Estimation?
Негативна вибірка та порівняльна оцінка шуму (NCE) — це прийоми, які дозволяють моделям вивчати величезні словники без обчислення дорогого повного softmax. Замість того, щоб оцінювати всі можливі результати, вони вчать модель відрізняти реальні (позитивні) приклади від кількох фальшивих (негативних).
Яку проблему в основному вирішують негативна вибірка та NCE?
Обидва методи уникають нормалізації над величезним словниковим запасом, переосмислюючи навчання як дешевшу двійкову дискримінацію.
Як оцінка порівняння шуму змінює форму навчального завдання?
NCE навчає модель відрізняти реальні зразки від зразків, взятих із відомого розподілу шуму.
Яка модель популяризувала негативну вибірку для вивчення вставок слів?
Негативну вибірку було введено та популяризовано варіантом word2vec із пропуском грам.
Чим негативна вибірка відрізняється від повної NCE?
Негативна вибірка спрощує NCE, видаляючи нормалізацію, обмінюючи імовірнісну коректність на швидкість і хороші вбудовування.
Чому негативи часто беруть вибірку з уніграмного розподілу, зведеного до степеня 3/4?
Експонента 0,75 згладжує розподіл частот, тому загальні слова не домінують, а рідкісні слова все ще з’являються.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми