Планирано вземане на проби и отклонение на експозицията
Пристрастието на експозицията е празнината, която се появява, когато модел, обучен само на перфектни префикси, трябва, при заключение, да обуслови собствените си несъвършени резултати.
Преглед
Scheduled sampling is a curriculum that gradually closes that gap.
Дълбоко гмуркане
Моделите, обучени с принуждаване от учители, виждат само токени за основна истина като контекст, но по време на генериране те връщат обратно своите собствени прогнози. Когато ранна грешка постави модела в състояние, което никога не е срещал по време на обучението, грешките могат да бъдат снежна топка, режим на повреда, наречен отклонение на експозицията. Планираното вземане на проби, въведено от Bengio и колеги през 2015 г., се справя с това чрез хвърляне на монета на всяка стъпка на декодиране по време на обучение: с известна вероятност захранва истинския символ (принуждаване от учител), а в противен случай захранва собствената прогноза на модела. Вероятността за използване на основната истина започва близо до единица и намалява с обучението чрез график (линеен, експоненциален или обратно-сигмоиден), така че моделът постепенно се излага на собствените си резултати и се научава да се възстановява от своите грешки.
Техническа информация
На стъпка t моделът взема проби от променлива на Бернули с вероятност epsilon_i за избор на златния жетон; epsilon_i се разпада в хода на обучението. Тънкостта е, че подаването на токени с извадки прави целта предубедена и дискретното вземане на проби недиференцируемо, така че градиентите не протичат чисто през токена с обратна връзка. Вариантите използват директен Gumbel-softmax или диференцируеми релаксации, за да смекчат това, а методите на ниво последователност оптимизират директно показател като BLEU.
Стратегическо въздействие
Cost and budget
Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
Clearer decisions
Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
Quality control
По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Бъдещето на плановото вземане на проби и отклонението на експозицията
За големите езикови модели на Transformer практическото въздействие на отклонението на експозицията се обсъжда, тъй като огромните данни и мащабът го смекчават, а методи като RLHF променят директно поведението на генериране. Все пак планираното вземане на проби и неговите наследници остават подходящи за по-малки модели, структурирано генериране и задачи със строги изисквания за точност. Бъдещата работа съчетава експозицията на учебната програма, целите на последователността в стил на подсилване и обучение с минимален риск, за да приведе в съответствие начина, по който се обучават моделите, с начина, по който те действително декодират.
Внедряване в реалния свят
Обучение на модел за надписи на изображения с планирано вземане на проби, така че да се научи да продължава елегантно след несъвършена предвидена дума
Намаляване на вероятността за принуждаване на учителя с инверсен сигмоиден график в невронна система за машинен превод
Диагностициране на чатбот, който се движи в непоследователни цикли, като симптом на отклонение от експозицията от чисто налагане на учител
Сравняване на резултатите от BLEU на обобщаващ, обучен с пълно принудително принудяване на учител, спрямо един, обучен с планирано вземане на проби
Рискове и предпазни огради
Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
Разходите за инфраструктура и поддръжка често се подценяват.
Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Пътна карта за изпълнение
Определете целите за латентност, качество и разходи преди внедряването.
Бенчмарк при реалистични условия на натоварване и данни.
Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Scheduled Sampling and Exposure Bias quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Отрицателно вземане на проби и контрастно оценяване на шума
Frequently asked questions
What is Scheduled Sampling and Exposure Bias?
Пристрастието на експозицията е празнината, която се появява, когато модел, обучен само на перфектни префикси, трябва, при заключение, да обуслови собствените си несъвършени резултати. Планираното вземане на проби е учебна програма, която постепенно затваря тази празнина.
Какво прави планираното вземане на проби по време на обучение?
Планираното вземане на проби стохастично смесва наземна истина и генерирани от модел токени като декодерни входове, контролирани от намаляваща вероятност.
Как се променя вероятността за използване на токена за наземна истина спрямо обучението при планирано вземане на проби?
Графикът започва почти при пълно форсиране на учителя и затихва, така че моделът е все по-изложен на собствените си прогнози, докато се подобрява.
Кой въведе планираното вземане на проби и кога приблизително?
Планираното вземане на проби беше предложено от Samy Bengio и колеги през 2015 г. за предсказване на последователност с повтарящи се мрежи.
Коя форма на график обикновено се цитира за намаляване на вероятността за принуждаване от учител?
Оригиналната работа предлага линейни, експоненциални и обратни сигмоидни графици на затихване за намаляване на вероятността за вземане на проби от земята.