Регулиране
Регулирането е набор от техники, които умишлено ограничават модел, така че той да се обобщава към нови данни, вместо да запаметява набора за обучение.
Преглед
It is the main toolkit for fighting overfitting.
Дълбоко гмуркане
Ако не е отметнат, гъвкавият модел ще се усуче сам, за да пасне на всяка точка в данните за обучение, включително шума. Регулирането отблъсква чрез добавяне на наказание или ограничение, което благоприятства по-простите решения. Най-често срещаните форми добавят член към функцията за загуба въз основа на размера на теглата на модела. Регулирането на L2 (намаляване на теглото) наказва плавно големите тегла, като ги свива към нула и създава по-плавни модели. Регулирането на L1 наказва абсолютната стойност на теглата и може да доведе някои до нула, ефективно избирайки подмножество от функции. Освен наказанията за тегло, отпадането изключва на случаен принцип невроните по време на тренировка, ранното спиране спира тренировката, преди да започне претоварването, а увеличаването на данните разширява ефективния набор от тренировки. Всеки обменя малко тренировъчна точност за много по-добро представяне в реалния свят.
Техническа информация
Повечето регуляризации променят целта, която оптимизаторът минимизира. Вместо просто да минимизирате грешката при прогнозиране, вие минимизирате грешката плюс ламбда, умножена по наказание върху теглата, където ламбда контролира силата. L2 добавя сумата от теглата на квадрат, насърчавайки много малки тегла; L1 добавя сумата от абсолютни тегла, насърчавайки разредността с точни нули. Dropout работи по различен начин: чрез произволно нулиране на активациите на всяка стъпка, той предотвратява съвместната адаптация на невроните и доближава обучението на ансамбъл от подмрежи. Всички те намаляват дисперсията с цената на леко увеличено отклонение.
Стратегическо въздействие
Clearer decisions
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Cost and budget
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Team and workflow
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Бъдещето на регулацията
Явните наказания като L2 и отпадане остават стандартни, но вниманието се насочва към имплицитно регулиране, начинът, по който оптимизаторите като стохастичен градиентен низход тихо отклоняват огромни модели към обобщаващи решения дори без добавено наказание. Техники като изглаждане на етикети, объркване и по-силно увеличаване на данните са все по-централни за обучението на големи визуални и езикови модели. Очаквайте повече изследвания за това защо свръхпараметризираните мрежи се противопоставят на пренастройването и за адаптивни методи, които настройват силата на регулиране автоматично по време на обучение, вместо да разчитат на ръчно търсене.
Внедряване в реалния свят
Добавяне на L2 разпадане на теглото към дълбок класификатор на изображения, така че да обобщава от хиляди тренировъчни снимки към невиждани.
Използване на L1 регулация в геномен модел за автоматично избиране на шепата гени, които всъщност предсказват резултат от хиляди.
Прилагане на отпадане в препоръчителна мрежа, така че да не разчита прекалено на единичен потребителски сигнал.
Ранно спиране на обучението, след като загубата на валидиране спре да се подобрява, въпреки че загубата на обучение може да продължи да намалява.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Документирайте къде Регулирането помага и къде по-простите методи са по-добри.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Намаляване на теглото и регулиране на L2
Frequently asked questions
What is Regularization?
Регулирането е набор от техники, които умишлено ограничават модел, така че той да се обобщава към нови данни, вместо да запаметява набора за обучение. Това е основният инструментариум за борба с пренатоварването.
Каква е основната цел на регулирането?
Регулирането умишлено ограничава модела, за да обезсърчи запомнянето на данните за обучение, подобрявайки производителността на невиждани примери.
Коя техника за регулиране е най-вероятно да доведе някои тегла точно до нула, ефективно избирайки функции?
L1 наказва абсолютната стойност на теглата, което води до изтласкване на по-малко полезни тегла точно до нула, извършвайки автоматичен избор на характеристики. L2 свива теглата плавно, но рядко до точно нула.
Как отпадането регулира невронна мрежа по време на обучение?
Отпадането произволно нулира част от активациите на всяка стъпка на обучение, предотвратявайки невроните да разчитат твърде много един на друг и да сближат ансамбъл от подмрежи.
В регуляризираната загуба „грешка + ламбда × наказание“, какво прави увеличаването на ламбда?
Ламбда контролира силата на регулиране. По-голямата ламбда дава на наказанието по-голямо влияние, намалявайки теглата по-агресивно към по-простите модели.
Защо ранното спиране може да се счита за форма на регулиране?
Спирането, когато производителността на валидирането спре да се подобрява, не позволява на модела да продължи в режима, в който запаметява шума, подобно на други регулаторни програми, ограничаващи сложността.