Преглед
Ансамбъловите методи комбинират много прости модели, така че групата да прави по-добри прогнози от всеки отделен модел. Градиентното усилване е най-мощното от тях – то изгражда дървета едно по едно, като всяко коригира грешките на последното, и доминира в реалния свят таблично машинно обучение.
Ensemble Methods и Gradient Boosting се намират в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение.
Дълбоко гмуркане
Ансамблите почиват на проста идея: много слаби ученици, комбинирани, могат да формират силен. Водят две семейства. Пакетирането (напр. Случайни гори) обучава много дървета паралелно на произволни проби и ги осреднява, което основно намалява дисперсията. Повишаването обучава моделите последователно, като всеки се фокусира върху грешките, направени от предишните, което основно намалява пристрастията. Увеличаването на градиента рамкира всяко ново дърво като стъпка, която отговаря на отрицателния градиент - остатъчните грешки - на функцията на загубата досега. Библиотеки като XGBoost, LightGBM и CatBoost добавят регулиране, интелигентно разделяне и трикове за скорост. При структурирани/таблични данни — откриване на измами, ценообразуване, класиране — тези методи рутинно побеждават дълбокото обучение и печелят повечето състезания на Kaggle.
Техническа информация
При усилване на градиента започвате с груба прогноза и многократно добавяте малко дърво, подходящо за остатъците - градиентът на загубата по отношение на текущите прогнози. Приносът на всяко дърво се мащабира чрез скорост на обучение (свиване), така че моделът се подобрява с малки стъпки. Тъй като грешките се усложняват, ако прекалявате, регулирането (ограничения на дълбочината на дървото, редове и характеристики за подизвадка, L1/L2 санкции върху теглата на листа) е от съществено значение, за да предпазите ансамбъла от запаметяване на шума.
Овладяване на ансамбълни методи и градиентно усилване
Ансамбъловите методи комбинират много прости модели, така че групата да прави по-добри прогнози от всеки отделен модел. Градиентното усилване е най-мощното от тях – то изгражда дървета едно по едно, като всяко коригира грешките на последното, и доминира в реалния свят таблично машинно обучение. Ensemble Methods и Gradient Boosting се намират в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение. За да изградите дълбоко разбиране, третирайте Ensemble Methods и Gradient Boost като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силни екипи, използващи Ensemble Methods и Gradient Boosting, първо изграждат силни концептуални модели, след което картографират тези модели към реални производствени ограничения. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Помага ви да отделите ясните технически твърдения от маркетинговия език. В същото време различни екипи могат да използват един и същ термин по различен начин, така че дефинирайте обхвата рано. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Помага ви да отделите ясните технически твърдения от маркетинговия език. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Банки и процесори за обработка на плащания, използващи XGBoost за маркиране на измамни транзакции от таблични функции като сума, местоположение и време.
Търсачките и онлайн магазините класират резултатите с градиентно подсилени модели за „учене за класиране“.
Застрахователни и кредитни фирми, предвиждащи риска и определящи цени от структурирани клиентски данни.
Състезателите на Kaggle печелят състезания с таблични данни чрез подреждане на LightGBM и CatBoost модели заедно.
Модели на изпълнение
Ансамбъл методи и градиентно усилване на практика
Банки и процесори за обработка на плащания, използващи XGBoost за маркиране на измамни транзакции от таблични функции като сума, местоположение и време.
Банки и процесори за обработка на плащания, използващи XGBoost за маркиране на измамни транзакции от таблични функции като сума, местоположение и време Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Ансамбъл методи и градиентно усилване на практика
Търсачките и онлайн магазините класират резултатите с градиентно подсилени модели за „учене за класиране“.
Търсачките и онлайн магазините класират резултатите с градиентно подсилени модели за „обучение за класиране“ Екипите обикновено получават по-добри резултати, когато определят праговете на качеството предварително, поддържат човешки път на ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Ансамбъл методи и градиентно усилване на практика
Застрахователни и кредитни фирми, предвиждащи риска и определящи цени от структурирани клиентски данни.
Застрахователни и кредитни фирми, предвиждащи риска и определящи цени от структурирани клиентски данни. Екипите обикновено получават по-добри резултати, когато предварително определят праговете за качество, поддържат човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Ансамбъл методи и градиентно усилване на практика
Състезателите на Kaggle печелят състезания с таблични данни чрез подреждане на LightGBM и CatBoost модели заедно.
Състезателите на Kaggle печелят състезания с таблични данни чрез подреждане на LightGBM и CatBoost модели заедно. Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат човешки път за ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изберете един показател за успех и едно условие за неуспех преди тестване. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Документирайте къде Ensemble Methods и Gradient Boosting помагат и къде по-простите методи са по-добри.
Документирайте къде Ensemble Methods и Gradient Boosting помагат и къде по-простите методи са по-добри. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.