Алгоритм XGBoost

Повышение градиента строит прогноз как сумму вкладов последовательных учащихся. В каждом раунде новый учащийся может улучшить цель на основе ошибок или градиентов текущей модели. XGBoost популяризировал эффективную, регуляризованную реализацию этого общего подхода, особенно для усилителей деревьев. Это семейство библиотек и алгоритмов, а не одна фиксированная конфигурация модели. При повышении уровня дерева дерево добавляет структурированную коррекцию к существующим прогнозам. Цель может включать в себя срок потери и штрафы, которые препятствуют созданию слишком сложных деревьев или больших листьев. Общие настройки контролируют глубину дерева или количество листьев, размер шага, применяемый к каждому новому дереву, количество раундов повышения, а также подвыборку строк или объектов. Эти настройки взаимодействуют: меньшие шаги часто требуют большего количества раундов, в то время как большая сложность дерева может соответствовать взаимодействиям, но также и переобучаться. Полезный рабочий процесс начинается с четкой цели и плана оценки. Разделите данные, чтобы отразить развертывание, особенно если в строках указаны общие люди, местоположения или время. Настройте, используя данные проверки или перекрестную проверку, которая учитывает эти ограничения, а затем выполните один раз оценку на отложенном наборе тестов. Проверьте соответствующие показатели и калибровку или поведение подгруппы в соответствии с требованиями приложения. Не думайте, что высокий рейтинг в таблице лидеров перейдет к другой группе населения. Инженерные функции XGBoost могут включать в себя оптимизированное построение дерева, обработку с учетом разреженности, а также распределенное выполнение или выполнение с помощью ускорителя в зависимости от усилителя и сборки. Подробности зависят от версии и конфигурации. Ускорители деревьев часто хорошо работают с неоднородными табличными входными данными с нелинейными взаимодействиями, но они не по своей сути являются лучшими для каждой задачи. Линейные модели, случайные леса, CatBoost, LightGBM, нейронные сети и базовые показатели для конкретной предметной области могут лучше подходить при различных ограничениях. Сохраняйте согласованность обработки признаков и соглашений об отсутствующих значениях между обучением и выводом. Запишите версию библиотеки, цель, метрику оценки и параметры. Для развертываемой модели также измеряйте задержку, память, надежность и затраты на обслуживание, а не выбирайте только один тестовый показатель.