Loading AI tools
Из Википедии, свободной энциклопедии
XGBoost[1] (eXtreme Gradient Boosting) — это библиотека с открытым исходным кодом, используемая в машинном обучении и предоставляющая функциональность для решения задач, связанных с регуляризацией градиентного бустинга. Библиотека поддерживается языками программирования C++, Java, Python[2], R[3], Julia[4], Perl[5] и Scala. Библиотека работает под ОС Linux, Windows[6], и macOS[7]. Она работает как на одной машине, так и на системах распределенной обработки Apache Hadoop, Apache Spark и Apache Flink.
| XGBoost | |
|---|---|
 | |
| Тип | Машинное обучение |
| Разработчик | The XGBoost Contributors |
| Написана на | C++ |
| Операционные системы | Linux, macOS, Windows |
| Первый выпуск | 27 марта 2014 |
| Последняя версия | 1.6.0 (15 апреля 2022) |
| Репозиторий | github.com/dmlc/xgboost |
| Лицензия | Apache License 2.0 |
| Сайт | xgboost.ai |
В последнее время эта библиотека приобрела большую популярность и привлекла внимание как выбор многих команд-победителей соревнований по машинному обучению[8].
XGBoost изначально начинался как исследовательский проект Чэн Тяньци[9] как часть группы Distributed (Deep) Machine Learning Community (DMLC). Изначально она начиналась как консольная программа, которую можно было настроить с помощью конфигурационного файла libsvm. XGBoost стал широко известен в кругах участников соревнований по машинному обучению после его использования в решении победителя конкурса Higgs Machine Learning Challenge. Вскоре после этого были созданы пакеты для Python и R, и теперь XGBoost имеет реализации пакетов для Java, Scala, Julia, Perl и других языков. Это позволило привлечь к библиотеке больше разработчиков и способствовало ее популярности среди сообщества Kaggle, где она использовалась для проведения большого количества соревнований[8].
Вскоре XGBoost был интегрирован с рядом других пакетов, что упростило его использование в соответствующих сообществах. Сейчас он интегрирован в scikit-learn для пользователей Python и в пакет caret для пользователей R. Он также может быть интегрирован в такие фреймворки Data Flow, как Apache Spark, Apache Hadoop и Apache Flink с помощью абстрактного Rabit[10] и XGBoost4J[11]. XGBoost также доступен на OpenCL для ПЛИС[12]. Эффективная, масштабируемая реализация XGBoost была опубликована Чэн Тяньци и Карлосом Густрином[13].
Хотя модель XGBoost часто достигает более высокой точности, чем одно дерево решений, она жертвует присущей деревьям решений интерпретируемостью. Например, проследить путь, по которому дерево решений принимает решение, тривиально и самообъяснимо, но проследить пути сотен или тысяч деревьев гораздо сложнее. Для достижения производительности и интерпретируемости некоторые методы сжатия моделей позволяют преобразовать XGBoost в одно "перерожденное" дерево решений, которое аппроксимирует ту же функцию принятия решений[14].
Основные особенности XGBoost, отличающие его от других алгоритмов градиентного бустинга, включают:[15][16][17].
XGBoost использует Метод Ньютона-Рафсона в пространстве функций, в отличие от градиентного бустинга, который работает как градиентный спуск в пространстве функций, в функции потерь используется ряд Тейлора второго порядка для связи с методом Ньютона-Рафсона.
Общий вид нерегуляризованного алгоритма XGBoost:
Вход: обучающее множество , дифференцируемая функция потерь , число слабых обучающихся и скорость обучения .
Алгоритм:
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
![{\displaystyle {\hat {g}}_{m}(x_{i})=\left[{\frac {\partial L(y_{i},f(x_{i}))}{\partial f(x_{i})}}\right]_{f(x)={\hat {f}}_{(m-1)}(x)}.}](http://wikimedia.org/api/rest_v1/media/math/render/svg/be093d016afbf04f2f7634a5d69b36e3d7cbeb4c)
![{\displaystyle {\hat {h}}_{m}(x_{i})=\left[{\frac {\partial ^{2}L(y_{i},f(x_{i}))}{\partial f(x_{i})^{2}}}\right]_{f(x)={\hat {f}}_{(m-1)}(x)}.}](http://wikimedia.org/api/rest_v1/media/math/render/svg/cc36b1bf7ab5a01fb1427ce4313ac5e1ba64c3fc)
![{\displaystyle {\hat {\phi }}_{m}={\underset {\phi \in \mathbf {\Phi } }{\arg \min }}\sum _{i=1}^{N}{\frac {1}{2}}{\hat {h}}_{m}(x_{i})\left[-{\frac {{\hat {g}}_{m}(x_{i})}{{\hat {h}}_{m}(x_{i})}}-\phi (x_{i})\right]^{2}.}](http://wikimedia.org/api/rest_v1/media/math/render/svg/c1f2cd5af557531fe11e1854b9626cd787f92990)
