XGBoost

XGBoost^[1]是一個開源軟件庫，為C++、Java、Python^[2]、R、^[3]和Julia^[4]提供了一個梯度提升框架，適用於Linux、Windows^[5]、以及macOS^[6]。根據項目的描述，它的目的在於提供一個"可擴展、可移植和分佈式梯度提升（GBM、GBRT、GBDT）庫"。XGBoost除了可以在單機上運行，也支持運行在分佈式框架如Apache Hadoop、Apache Spark和Apache Flink上。近幾年，由於該算法受到許多在機器學習競賽中獲獎團隊的青睞，因而受到了廣泛的歡迎和關注^[7]。

XGBoost

開發者	The XGBoost Contributors
首次發佈	2014年3月27日，​11年前​（2014-03-27）
當前版本	0.70（2017年12月30日 (2017-12-30)）
原始碼庫	github.com/dmlc/xgboost
程式語言	C++
作業系統	Linux, macOS, Windows
類型	機器學習
許可協議	Apache License 2.0
網站	xgboost.ai

歷史

XGBoost最初是一個研究項目，由當時在Distributed (Deep) Machine Learning Community (DMLC) 組裏的陳天奇負責^[8]。它最初作為一個可以由libsvm配置文件進行配置的終端應用程式。在Higgs機器學習挑戰中取得勝利後，它開始在機器學習競賽圈子中被廣為人知。不久之後，相應的Python和R的軟件包被開發了出來。XGBoost現在也已經為Julia、Scala、Java和其他語言提供了軟件包實現。這使得更多的開發者了解了XGBoost，並且讓其在Kaggle社區備受歡迎，被廣泛用於大量的競賽^[7]。

很快地，XGBoost就與其他多個軟件包一起使用，使其更易於在各自的社區中使用。它現在已經與Python用戶的scikit-learn以及與R的Caret軟件包集成在一起。它還可以使用抽象的Rabit^[9]及XGBoost4J集成到諸如Apache Spark、Apache Hadoop和Apache Flink等數據流框架中^[10]。XGBoost也可用於FPGAs的OpenCL^[11]。陳天奇和Carlos Guestrin發表了一種高效、可擴展的XGBoost實現^[12]。

獲獎

• 約翰錢伯斯獎（2016） ^[13]
• 高能物理學會議機器學習獎（HEP meets ML） （2016） ^[14]