Potenciació de gradient
From Wikipedia, the free encyclopedia
La potenciació de gradient (en anglès, gradient boosting) és una tècnica d'aprenentatge automàtic (en anglès, machine learning) per problemes de regressió i classificació, que produeix un model de predicció a partir d'un conjunt de models de predicció febles (normalment, arbres de decisió). Aquesta tècnica construeix el model d'una manera seqüencial com fan altres algoritmes de potenciació i generalitza aquests a través de l'optimització d'una funció de pèrdua diferenciable.
La idea de la potenciació de gradient sorgeix d'un article de Leo Breiman en el qual la potenciació (en anglès, boosting) s'interpreta com un algoritme d'optimització d'una funció de cost amb determinades característiques.[1] Posteriorment, Jerome H. Friedman va desenvolpuar algoritmes explícits per problemes de regressió i classificació,[2][3] i Llew Mason, Jonathan Baxter, Peter Bartlett i Marcus Frean van desenvolupar un enfocament més generalitzat.[4] Aquests dos articles van introduir una visió dels algoritmes de potenciació com algoritmes iteratius de descens de gradient, és a dir, algoritmes que optimitzen una funció de cost sobre un espai de funcions a través d'escollir iterativament una funció que apunta a la direcció negativa del gradient. Aquesta visió dels algoritmes de potenciació ha permès el desenvolupament de nous algoritmes en moltes àrees d'aprenentatge automàtic i estadística més enllà de la classificació i regressió.