Dilema sesgo-varianza
De Wikipedia, la enciclopedia encyclopedia
En estadística y aprendizaje automático, el dilema entre sesgo y varianza describe la relación entre la complejidad de un modelo, la exactitud de sus predicciones y su capacidad para realizar predicciones sobre datos no observados previamente que no se utilizaron para entrenar el modelo. En general, a medida que aumentamos el número de parámetros ajustables en un modelo, éste se vuelve más flexible y puede ajustarse mejor a un conjunto de datos de entrenamiento. Se dice que tiene menos error o sesgo. Sin embargo, para los modelos más flexibles, tenderá a haber una mayor varianza en el ajuste del modelo cada vez que tomemos un conjunto de muestras para crear un nuevo conjunto de datos de entrenamiento. Se dice que hay una mayor varianza en los parámetros estimados del modelo.
El dilema sesgo-varianza o problema sesgo-varianza es el conflicto al intentar minimizar simultáneamente estas dos fuentes de error que impiden a los algoritmos de aprendizaje supervisado generalizar más allá de su conjunto de entrenamiento:[1][2]
- El error de sesgo es un error derivado de suposiciones erróneas en el algoritmo de aprendizaje. Un sesgo elevado puede hacer que un algoritmo no detecte las relaciones relevantes entre las características y las salidas objetivo (infraajuste).
- La varianza es un error de sensibilidad a pequeñas fluctuaciones en el conjunto de entrenamiento. Una varianza elevada puede deberse a que un algoritmo modele el ruido aleatorio de los datos de entrenamiento (sobreajuste).
La descomposición sesgo-varianza es una forma de analizar el error de generalización esperado de un algoritmo de aprendizaje con respecto a un problema concreto como una suma de tres términos, el sesgo, la varianza y una cantidad denominada error irreducible, resultante del ruido en el propio problema.