Remove ads
La optimización bayesiana es una estrategia de diseño secuencial para la optimización global de funciones de caja negra[1][2][3] que no asume ninguna forma funcional. Suele emplearse para optimizar funciones caras de evaluar.
El término se atribuye generalmente a Jonas Mockus [lt] y se acuña en su obra a partir de una serie de publicaciones sobre optimización global en las décadas de 1970 y 1980.[4][5][1]
La optimización bayesiana se utiliza normalmente en problemas de la forma , donde es un conjunto de puntos, que se basan en menos de 20 dimensiones (), y cuya pertenencia puede evaluarse fácilmente. La optimización bayesiana es especialmente ventajosa para problemas en los que es difícil de evaluar debido a su coste computacional. La función objetivo, , es continua y adopta la forma de una estructura desconocida, denominada "caja negra". Tras su evaluación, sólo se observa y sus derivadas no se evalúan.[7]
Dado que la función objetivo es desconocida, la estrategia bayesiana consiste en tratarla como una función aleatoria y colocar una prioridad sobre ella. El prior recoge las creencias sobre el comportamiento de la función. Después de recoger las evaluaciones de la función, que se tratan como datos, se actualiza la priorización para formar la distribución posterior sobre la función objetivo. La distribución posterior, a su vez, se utiliza para construir una función de adquisición (a menudo también denominada criterio de muestreo de relleno) que determina el siguiente punto de consulta.
Existen varios métodos para definir la distribución a priori/posterior sobre la función objetivo. Los dos métodos más comunes utilizan procesos gaussianos en un método denominado kriging. Otro método menos costoso utiliza el estimador de Parzen para construir dos distribuciones para los puntos "altos" y "bajos" y, a continuación, encuentra la ubicación que maximiza la mejora esperada.[8]
La optimización bayesiana estándar se basa en que cada es fácil de evaluar y los problemas que se desvían de este supuesto se conocen como problemas exóticos de optimización bayesiana. Los problemas de optimización pueden llegar a ser exóticos si se sabe que hay ruido, las evaluaciones se realizan en paralelo, la calidad de las evaluaciones depende de un compromiso entre dificultad y precisión, la presencia de condiciones ambientales aleatorias o si la evaluación implica derivadas.[7]
Remove ads
Ejemplos de funciones de adquisición:
- probabilidad de mejora
- mejora prevista
- Pérdidas esperadas bayesianas
- límites superiores de confianza (LCR) o límites inferiores de confianza
- Muestreo Thompson
Junto con híbridos de éstos.[9] Todos ellos compensan la exploración y la explotación para minimizar el número de consultas de funciones. Como tal, la optimización bayesiana es muy adecuada para funciones que son caras de evaluar.
El máximo de la función de adquisición suele encontrarse recurriendo a la discretización o mediante un optimizador auxiliar. Las funciones de adquisición suelen comportarse bien y se maximizan mediante una técnica de optimización numérica, como el método de Newton o métodos cuasi-Newton como el algoritmo Broyden-Fletcher-Goldfarb-Shanno.
El enfoque se ha aplicado para resolver una amplia gama de problemas,[10] entre los que se incluyen aprender a clasificar,[11] gráficos por computadora y diseño visual,[12][13][14] robótica,[15][16][17][18] redes de sensores,[19][20] configuración automática de algoritmos,[21][22] cajas de herramientas de aprendizaje automático de máquinas,[23][24][25] aprendizaje por refuerzo,[26] planificación, atención visual, configuración de arquitecturas en aprendizaje profundo, análisis estático de programas, física experimental de partículas,[27][28] optimización de la calidad-diversidad,[29][30][31] química, diseño de materiales y desarrollo de fármacos.[7][32][33]
Remove ads
- Bandido multibrazo
- Kriging
- Muestreo de Thompson
- Optimización global
- Diseño experimental bayesiano
- Probabilística numérica
- Óptimo de Pareto
- Dilución de regresión
- Estimación bayesiana recursiva
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
Remove ads