K vecinos más próximos

El método de los k vecinos más cercanos (en inglés: k-nearest neighbors, abreviado ${\displaystyle k}$-nn)^[1] es un método de clasificación supervisada (Aprendizaje, estimación basada en un conjunto de formación y prototipos) que sirve para estimar la función de densidad ${\displaystyle F(x/Cj)}$ de las predictoras ${\displaystyle x}$ por cada clase ${\displaystyle C_{j}}$.

Este es un método de clasificación no paramétrico, que estima el valor de la función de densidad de probabilidad o directamente la probabilidad a posteriori de que un elemento ${\displaystyle x}$ pertenezca a la clase ${\displaystyle C_{j}}$ a partir de la información proporcionada por el conjunto de prototipos. En el proceso de aprendizaje no se hace ninguna suposición acerca de la distribución de las variables predictoras.

En el reconocimiento de patrones, el algoritmo ${\displaystyle k}$-nn es usado como método de clasificación de objetos (elementos) basado en una formación mediante ejemplos cercanos en el espacio de los elementos. ${\displaystyle k}$-nn es un tipo de aprendizaje vago (lazy learning), donde la función se aproxima solo localmente y todo el cómputo es diferido a la clasificación. La normalización de datos puede mejorar considerablemente la exactitud del algoritmo ${\displaystyle k}$-nn.^[2][3]

Algoritmo

Ejemplo del algoritmo Knn. El ejemplo que se desea clasificar es el círculo verde. Para k = 3 este es clasificado con la clase triángulo, ya que hay solo un cuadrado y 2 triángulos, dentro del círculo que los contiene. Si k = 5 este es clasificado con la clase cuadrado, ya que hay 2 triángulos y 3 cuadrados, dentro del círculo externo.

Los ejemplos de formación son vectores en un espacio característico multidimensional, cada ejemplo está descrito en términos de ${\displaystyle p}$ atributos considerando ${\displaystyle q}$ clases para la clasificación. Los valores de los atributos del ${\displaystyle i}$-ésimo ejemplo (donde ${\displaystyle 1\leq i\leq n}$) se representan por el vector ${\displaystyle p}$-dimensional

${\displaystyle x_{i}=(x_{1i},x_{2i},...,x_{pi})\in X}$

El espacio es particionado en regiones por localizaciones y etiquetas de los ejemplos de formación. Un punto en el espacio es asignado a la clase ${\displaystyle C}$ si esta es la clase más frecuente entre los k ejemplos de formación más cercanos. Generalmente se usa la distancia euclidiana.

${\displaystyle d(x_{i},x_{j})={\sqrt {\sum _{r=1}^{p}(x_{ri}-x_{rj})^{2}}}}$

La fase de formación del algoritmo consiste en almacenar los vectores característicos y las etiquetas de las clases de los ejemplos de formación. En la fase de clasificación, la evaluación del ejemplo (del que no se conoce su clase) es representada por un vector en el espacio característico. Se calcula la distancia entre los vectores almacenados y el nuevo vector, y se seleccionan los ${\displaystyle k}$ ejemplos más cercanos. El nuevo ejemplo es clasificado con la clase que más se repite en los vectores seleccionados.

Este método supone que los vecinos más cercanos nos dan la mejor clasificación y esto se hace utilizando todos los atributos; el problema de dicha suposición es que es posible que se tengan muchos atributos irrelevantes que dominen sobre la clasificación: dos atributos relevantes perderían peso entre otros veinte irrelevantes.

Para corregir el posible sesgo se puede asignar un peso a las distancias de cada atributo, dándole así mayor importancia a los atributos más relevantes. Otra posibilidad consiste en tratar de determinar o ajustar los pesos con ejemplos conocidos de formación. Finalmente, antes de asignar pesos es recomendable identificar y eliminar los atributos que se consideran irrelevantes.

En síntesis, el método ${\displaystyle k}$-nn se resume en dos algoritmos:

Algoritmo de formación

Para cada ejemplo ${\displaystyle \langle x,f(x)\rangle }$ , donde ${\displaystyle x\in X}$, agregar el ejemplo a la estructura representando los ejemplos de aprendizaje.

Algoritmo de clasificación

Dado un ejemplar ${\displaystyle x_{q}}$ que debe ser clasificado, sean ${\displaystyle x_{1},...,x_{k}}$ los ${\displaystyle k}$ vecinos más cercanos a ${\displaystyle x_{q}}$ en los ejemplos de aprendizaje, regresar

${\displaystyle {\hat {f}}(x)\leftarrow \arg \max _{v\in V}\sum _{i=1}^{k}[v=f(x_{i})]}$

donde usamos la notación de corchete de Iverson.

El valor ${\displaystyle {\hat {f}}(x_{q})}$ devuelto por el algoritmo como un estimador de ${\displaystyle f(x_{q})}$ es solo el valor más común de ${\displaystyle f}$ entre los ${\displaystyle k}$ vecinos más cercanos a ${\displaystyle x_{q}}$. Si elegimos ${\displaystyle k=1}$; entonces el vecino más cercano a ${\displaystyle x_{i}}$ determina su valor.

Elección del k {\displaystyle k}

La mejor elección de ${\displaystyle k}$ depende fundamentalmente de los datos; generalmente, valores grandes de ${\displaystyle k}$ reducen el efecto de ruido en la clasificación, pero crean límites entre clases parecidas. Un buen ${\displaystyle k}$ puede ser seleccionado mediante una optimización de uso. El caso especial en que la clase es predicha para ser la clase más cercana al ejemplo de formación (cuando ${\displaystyle k=1}$) es llamada Nearest Neighbor Algorithm, Algoritmo del vecino más cercano.

La exactitud de este algoritmo puede ser severamente degradada por la presencia de ruido o características irrelevantes, o si las escalas de características no son consistentes con lo que uno considera importante. Muchas investigaciones y esfuerzos fueron puestos en la selección y crecimiento de características para mejorar las clasificaciones. Particularmente una aproximación en el uso de algoritmos que evolucionan para optimizar características de escalabilidad. Otra aproximación consiste en escalar características por la información mutua de los datos de formación con las clases de formación.

Posibles variantes del algoritmo básico

Vecinos más cercanos con distancia ponderada

Se puede ponderar la contribución de cada vecino de acuerdo a la distancia entre él y el ejemplar a ser clasificado ${\displaystyle x_{q}}$, dando mayor peso a los vecinos más cercanos. Por ejemplo podemos ponderar el voto de cada vecino de acuerdo al cuadrado inverso de sus distancias

${\displaystyle {\hat {f}}(x_{q})\leftarrow \arg \max _{v\in V}\sum _{i=1}^{k}w_{i}[v=f(x_{i})]}$

donde

${\displaystyle w_{i}\equiv {\frac {1}{d(x_{q},x_{i})^{2}}}}$

De esta manera se ve que no hay riesgo de permitir a todos los ejemplos formación contribuir a la clasificación de ${\displaystyle x_{q}}$, ya que al ser muy distantes no tendrían peso asociado. La desventaja de considerar todos los ejemplos sería su lenta respuesta (método global). Se quiere siempre tener un método local en el que solo los vecinos más cercanos son considerados.

Esta mejora es muy efectiva en muchos problemas prácticos. Es robusto ante los ruidos de datos y suficientemente efectivo en conjuntos de datos grandes. Se puede ver que al tomar promedios ponderados de los ${\displaystyle k}$ vecinos más cercanos el algoritmo puede evitar el impacto de ejemplos con ruido aislados.

Regresión k {\displaystyle k} -nn

Como otras regresiones se trata de un algoritmo para estimar una variable continua ${\displaystyle X}$. El conjunto de formación es una muestra ${\displaystyle M}$ de un espacio métrico (vectorial) ${\displaystyle V}$. El modelo formado es una función ${\displaystyle {\overline {X}}}$ que a cada elemento ${\displaystyle v\in V}$ fuera de ${\displaystyle M}$ asigna la media de ${\displaystyle \lbrace X(m_{i})\mid 1\leq i\leq k\rbrace }$ donde los puntos ${\displaystyle \lbrace m_{i}\mid 1\leq i\leq k\rbrace }$ son los ${\displaystyle k}$ elementos de la muestra más próximos a ${\displaystyle v}$.

Referencias

1. Fix, E.; Hodges, J.L. (1989). «(1951): An Important Contribution to Nonparametric Discriminant Analysis and Density Estimation: Commentary on Fix and Hodges (1951)». International Statistical Review / Revue Internationale de Statistique 57 (3): 233-238. doi:10.2307/1403796..
2. Piryonesi, S. Madeh; El-Diraby, Tamer E. (2020-06). «Role of Data Analytics in Infrastructure Asset Management: Overcoming Data Size and Quality Problems». Journal of Transportation Engineering, Part B: Pavements (en inglés) 146 (2): 04020022. ISSN 2573-5438. doi:10.1061/JPEODX.0000175. Consultado el 7 de agosto de 2020.
3. Hastie, Trevor.; Friedman, J. H. (Jerome H.) (2001). The elements of statistical learning : data mining, inference, and prediction : with 200 full-color illustrations. Springer. ISBN 0-387-95284-5. OCLC 46809224. Consultado el 7 de agosto de 2020.

• Datos: Q1071612