Loading AI tools
De Wikipedia, la enciclopedia libre
En teoría de la probabilidad, y en teoría de la información, la información mutua o transinformación o ganancia de información de dos variables aleatorias es una cantidad que mide la dependencia estadística entre ambas variables. Más precisamente, mide la información o reducción de la incertidumbre (entropía) de una variable aleatoria, , debido al conocimiento del valor de otra variable aleatoria .[1]
No se limita a variables en números reales ni a relaciones lineales, por lo que la información mutua es más general que el coeficiente de correlación de Pearson. La información mutua también puede entenderse como el valor esperado (la media) de la información mutua puntual, o como la diferencia de la distribución conjunta () y el producto de las distribuciones marginales ().
Esta cantidad fue definida y analizada por Claude Shannon en su trabajo seminal, "A Mathematical Theory of Communication", aunque él no la llamó "información mutua". El término fue acuñado más tarde por Robert Fano.[2]
Consideremos dos variables aleatorias X e Y con posibles valores xi, i=1,2,...,n, yj, j=1,2,...,m respectivamente. Podemos usar la notación y
Podemos definir la información mutua entre y como:[3]
La unidad del concepto está determinado por la base del logaritmo usado. Se suelen usar logaritmos base dos, por tanto, la unidad de medida más común es el bit.
De la propia definición podemos concluir que ya que:
La información mutua media mide la información mutua media que se produce entre los distintos valores de dos variables aleatorias. Para ello proporcionamos un peso a los valores de sobre la base de la probabilidad de ocurrencia. Por tanto, la información mutua media de dos variables aleatorias discretas X e Y puede definirse como:[3]
En el caso continuo, reemplazamos la suma con una integral doble definida:
Como en el caso de , la unidad del concepto está determinado por la base del logaritmo usado Se suele usar el logaritmo con base dos y por tanto la unidad más común es el bit.
Intuitivamente, la información mutua media mide la información que X e Y comparten: mide en cuánto el conocimiento de una variable reduce nuestra incertidumbre sobre la otra. Por ejemplo, si X e Y son independientes, entonces conocer X no da información sobre Y y viceversa, por lo que su información mutua es cero. En el otro extremo, si X e Y son idénticas entonces toda información proporcionada por X es compartida por Y: saber X determina el valor de Y y viceversa. Por ello, la información mutua media es igual a la información contenida en Y (o X) por sí sola, también llamada la entropía de Y (o X: claramente si X e Y son idénticas tienen idéntica entropía).
La información mutua media cuantifica la dependencia entre la distribución conjunta de X e Y y la que tendrían si X e Y fuesen independientes. La información mutua media es una medida de dependencia en el siguiente sentido: I(X; Y) = 0 si y sólo si X e Y son variables aleatorias independientes. Esto es fácil de ver en una dirección: si X e Y son independientes, entonces p(x,y) = p(x) p(y), y por tanto:
La información mutua media cumple las siguientes propiedades:[3][4]
El valor de la información mutua media se puede obtener a partir del concepto de entropía. usando las definiciones matemáticas de las entropías H(X), H(X,Y) y H(X|Y)
obtenemos
De lo anterior y de la propiedad de las entropías
obtenemos
Por tanto,
lo que indica que la entropía es un tipo especial de información mutua media
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.