表示X的香农熵。此外,还可以使用其他类型的熵度量(例如雷尼熵(英语:Rényi entropy))对上述定义进行扩展。 转移熵可看作一种条件互信息(英语:Conditionalmutualinformation),其条件为受影响变量的历史值 Y t − 1 : t − L {\displaystyle Y_{t-1:t-L}} :
(compressed signal) Y 相對於來源 (original signal) X, 以及 IQ(Y ; X) 是一種互信息(MutualInformation),在 Y 與 X 之間被定義為 I ( Y ; X ) = H ( Y ) − H ( Y | X ) {\displaystyle
, X n ) {\displaystyle H(X_{1},...,X_{n})} ,於是這個接收過程給出了链式法則。 互信息(MutualInformation)是另一有用的信息度量,它是指两个事件集合之间的相关性。两个事件 X {\displaystyle X} 和 Y {\displaystyle