转移熵（英语：transfer entropy）是测量两个随机过程之间有向（时间不对称）信息转移量的一种非参数统计量。[1][2][3]过程X到另一个过程Y的转移熵可定义为：在已知Y过去值的情况下，了解X的过去值所能减少Y未来值不确定性的程度。更具体地说，假定和（）表示两个随机过程，并用香农熵来度量信息量，则转移熵可定义为：
其中H ( X ) 表示X的香农熵。此外，还可以使用其他类型的熵度量（例如雷尼熵）对上述定义进行扩展。[3][4]
转移熵可看作一种条件互信息[5][6]，其条件为受影响变量的历史值：
对向量自回归过程而言，转移熵可简化为格兰杰因果关系。[7] 因而，转移熵适用于非线性信号分析等格兰杰因果关系的模型假设不成立的场合。[8][9]然而，它通常需要更多的样本才能进行准确估计。[10]熵公式中的概率可以使用分箱、最近邻等不用方法来估计，或为了降低复杂性而使用非均匀嵌入方法。[11]虽然转移熵的原始定义是建立在双变量分析基础上的，但后来也扩展到多变量分析中。这种扩展可以以其他潜在源变量为条件[12] ，或考虑从一组源进行转移[13]，不过这些都需要更多的样本。
转移熵被用于估计神经元的功能连接[13][14][15]、社交网络中的社会影响[8]以及武装冲突事件之间的统计因果关系等。[16]转移熵是有向信息的有限形式，于1990年由詹姆斯·马西[17]定义为，其中表示向量，则表示 。有向信息在描述具有或没有反馈的通信信道的基本极限（信道容量）中起着关键作用。[18][19]
参见
参考文献
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
