Энтропия Цаллиса

В статистической термодинамике энтропия Цаллиса — обобщение стандартной энтропии Больцмана—Гиббса, предложенное Константино Цаллисом (Constantino Tsallis)^[1] в 1988 г. для случая неэкстенсивных (неаддитивных) систем. Его гипотеза базируется на предположении, что сильное взаимодействие в термодинамически аномальной системе приводит к новым степеням свободы, к совершенно иной статистической физике небольцмановского типа.

Определение и основные сведения

Пусть ${\displaystyle P}$ — распределение вероятностей и ${\displaystyle \mu }$ — любая мера на ${\displaystyle X}$, для которой существует абсолютно непрерывная относительно ${\displaystyle \mu }$ функция ${\displaystyle p={\frac {dP}{d\mu }}}$. Тогда энтропия Цаллиса определяется как

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}}d\mu \right).}$

В частности, для дискретной системы, находящейся в одном из ${\displaystyle N}$ доступных состояний с распределением вероятностей ${\displaystyle P=\{p_{i}\,|\,i=1,2,...,N\}}$,

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\sum _{i=1}^{N}p_{i}^{q}\right)}$.

В случае лебеговой меры ${\displaystyle \mu =x}$, т.е. когда ${\displaystyle P}$ — непрерывное распределение с плотностью ${\displaystyle p(x)}$, заданной на множестве ${\displaystyle X}$,

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}(x)}dx\right)}$.

В этих формулах ${\displaystyle k}$ — некоторая положительная константа, которая определяет единицу измерения энтропии и в физических формулах служит для связки размерностей, как, например, постоянная Больцмана. С точки зрения задачи оптимизации энтропии данная константа является несущественной, поэтому для простоты часто полагают ${\displaystyle k=1}$.

Параметр ${\displaystyle q}$ — безразмерная величина (${\displaystyle q\in R}$), которая характеризует степень неэкстенсивности (неаддитивности) рассматриваемой системы. В пределе при ${\displaystyle q\to 1}$, энтропия Цаллиса сходится к энтропии Больцмана—Гиббса. При ${\displaystyle q>0}$ энтропия Цаллиса является вогнутым функционалом от распределения вероятностей и, как обычная энтропия, достигает максимума при равномерном распределении. При ${\displaystyle q<0}$ функционал является выпуклым и при равномерном распределении достигает минимума. Поэтому для поиска равновесного состояния изолированной системы при ${\displaystyle q>0}$ энтропию Цаллиса нужно максимизировать, а при ${\displaystyle q<0}$ — минимизировать^[2]. Значение параметра ${\displaystyle q=0}$ — это вырожденный случай энтропии Цаллиса, когда она не зависит от ${\displaystyle P}$, а зависит лишь от ${\displaystyle \mu (X)}$, т.е. от размера системы (от ${\displaystyle N}$ в дискретном случае).

В непрерывном случае иногда требуют, чтобы носитель случайной величины ${\displaystyle X}$ был безразмерным^[3]. Это обеспечивает корректность функционала энтропии с точки зрения размерности.

Исторически первыми выражение для энтропии Цаллиса (точнее, для частного её случая при ${\displaystyle k={q-1 \over 1-2^{1-q}}}$) получили Дж. Хаврда и Ф. Чарват (J. Havrda and F. Charvát)^[4] в 1967 г. Вместе с тем при ${\displaystyle q>0}$ энтропия Цаллиса является частным случаем f-энтропии^[5] (при ${\displaystyle q<0}$ f-энтропией является величина, противоположная энтропии Цаллиса).

Некоторые соотношения

Энтропия Цаллиса может быть получена из стандартной формулы для энтропии Больцмана—Гиббса путём замены используемой в ней функции ${\displaystyle \ln x}$ на функцию

${\displaystyle \ln _{q}x={x^{q-1}-1 \over q-1}}$

— так называемый q-деформированный логарифм или просто q-логарифм (в пределе при ${\displaystyle q\to 1}$ совпадающий с логарифмом)^[6]. К. Цаллис использовал^[7] несколько иную формулу q-логарифма, которая сводится к приведённой здесь заменой параметра ${\displaystyle q}$ на ${\displaystyle 2-q}$.

Ещё один способ^[7] получить энтропию Цаллиса основан на соотношении, справедливом для энтропии Больцмана—Гиббса:

${\displaystyle S(P)=-k\lim _{t\rightarrow 1}{\frac {d}{dt}}\sum _{i=1}^{N}p_{i}^{t}}$.

Нетрудно видеть, что если заменить в этом выражении обычную производную на q-производную (известную также как производная Джексона), получается энтропия Цаллиса:

${\displaystyle S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt}}\right)_{q}\sum _{i=1}^{N}p_{i}^{t}}$.

Аналогично для непрерывного случая:

${\displaystyle S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt}}\right)_{q}\int \limits _{X}^{}{p^{t}(x)}dx}$.

Альтернативное определение

Оригинальное определение энтропии Цаллиса является не очень удачным из-за необходимости по-разному работать с функционалом в зависимости от знака ${\displaystyle q}$, а также из-за того, что при ${\displaystyle q<0}$ не выполняется базовое свойство возрастания энтропии при приближении системы к равновесному состоянию. В связи с этим более удобным является следующее определение энтропии Цаллиса, известное также как α-энтропия^[8], являющаяся частным случаем f-энтропии:

${\displaystyle S_{q}(P)={k \over q(q-1)}\left(1-\int \limits _{X}^{}{p^{q}}d\mu \right).}$

α-энтропия в пределе при ${\displaystyle q\rightarrow 0}$ с точностью до несущественного слагаемого эквивалентна энтропии Берга

${\displaystyle S_{0}(P)=k\int \limits _{X}^{}{\ln p\,d\mu }.}$

Нетрудно видеть, что оригинальное и альтернативное определение энтропии Цаллиса эквивалентны с точностью до значения ${\displaystyle k}$, кроме случая ${\displaystyle q=0}$.

Неэкстенсивность (неаддитивность)

Пусть имеются две независимых системы ${\displaystyle A}$ и ${\displaystyle B}$, т.е. такие системы, что в дискретном случае совместная вероятность появления двух любых состояний ${\displaystyle a\in A}$ и ${\displaystyle b\in B}$ в этих системах равна произведению соответствующих вероятностей:

${\displaystyle \operatorname {Prob} (a,b)=\operatorname {Prob} (a)\operatorname {Prob} (b)}$,

а в непрерывном — совместная плотность распределения вероятностей равна произведению соответствующих плотностей:

${\displaystyle p_{AB}(x,y)=p_{A}(x)p_{B}(y)}$,

где ${\displaystyle x\in X}$, ${\displaystyle y\in Y}$ — области значений случайной величины в системах ${\displaystyle A}$ и ${\displaystyle B}$ соответственно.

В отличие от энтропии Больцмана—Гиббса и энтропии Реньи, энтропия Цаллиса, вообще говоря, не обладает аддитивностью, и для совокупности систем справедливо^[7]

${\displaystyle S_{q}(AB)=S_{q}(A)+S_{q}(B)+{1-q \over k}S_{q}(A)S_{q}(B)}$.

Поскольку условие аддитивности для энтропии имеет вид

${\displaystyle S(AB)=S(A)+S(B)}$,

отклонение параметра ${\displaystyle q}$ от ${\displaystyle 1}$ характеризует неэкстенсивность (неаддитивность) системы. Энтропия Цаллиса является экстенсивной только при ${\displaystyle q=1}$.

Дивергенция Цаллиса

Наряду с энтропией Цаллиса, рассматривают также семейство несимметричных мер расхождения (дивергенций) Цаллиса между распределениями вероятностей с общим носителем. Для двух дискретных распределений с вероятностями ${\displaystyle A=\{a_{i}\}}$ и ${\displaystyle B=\{b_{i}\}}$, ${\displaystyle i=1,2,...,N}$, дивергенция Цаллиса определяется как^[9]

${\displaystyle D_{q}(A,B)={k \over q-1}\left(\sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}-1\right)}$.

В непрерывном случае, если распределения ${\displaystyle A}$ и ${\displaystyle B}$ заданы плотностями ${\displaystyle a(x)}$ и ${\displaystyle b(x)}$ соответственно, где ${\displaystyle x\in X}$,

${\displaystyle D_{q}(A,B)={k \over q-1}\left(\int \limits _{X}^{}{a^{q}(x)b^{1-q}(x)}dx-1\right)}$.

В отличие от энтропии Цаллиса, дивергенция Цаллиса определена при ${\displaystyle q>0}$. Несущественная положительная константа ${\displaystyle k}$ в этих формулах, как и для энтропии, задаёт единицу измерения дивергенции и часто опускается (полагается равной ${\displaystyle 1}$). Дивергенция Цаллиса является частным случаем α-дивергенции^[10] (с точностью до несущественной мультипликативной константы) и, как α-дивергенция, является выпуклой по обоим аргументам при всех ${\displaystyle q>0}$. Дивергенция Цаллиса также является частным случаем f-дивергенции. α-дивергенция может служить обобщением дивергенции Цаллиса на все ${\displaystyle q\in R}$.

Дивергенция Цаллиса может быть получена из формулы для дивергенции Кульбака—Лейблера путём подстановки в неё q-деформированного логарифма, определённого выше, вместо функции ${\displaystyle \ln x}$. В пределе при ${\displaystyle q\to 1}$ дивергенция Цаллиса сходится к дивергенции Кульбака—Лейблера.

Связь формализмов Реньи и Цаллиса

Энтропия Реньи и энтропия Цаллиса эквивалентны^[9][11] с точностью до монотонного преобразования, не зависящего от распределения состояний системы. То же касается соответствующих дивергенций. Рассмотрим, к примеру, энтропию Реньи для системы ${\displaystyle P}$ с дискретным набором состояний ${\displaystyle \{p_{i}|i=1,2,...,N\}}$:

${\displaystyle {\widetilde {S}}_{q}(P)={{\widetilde {k}} \over 1-q}\ln \sum _{i=1}^{N}p_{i}^{q}}$, ${\displaystyle q\geq 0}$.

Дивергенция Реньи для дискретных распределений с вероятностями ${\displaystyle A=\{a_{i}\}}$ и ${\displaystyle B=\{b_{i}\}}$, ${\displaystyle i=1,2,...,N}$:

${\displaystyle {\widetilde {D}}_{q}(A,B)={{\widetilde {k}} \over q-1}\ln \sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}}$, ${\displaystyle q>0}$.

В этих формулах положительная константа ${\displaystyle {\widetilde {k}}}$ имеет тот же смысл, что и ${\displaystyle k}$ в формализме Цаллиса.

Нетрудно видеть, что

${\displaystyle S_{q}(P)=T_{2-q}({\widetilde {S}}_{q}(P))}$,

${\displaystyle D_{q}(A,B)=T_{q}({\widetilde {D}}_{q}(A,B))}$,

где функция

${\displaystyle T_{q}(x)=k{\exp(x(q-1)/{\widetilde {k}})-1 \over q-1}}$

определена на всей числовой оси и непрерывно возрастает по ${\displaystyle x}$ (при ${\displaystyle q=1}$ полагаем ${\displaystyle T_{q}(x)={k \over {\widetilde {k}}}x}$). Приведённые соотношения имеют место и в непрерывном случае.

Несмотря на наличие этой связи, следует помнить, что функционалы в формализмах Реньи и Цаллиса обладают разными свойствами:

• энтропия Цаллиса, вообще говоря, не аддитивна, тогда как энтропия Реньи аддитивна при всех ${\displaystyle q}$ (при ${\displaystyle q\leq 0}$ подразумевается обобщённое выражение для энтропии Реньи);
• энтропия и дивергенция Цаллиса являются вогнутыми или выпуклыми (кроме ${\displaystyle q=0}$), тогда как энтропия и дивергенция Реньи, вообще говоря, не обладают ни тем, ни другим свойством^[12].

Примечания

1. Tsallis, C. Possible generalization of Boltzmann-Gibbs statistics (англ.) // Journal of Statistical Physics^[англ.] : journal. — 1988. — Vol. 52. — P. 479—487. — doi:10.1007/BF01016429. — Bibcode: 1988JSP....52..479T.
2. Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с. Архивировано 18 мая 2021 года.
3. Plastino A., Plastino A. R. Tsallis Entropy and Jaynes' Information Theory Formalism // Brazilian Journal of Physics. — 1999. — Т. 29. — С. 1—35. Архивировано 12 мая 2021 года.
4. Havrda, J.; Charvát, F. Quantification method of classification processes. Concept of structural α-entropy (англ.) // Kybernetika : journal. — 1967. — Vol. 3, no. 1. — P. 30—35. Архивировано 10 декабря 2020 года.
5. Csiszár I. A class of measures of informativity of observation channels. // Periodica Math. Hungar. — 1972. — Т. 2. — С. 191—213.
6. Oikonomou T., Bagci G. B. A note on the definition of deformed exponential and logarithm functions // Journal of Mathematical Physics. — 2009. — Т. 50, вып. 10. — С. 1—9. Архивировано 12 мая 2021 года.
7. Tsallis C. Nonextensive statistics: Theoretical, experimental and computational evidences and connections // Brazilian Journal of Physics. — 1999. — Т. 29, вып. 1. — С. 53. Архивировано 12 мая 2021 года.
8. Cichocki A., Amari S.-I. Families of alpha- beta- and gamma-divergences: flexible and robust measures of similarities // Entropy. — 2010. — Т. 12, вып. 6. — С. 1532—1568. Архивировано 11 апреля 2023 года.
9. Nielsen F., Nock R. On Renyi and Tsallis entropies and divergences for exponential families // arXiv:1105.3259. — 2011. — С. 1—7. Архивировано 12 мая 2021 года.
10. Waters A. Alpha divergence // STAT 631 / ELEC 633:Graphical Models. — Rice Univercity, 2008. — С. 1—4. Архивировано 25 февраля 2021 года.
11. Sonnino G., Steinbrecher G.Sonnino A. The Rényi entropy of Lévy distribution // Physics AUC. — 2013. — Т. 23. — С. 10—17. Архивировано 2 февраля 2019 года.
12. Xu D., Erdogmuns D. Renyi’s Entropy, Divergence and Their Nonparametric Estimator // J.C. Principe, Information Theoretic Learning: Renyi’s Entropy and Kernel Perspectives. — Springer Science+Business Media, LLC, 2010. — С. 47—102. Архивировано 2 февраля 2019 года.