Negentropía

En teoría de la información y estadística , la entropía negativa se utiliza como medida de distancia a la normalidad . También se la conoce como negentropía o sintropía . Es un contra-constructo de la entropía .

El concepto y la frase « entropía negativa » fueron introducidos por Erwin Schrödinger en su libro de 1944 , ¿Qué es la vida? ^{[ 1 ]} Posteriormente, el físico francés Léon Brillouin acortó la frase a néguentropie ( transl. negentropía ). ^{[ 2 ] [ 3 ]} En 1974, Albert Szent-Györgyi propuso reemplazar el término negentropía por sintropía (griego, «junto con el cambio»). Este término pudo haberse originado en la década de 1940 con el matemático italiano Luigi Fantappiè , quien intentó construir una teoría unificada de la biología y la física . Buckminster Fuller intentó popularizar este uso, pero negentropía sigue siendo común.

En una nota a la revista ¿Qué es la vida?, Schrödinger explicó el uso que le daba a esta frase:

Si me hubiera dirigido exclusivamente a ellos [los físicos], habría centrado la discusión en la energía libre . Es el concepto más familiar en este contexto. Sin embargo, este término tan técnico parecía lingüísticamente demasiado cercano a energía como para que el lector promedio comprendiera el contraste entre ambos conceptos.

En teoría de la información y estadística , la negentropía se utiliza como medida de distancia a la normalidad. ^{[ 4 ] [ 5 ] [ 6 ]} De entre todas las distribuciones de probabilidad con una media y varianza dadas, la distribución gaussiana o normal es la que presenta la mayor entropía . La negentropía mide la diferencia de entropía entre una distribución dada y la distribución gaussiana con la misma media y varianza. Por lo tanto, la negentropía siempre es no negativa, es invariante ante cualquier cambio lineal invertible de coordenadas y se anula si y solo si la señal es gaussiana.

La negentropía se define como

${\displaystyle J(Y)=h(Y_{G})-h(Y),}$

dónde${\displaystyle h(Y_{G})={\tfrac {1}{2}}\log \left(2\pi \mathrm {e} \cdot \sigma ^{2}\right)}$es la entropía diferencial de una distribución normal${\displaystyle Y_{G}\sim N(\mu ,\sigma ^{2})}$con la misma media${\displaystyle \mu }$y varianza${\displaystyle \sigma ^{2}}$como${\displaystyle Y}$, y${\displaystyle h(Y)}$es la entropía diferencial de${\displaystyle Y}$, con${\displaystyle p_{Y}}$como su función de densidad de probabilidad :

${\displaystyle h(Y)=-\int p_{Y}(u)\log p_{Y}(u)\,\mathrm {d} u}$

La negentropía se utiliza en estadística y procesamiento de señales . Está relacionada con la entropía de red , que se utiliza en el análisis de componentes independientes . ^{[ 7 ] [ 8 ]}

La negentropía de una distribución es igual a la divergencia de Kullback-Leibler entre${\displaystyle Y}$y una distribución gaussiana con la misma media y varianza que${\displaystyle Y}$(Véase la demostración en la sección «Maximización de la entropía diferencial  en la distribución normal »):$${\displaystyle J(Y)=D_{KL}(Y\ \Vert \ Y_{G})}$$En particular, siempre es no negativo (a diferencia de la entropía diferencial, que puede ser negativa).

Existe una magnitud física estrechamente ligada a la energía libre ( entalpía libre ), con una unidad de entropía e isomorfa a la negentropía, conocida en estadística y teoría de la información. En 1873, Willard Gibbs creó un diagrama que ilustra el concepto de energía libre correspondiente a la entalpía libre . En el diagrama se puede observar la magnitud denominada capacidad de entropía . Esta magnitud es la cantidad de entropía que puede incrementarse sin cambiar la energía interna ni aumentar su volumen. ^{[ 9 ]} En otras palabras, es la diferencia entre la entropía máxima posible, bajo ciertas condiciones, y su entropía real. Corresponde exactamente a la definición de negentropía adoptada en estadística y teoría de la información. Una magnitud física similar fue introducida en 1869 por Massieu para el proceso isotérmico ^{[ 10 ] [ 11 ] [ 12 ]} (ambas magnitudes difieren solo en el signo de la cifra) y por Planck para el proceso isotérmico - isobárico . ^{[ 13 ]} Más recientemente, se ha demostrado que el potencial termodinámico de Massieu-Planck , también conocido como entropía libre , desempeña un papel importante en la denominada formulación entrópica de la mecánica estadística , ^{[ 14 ]} aplicada, entre otros campos, en biología molecular ^{[ 15 ]} y en procesos termodinámicos de no equilibrio. ^{[ 16 ]}

${\displaystyle J=S_{\max }-S=-\Phi =-k\ln Z\,}$

dónde:

${\displaystyle S}$es la entropía

${\displaystyle J}$es negentropía (Gibbs "capacidad de entropía")

${\displaystyle \Phi }$es el potencial de Massieu

${\displaystyle Z}$es la función de partición

${\displaystyle k}$la constante de Boltzmann

En particular, matemáticamente la negentropía (la función de entropía negativa, en física interpretada como entropía libre) es el conjugado convexo de LogSumExp (en física interpretado como energía libre).

En 1953, Léon Brillouin derivó una ecuación general ^{[ 17 ]} que establece que el cambio del valor de un bit de información requiere al menos${\displaystyle kT\ln 2}$energía. Esta es la misma energía que produce el trabajo de la máquina de Leó Szilárd en el caso ideal. En su libro, ^{[ 18 ]} exploró más a fondo este problema y concluyó que cualquier causa de este cambio de valor de bit (medición, decisión sobre una pregunta de sí/no, borrado, visualización, etc.) requerirá la misma cantidad de energía.

• Exergía
• entropía libre
• Entropía en termodinámica y teoría de la información.