Complejidad de la fluctuación de la información

La complejidad de fluctuación de la información es una cantidad teórica de la información definida como la fluctuación de la información sobre la entropía . Se deriva de las fluctuaciones en el predominio del orden y el caos en un sistema dinámico y se ha utilizado como medida de complejidad en muchos campos diversos. Fue introducida en un artículo de 1993 por Bates yPastor. ^[1]

La complejidad de fluctuación de la información de un sistema dinámico discreto es una función de la distribución de probabilidad de sus estados cuando está sujeto a datos de entrada externos aleatorios. El propósito de controlar el sistema con una fuente de información rica, como un generador de números aleatorios o una señal de ruido blanco, es investigar la dinámica interna del sistema de la misma manera que se utiliza un impulso rico en frecuencia en el procesamiento de señales .

Si un sistema tiene estados posibles y se conocen las probabilidades de los estados , entonces su entropía de información es ${\estilo de visualización N}$ $estilo de visualización p_{i}}$

${\displaystyle \mathrm {H} =\suma _{i=1}^{N}p_{i}I_{i}=-\suma _{i=1}^{N}p_{i}\log p_{i},}$

¿Dónde está el contenido de información del estado ? ${\textstyle I_{i}=-\log p_{i}}$${\estilo de visualización i}$

La complejidad de fluctuación de la información del sistema se define como la desviación estándar o fluctuación de su media : ${\displaystyle I}$${\displaystyle \mathrm {H}}$

${\displaystyle \sigma _{I}={\sqrt {\sum _{i=1}^{N}p_{i}(I_{i}-\mathrm {H} )^{2}}}={\sqrt {\sum _{i=1}^{N}p_{i}I_{i}^{2}-\mathrm {H} ^{2}}}}$

o

${\displaystyle \sigma _{I}={\sqrt {\sum _{i=1}^{N}p_{i}\log ^{2}p_{i}-{\Biggl (}\sum _{i=1}^{N}p_{i}\log p_{i}{\Biggr )}^{2}}}.}$

La fluctuación de la información de estado es cero en un sistema máximamente desordenado con todos ; el sistema simplemente imita sus entradas aleatorias. también es cero si el sistema está perfectamente ordenado con un solo estado fijo , independientemente de las entradas. no es cero entre estos dos extremos con una mezcla de estados de mayor probabilidad y estados de menor probabilidad que pueblan el espacio de estados . ${\displaystyle \sigma _{I}}$${\textstyle p_{i}={\frac {1}{N}}}$${\displaystyle \sigma _{I}}$${\textstyle (p_{1}=1)}$${\displaystyle \sigma _{I}}$

A medida que un sistema dinámico complejo evoluciona con el tiempo, la forma en que pasa de un estado a otro depende de los estímulos externos de forma irregular. A veces puede ser más sensible a los estímulos externos (inestable) y otras veces menos sensible (estable). Cuando un estado dado tiene múltiples estados siguientes posibles, la información externa determina cuál será el siguiente y el sistema obtiene esta información siguiendo una trayectoria particular en el espacio de estados. Sin embargo, si varios estados diferentes conducen todos al mismo estado siguiente, entonces al entrar en el siguiente estado el sistema pierde información sobre qué estado lo precedió. Por lo tanto, un sistema complejo exhibe una ganancia y pérdida de información alternada a medida que evoluciona con el tiempo. Esta alternancia o fluctuación de información es equivalente a recordar y olvidar (almacenamiento o memoria de información temporal), una característica esencial de la computación no trivial.

La ganancia o pérdida de información asociada con las transiciones entre estados puede estar relacionada con la información de estado. La ganancia de información neta de una transición de un estado a otro es la información obtenida al salir del estado menos la información perdida al entrar en el estado : ${\estilo de visualización i}$${\estilo de visualización j}$${\estilo de visualización i}$${\estilo de visualización j}$

${\displaystyle \Gamma _{ij}=-\log p_{i\rightarrow j}+\log p_{i\leftarrow j}.}$

Aquí está la probabilidad condicional hacia delante de que si el estado actual es entonces el siguiente estado será y es la probabilidad condicional inversa de que si el estado actual es entonces el estado anterior fue . Las probabilidades condicionales están relacionadas con la probabilidad de transición , la probabilidad de que ocurra una transición de un estado a otro , por: ${\textstyle p_{i\rightarrow j}}$${\estilo de visualización i}$${\estilo de visualización j}$${\textstyle p_{i\leftarrow j}}$${\estilo de visualización j}$${\estilo de visualización i}$ ${\displaystyle p_{ij}}$${\displaystyle i}$${\displaystyle j}$

${\displaystyle p_{ij}=p_{i}p_{i\rightarrow j}=p_{i\leftarrow j}p_{j}.}$

Eliminando las probabilidades condicionales:

${\displaystyle \Gamma _{ij}=-\log(p_{ij}/p_{i})+\log(p_{ij}/p_{j})=\log p_{i}-\log p_{j}=I_{j}-I_{i}.}$

Por lo tanto, la información neta obtenida por el sistema como resultado de la transición depende únicamente del aumento de la información de estado desde el estado inicial al final. Se puede demostrar que esto es cierto incluso para múltiples transiciones consecutivas.transiciones. ^[1]

${\textstyle \Gamma =\Delta I}$es reminiscente de la relación entre fuerza y ​​energía potencial . es como potencial y es como fuerza en . La información externa “empuja” un sistema “cuesta arriba” a un estado de mayor potencial de información para lograr el almacenamiento de información, de manera muy similar a empujar una masa cuesta arriba a un estado de mayor potencial gravitacional que almacena energía. La cantidad de energía almacenada depende solo de la altura final, no del camino cuesta arriba. De manera similar, la cantidad de información almacenada no depende del camino de transición entre un estado común inicial y un estado raro final. Una vez que un sistema alcanza un estado raro con alto potencial de información, puede "caer" de nuevo a un estado común, perdiendo la información previamente almacenada. ${\displaystyle I}$${\displaystyle \Phi }$${\displaystyle \Gamma }$${\displaystyle \mathbf {F} }$${\textstyle \mathbf {F} ={\nabla \Phi }}$

Puede ser útil calcular la desviación estándar de su media (que es cero), es decir, la fluctuación de la ganancia neta de información.${\displaystyle \Gamma }$ ${\displaystyle \sigma _{\Gamma }}$, ^[1]pero tiene en cuenta los bucles de memoria de múltiples transiciones en el espacio de estados y, por lo tanto, debería ser más indicativo de la potencia computacional de un sistema. Además, es más fácil de aplicar porque puede haber muchas más transiciones que estados. ${\displaystyle \sigma _{I}}$${\displaystyle \sigma _{I}}$

Un sistema dinámico sensible a la información externa (inestable) exhibe un comportamiento caótico , mientras que uno insensible a la información externa (estable) exhibe un comportamiento ordenado. Un sistema complejo exhibe ambos comportamientos, fluctuando entre ellos en equilibrio dinámico cuando está sujeto a una fuente rica de información. El grado de fluctuación se cuantifica mediante ; captura la alternancia en el predominio del caos y el orden en un sistema complejo a medida que evoluciona con el tiempo. ${\displaystyle \sigma _{I}}$

Fuente: ^[2]

Se ha demostrado que la variante de la regla 110 del autómata celular elemental es capaz de realizar cálculos universales . La prueba se basa en la existencia e interacción de patrones celulares cohesivos y autoperpetuantes conocidos como planeadores , que son ejemplos de fenómenos emergentes asociados a sistemas complejos y que implican la capacidad de grupos de células autómatas de recordar que un planeador pasa a través de ellos. Por lo tanto, es de esperar que haya bucles de memoria en el espacio de estados resultantes de alternancias de ganancia y pérdida de información, inestabilidad y estabilidad, caos y orden.

Consideremos un grupo de 3 celdas de células autómatas adyacentes que obedecen la regla 110:extremo-centro-extremoEl siguiente estado de la celda central depende de su estado actual y del de las celdas finales, tal como lo especifica la regla:

Para calcular la complejidad de fluctuación de la información de este sistema, conecte una celda controladora a cada extremo del grupo de 3 celdas para proporcionar estímulos externos aleatorios de la siguiente manera:conductor→extremo-centro-extremo←conductor, de modo que la regla se pueda aplicar a las dos celdas finales. A continuación, determine cuál será el siguiente estado para cada posible estado actual y para cada posible combinación de contenidos de celdas impulsoras, a fin de determinar las probabilidades condicionales hacia adelante.

El diagrama de estados de este sistema se muestra a continuación, con círculos que representan estados y flechas que representan transiciones entre estados. Los ocho estados posibles de este sistema,1-1-1a0-0-0, están etiquetados con el equivalente octal del contenido de 3 bits del grupo de 3 celdas: 7 a 0. Las flechas de transición están etiquetadas con probabilidades condicionales hacia adelante. Observe que existe variabilidad en la divergencia y convergencia de las flechas correspondientes a la variabilidad en la ganancia y pérdida de información que se origina en las celdas del controlador.

Las probabilidades condicionales hacia delante se determinan por la proporción de posibles contenidos de celdas impulsoras que impulsan una transición particular. Por ejemplo, para las cuatro combinaciones posibles de dos contenidos de celdas impulsoras, el estado 7 conduce a los estados 5, 4, 1 y 0 y, por lo tanto , , , y son cada uno ¼ o 25 %. De manera similar, el estado 0 conduce a los estados 0, 1, 0 y 1 y, por lo tanto , y son cada uno ½ o 50 %. Y así sucesivamente. ${\textstyle p_{7\rightarrow 5}}$${\textstyle p_{7\rightarrow 4}}$${\textstyle p_{7\rightarrow 1}}$${\textstyle p_{7\rightarrow 0}}$${\textstyle p_{0\rightarrow 1}}$${\textstyle p_{0\rightarrow 0}}$

Las probabilidades estatales están relacionadas por

${\displaystyle p_{j}=\sum _{i=0}^{7}p_{i}p_{i\rightarrow j}}$y${\displaystyle \sum _{i=0}^{7}p_{i}=1.}$

Estas ecuaciones algebraicas lineales se pueden resolver para las probabilidades de estado, con lo siguienteresultados: ^[2]

La entropía de la información y la complejidad se pueden calcular a partir de las probabilidades de estado:

${\displaystyle \mathrm {H} =-\sum _{i=0}^{7}p_{i}\log _{2}p_{i}=2.86{\text{ bits}},}$

${\displaystyle \sigma _{I}={\sqrt {\sum _{i=0}^{7}p_{i}\log _{2}^{2}p_{i}-\mathrm {H} ^{2}}}=0.56{\text{ bits}}.}$

Nótese que la entropía máxima posible para ocho estados es , que es el caso cuando todos . Por lo tanto, la regla 110 tiene una entropía o utilización del estado relativamente alta de . Sin embargo, esto no excluye una fluctuación considerable de la información del estado sobre la entropía y, por lo tanto, un valor considerable de la complejidad. Mientras que, la entropía máxima excluiría la complejidad. ${\displaystyle 3{\text{ bits}}}$${\textstyle p_{i}={\frac {1}{8}}}$${\displaystyle 2.86{\text{ bits}}}$

Se puede utilizar un método alternativo para obtener las probabilidades de estado cuando el método analítico utilizado anteriormente no es viable. Simplemente, se debe controlar el sistema en sus entradas (las celdas controladoras) con una fuente aleatoria durante muchas generaciones y observar las probabilidades de estado empíricamente. Cuando esto se hace mediante simulación por computadora durante 10 millones de generaciones, los resultados son los siguientes:Sigue: ^[2]

Dado que tanto y aumentan con el tamaño del sistema, se incluye su relación adimensional , la complejidad relativa de fluctuación de la información , para comparar sistemas de diferentes tamaños. Observe que los resultados empíricos y analíticos coinciden para el autómata de 3 celdas y que la complejidad relativa se estabiliza en aproximadamente 10 celdas. ${\displaystyle \mathrm {H} }$${\displaystyle \sigma _{I}}$${\displaystyle \sigma _{I}/\mathrm {H} }$${\displaystyle 0.10}$

En el artículo de Bates yPastor, ^[1] ${\displaystyle \sigma _{I}}$se calcula para todas las reglas elementales de autómatas celulares y se observó que las que exhiben planeadores de movimiento lento y posiblemente objetos estacionarios, como lo hace la regla 110, están altamente correlacionadas con valores grandes de . por lo tanto, se puede utilizar como un filtro para seleccionar reglas candidatas para el cálculo universal, lo cual es difícil de probar. ${\displaystyle \sigma _{I}}$${\displaystyle \sigma _{I}}$

Aunque la derivación de la fórmula de complejidad de fluctuación de información se basa en fluctuaciones de información en sistemas dinámicos, la fórmula depende únicamente de probabilidades de estado y, por lo tanto, también es aplicable a cualquier distribución de probabilidad, incluidas aquellas derivadas de imágenes o texto estáticos.

A lo largo de los años, el artículo original ^[1] ha sido citado por investigadores de muchos campos diversos: teoría de la complejidad, ^[3] ciencia de sistemas complejos, ^[4] redes complejas, ^[5] dinámica caótica, ^[6] entrelazamiento de localización de muchos cuerpos, ^[7] ingeniería ambiental, ^[8] complejidad ecológica, ^[9] análisis de series temporales ecológicas, ^[10] sostenibilidad de los ecosistemas, ^[11] contaminación del aire ^[12] y del agua ^[13] , análisis hidrológico de ondículas, ^[14] flujo de agua del suelo, ^[15] humedad del suelo, ^[16 ] escorrentía de cabecera, ^[17] profundidad del agua subterránea, ^[18] control del tráfico aéreo, ^[19] patrones de flujo ^[20] y eventos de inundación, ^[21] topología, ^[22] economía, ^[23] pronóstico del mercado de precios de metales ^[24] y electricidad ^[25] , informática de la salud, ^[26] cognición humana, ^[27] cinemática de la marcha humana, ^[28] neurología, ^[29] análisis de EEG, ^[30] educación, ^[31] inversión, ^[32] vida artificial ^[33] y estética. ^[34]