Función de Hartley

La función de Hartley es una medida de incertidumbre , introducida por Ralph Hartley en 1928. Si se elige una muestra de un conjunto finito A de forma uniforme y aleatoria, la cantidad de información revelada después de conocer el resultado viene dada por la función de Hartley.

${\displaystyle H_{0}(A):=\mathrm {log} _{b}\vert A\vert ,}$

donde | A | denota la cardinalidad de A .

Si la base del logaritmo es 2, la unidad de incertidumbre es el shannon (más comúnmente conocido como bit ). Si se trata del logaritmo natural , la unidad es el nat . Hartley utilizó un logaritmo de base diez , y con esta base, la unidad de información se denomina hartley (también conocido como ban o dit ) en su honor. También se le conoce como entropía de Hartley o entropía máxima.

La función de Hartley coincide con la entropía de Shannon (así como con las entropías de Rényi de todos los órdenes) en el caso de una distribución de probabilidad uniforme . Es un caso especial de la entropía de Rényi ya que:

${\displaystyle H_{0}(X)={\frac {1}{1-0}}\log \sum _{i=1}^{|{\mathcal {X}}|}p_{i}^{0}=\log |{\mathcal {X}}|.}$

Pero también puede considerarse una construcción primitiva, ya que, como enfatizan Kolmogorov y Rényi, la función de Hartley puede definirse sin introducir ninguna noción de probabilidad (véase Incertidumbre e información, de George J. Klir , pág.  423).

La función de Hartley solo depende del número de elementos en un conjunto y, por lo tanto, puede verse como una función en los números naturales. Rényi demostró que la función de Hartley en base 2 es la única función que mapea números naturales a números reales que satisface

1. ${\displaystyle H(mn)=H(m)+H(n)}$(aditividad)
2. ${\displaystyle H(m)\leq H(m+1)}$(monotonicidad)
3. ${\displaystyle H(2)=1}$(normalización)

La condición 1 establece que la incertidumbre del producto cartesiano de dos conjuntos finitos A y B es la suma de las incertidumbres de A y B. La condición 2 establece que un conjunto mayor tiene mayor incertidumbre.

Queremos demostrar que la función de Hartley, log ₂ ( n ), es la única función que mapea números naturales a números reales que satisface

1. ${\displaystyle H(mn)=H(m)+H(n)\,}$(aditividad)
2. ${\displaystyle H(m)\leq H(m+1)\,}$(monotonicidad)
3. ${\displaystyle H(2)=1\,}$(normalización)

Sea f una función sobre enteros positivos que satisface las tres propiedades anteriores. A partir de la propiedad aditiva, podemos demostrar que para cualquier entero n y k ,

${\displaystyle f(n^{k})=kf(n).\,}$

Sean a , b y t dos enteros positivos cualesquiera. Existe un entero único s determinado por

${\displaystyle a^{s}\leq b^{t}\leq a^{s+1}.\qquad (1)}$

Por lo tanto,

${\displaystyle s\log _{2}a\leq t\log _{2}b\leq (s+1)\log _{2}a\,}$

y

${\displaystyle {\frac {s}{t}}\leq {\frac {\log _{2}b}{\log _{2}a}}\leq {\frac {s+1}{t}}.}$

Por otro lado, por monotonicidad,

${\displaystyle f(a^{s})\leq f(b^{t})\leq f(a^{s+1}).\,}$

Usando la ecuación (1), se obtiene

${\displaystyle sf(a)\leq tf(b)\leq (s+1)f(a),\,}$

y

${\displaystyle {\frac {s}{t}}\leq {\frac {f(b)}{f(a)}}\leq {\frac {s+1}{t}}.}$

Por eso,

${\displaystyle \left\vert {\frac {f(b)}{f(a)}}-{\frac {\log _{2}(b)}{\log _{2}(a)}}\right\vert \leq {\frac {1}{t}}.}$

Dado que t puede ser arbitrariamente grande, la diferencia en el lado izquierdo de la desigualdad anterior debe ser cero,

${\displaystyle {\frac {f(b)}{f(a)}}={\frac {\log _{2}(b)}{\log _{2}(a)}}.}$

Entonces,

${\displaystyle f(a)=\mu \log _{2}(a)\,}$

para alguna constante μ , que debe ser igual a 1 por la propiedad de normalización.

• entropía de Rényi
• entropía mínima

• Este artículo incorpora material de la función Hartley en PlanetMath , que está bajo la licencia Creative Commons Attribution/Share-Alike License .
• Este artículo incorpora material de Derivación de la función de Hartley en PlanetMath , que está bajo la licencia Creative Commons Attribution/Share-Alike License .