Histograma

Un histograma es una representación visual de la distribución de datos cuantitativos. Para construir un histograma, el primer paso es agrupar (o segmentar) el rango de valores —dividir todo el rango de valores en una serie de intervalos— y luego contar cuántos valores caen en cada intervalo. Los intervalos se especifican generalmente como intervalos consecutivos y no superpuestos de una variable. Los intervalos son adyacentes y suelen ser (aunque no necesariamente) del mismo tamaño. ^{[ 1 ]}

Los histogramas ofrecen una idea aproximada de la densidad de la distribución subyacente de los datos y, a menudo, se utilizan para la estimación de la densidad : estimar la función de densidad de probabilidad de la variable subyacente. El área total de un histograma utilizado para la densidad de probabilidad siempre se normaliza a 1. Si la longitud de los intervalos en el eje x es toda de 1, entonces un histograma es idéntico a un gráfico de frecuencia relativa .

Los histogramas a veces se confunden con los gráficos de barras . En un histograma, cada intervalo representa un rango diferente de valores, por lo que, en conjunto, el histograma ilustra la distribución de los valores. En cambio, en un gráfico de barras, cada barra representa una categoría diferente de observaciones (por ejemplo, cada barra podría representar una población diferente), por lo que, en conjunto, el gráfico de barras se puede utilizar para comparar distintas categorías. Algunos autores recomiendan que los gráficos de barras siempre tengan espacios entre las barras para aclarar que no son histogramas. ^{[ 2 ] [ 3 ]}

El término histograma fue introducido por primera vez por Karl Pearson , el fundador de la estadística matemática , en las conferencias que impartió en 1892 en el University College de Londres . A veces se dice erróneamente que el término de Pearson combina la raíz griega γραμμα ( gramma ; 'figura' o 'dibujo') con la raíz ἱστορία (historia; 'investigación' o 'historia'). Alternativamente, también se propone la raíz ἱστίον ( histion ), que significa 'tejido' o 'tejido' (como en histología , el estudio del tejido biológico). Ambas etimologías son incorrectas, y de hecho Pearson, que conocía bien el griego antiguo , derivó el término de una raíz griega diferente, aunque homófona , ἱστός ('algo puesto en posición vertical' o 'mástil'), en referencia a las barras verticales del gráfico. El nuevo término de Pearson estaba integrado en una serie de otros neologismos análogos , como estigmograma y radiograma . ^{[ 4 ]}

El propio Pearson señaló en 1895 que, si bien el término histograma era nuevo, el tipo de gráfico que designa era "una forma común de representación gráfica". ^{[ 5 ]} De hecho, la técnica de usar un gráfico de barras para representar mediciones estadísticas fue ideada por el economista escocés William Playfair en su Atlas comercial y político (1786). ^{[ 4 ]}

Estos son los datos para el histograma de la derecha, utilizando 500 elementos:

Las palabras que se utilizan para describir los patrones en un histograma son: "simétrico", "sesgado a la izquierda" o "a la derecha", "unimodal", "bimodal" o "multimodal".

• 
  Simétrico, unimodal
• 
  Desviado hacia la derecha
• 
  Desviado hacia la izquierda
• 
  Bimodal
• 
  Multimodal
• 
  Simétrico

Es recomendable representar gráficamente los datos utilizando distintos intervalos de tiempo para comprenderlos mejor. Aquí tienes un ejemplo sobre las propinas que se dan en un restaurante.

• 
  Consejos que utilizan un ancho de contenedor de $1, sesgados hacia la derecha, unimodales.
• 
  Consejos que utilizan un ancho de intervalo de 10 centavos, todavía sesgado a la derecha, multimodal con modas en cantidades de $ y 50 centavos, indica redondeo, también algunos valores atípicos

La Oficina del Censo de los Estados Unidos descubrió que había 124 millones de personas que trabajan fuera de sus hogares. ^{[ 6 ]} Utilizando sus datos sobre el tiempo empleado en el viaje al trabajo, la tabla a continuación muestra que el número absoluto de personas que respondieron con tiempos de viaje "de al menos 30 pero menos de 35 minutos" es mayor que los números para las categorías superior e inferior. Esto probablemente se deba a que las personas redondearon el tiempo de viaje que informaron. El problema de informar valores como números redondeados de manera algo arbitraria es un fenómeno común al recopilar datos de personas. ^{[ 7 ] [ 8 ] [ 9 ]}

Este histograma muestra el número de casos por intervalo unitario como la altura de cada bloque, de modo que el área de cada bloque es igual al número de personas encuestadas que pertenecen a su categoría. El área bajo la curva representa el número total de casos (124 millones). Este tipo de histograma muestra números absolutos, con Q en miles.

Este histograma se diferencia del primero únicamente en la escala vertical . El área de cada bloque representa la fracción del total que corresponde a cada categoría, y el área total de todas las barras es igual a 1 (la fracción significa "total"). La curva mostrada es una estimación simple de la densidad . Esta versión muestra proporciones y también se conoce como histograma de área unitaria.

En otras palabras, un histograma representa una distribución de frecuencias mediante rectángulos cuyos anchos representan intervalos de clase y cuyas áreas son proporcionales a las frecuencias correspondientes: la altura de cada uno es la densidad de frecuencia promedio para el intervalo. Los intervalos se colocan juntos para mostrar que los datos representados por el histograma, si bien son exclusivos, también son contiguos. (Por ejemplo, en un histograma es posible tener dos intervalos conectados de 10,5–20,5 y 20,5–33,5, pero no dos intervalos conectados de 10,5–20,5 y 22,5–32,5. Los intervalos vacíos se representan como tales y no se omiten). ^{[ 10 ]}

Los datos utilizados para construir un histograma se generan mediante una función m _i que cuenta el número de observaciones que caen en cada una de las categorías disjuntas (conocidas como intervalos ). Por lo tanto, si denotamos por n el número total de observaciones y por k el número total de intervalos, los datos del histograma m _i cumplen las siguientes condiciones:

${\displaystyle n=\sum _{i=1}^{k}{m_{i}}.}$

Un histograma puede considerarse una estimación de densidad de kernel simplificada , que utiliza un kernel para suavizar las frecuencias en los intervalos. Esto produce una función de densidad de probabilidad más suave , que generalmente refleja con mayor precisión la distribución de la variable subyacente. La estimación de densidad puede representarse gráficamente como una alternativa al histograma, y ​​suele dibujarse como una curva en lugar de un conjunto de cajas. Sin embargo, en las aplicaciones se prefieren los histogramas cuando es necesario modelar sus propiedades estadísticas. La variación correlacionada de una estimación de densidad de kernel es muy difícil de describir matemáticamente, mientras que resulta sencillo para un histograma, donde cada intervalo varía de forma independiente.

Una alternativa a la estimación de densidad de kernel es el histograma desplazado promedio, ^{[ 11 ]} que es rápido de calcular y proporciona una estimación de curva suave de la densidad sin utilizar kernels.

Número de contenedores y ancho

No existe un número "óptimo" de intervalos, y los diferentes tamaños de intervalos pueden revelar distintas características de los datos. La agrupación de datos es al menos tan antigua como el trabajo de Graunt en el siglo XVII, pero no se dieron pautas sistemáticas ^{[ 12 ]} hasta el trabajo de Sturges en 1926. ^{[ 13 ]}

Utilizar intervalos más amplios donde la densidad de los puntos de datos subyacentes es baja reduce el ruido debido a la aleatoriedad del muestreo; usar intervalos más estrechos donde la densidad es alta (de modo que la señal enmascara el ruido) proporciona mayor precisión a la estimación de la densidad. Por lo tanto, variar el ancho de los intervalos dentro de un histograma puede ser beneficioso. No obstante, los intervalos de igual ancho son ampliamente utilizados.

Algunos teóricos han intentado determinar un número óptimo de intervalos, pero estos métodos generalmente se basan en supuestos importantes sobre la forma de la distribución. Dependiendo de la distribución real de los datos y los objetivos del análisis, pueden ser apropiados diferentes anchos de intervalo, por lo que suele ser necesario experimentar para determinar el ancho adecuado. Sin embargo, existen diversas pautas y reglas prácticas útiles. ^{[ 14 ]}

El número de intervalos k se puede asignar directamente o se puede calcular a partir de un ancho de intervalo sugerido h de la siguiente manera: 

${\displaystyle k=\left\lceil {\frac {\max x-\min x}{h}}\right\rceil .}$

Los corchetes indican la función del techo .

Elección de raíz cuadrada

${\displaystyle k=\lceil {\sqrt {n}}\rceil \,}$

que toma la raíz cuadrada del número de puntos de datos en la muestra y redondea al entero más cercano . Esta regla es sugerida por varios libros de texto de estadística elemental ^{[ 15 ]} y está ampliamente implementada en muchos paquetes de software. ^{[ 16 ]}

La fórmula de Sturges

La regla de Sturges ^{[ 13 ]} se deriva de una distribución binomial y asume implícitamente una distribución aproximadamente normal.

${\displaystyle k=\lceil \log _{2}n\rceil +1,\,}$

La fórmula de Sturges basa implícitamente el tamaño de los intervalos en el rango de los datos y puede tener un rendimiento deficiente si n  <  30 , ya que el número de intervalos será pequeño (menos de siete) y es poco probable que muestre bien las tendencias en los datos. En el otro extremo, la fórmula de Sturges puede sobreestimar el ancho de los intervalos para conjuntos de datos muy grandes, lo que da como resultado histogramas demasiado suavizados. ^{[ 17 ]} También puede tener un rendimiento deficiente si los datos no tienen una distribución normal.

En comparación con la regla de Scott y la regla de Terrell-Scott, otras dos fórmulas ampliamente aceptadas para los intervalos de histogramas, el resultado de la fórmula de Sturges es el más cercano cuando n ≈ 100. ^{[ 17 ]}

Gobierno de Rice

${\displaystyle k=\lceil 2{\sqrt[{3}]{n}}\rceil }$

La regla de Rice ^{[ 18 ]} se presenta como una alternativa simple a la regla de Sturges.

Fórmula de Doane

La fórmula de Doane ^{[ 19 ]} es una modificación de la fórmula de Sturges que intenta mejorar su rendimiento con datos no normales.

${\displaystyle k=1+\log _{2}(n)+\log _{2}\left(1+{\frac {|g_{1}|}{\sigma _{g_{1}}}}\right)}$

dónde${\displaystyle g_{1}}$es la asimetría estimada del tercer momento de la distribución y

${\displaystyle \sigma _{g_{1}}={\sqrt {\frac {6(n-2)}{(n+1)(n+3)}}}}$

Regla de referencia normal de Scott

Ancho del contenedor${\displaystyle h}$es dado por

${\displaystyle h={\frac {3.49{\hat {\sigma }}}{\sqrt[{3}]{n}}},}$

dónde${\displaystyle {\sombrero {\sigma }}}$es la desviación estándar de la muestra . La regla de referencia normal de Scott ^{[ 20 ]} es óptima para muestras aleatorias de datos con distribución normal, en el sentido de que minimiza el error cuadrático medio integrado de la estimación de la densidad. ^{[ 12 ]} Esta es la regla predeterminada utilizada en Microsoft Excel. ^{[ 21 ]}

Regla Terrell-Scott

${\displaystyle k={\sqrt[{3}]{2n}}}$

La regla de Terrell-Scott ^{[ 17 ] [ 22 ]} no es una regla de referencia normal. Proporciona el número mínimo de intervalos requeridos para un histograma asintóticamente óptimo, donde la optimalidad se mide por el error cuadrático medio integrado. El límite se deriva encontrando la densidad posible más "suave", que resulta ser${\displaystyle {\frac {3}{4}}(1-x^{2})}$Cualquier otra densidad requerirá más intervalos; por lo tanto, la estimación anterior también se conoce como la regla de "sobre-suavizado". La similitud de las fórmulas y el hecho de que Terrell y Scott estuvieran en la Universidad de Rice cuando la propusieron sugiere que este es también el origen de la regla de Rice.

Regla de Freedman-Diaconis

La regla de Freedman-Diaconis proporciona el ancho del contenedor.${\displaystyle h}$como: ^{[ 23 ] [ 12 ]}

${\displaystyle h=2{\frac {\operatorname {IQR} (x)}{\sqrt[{3}]{n}}},}$

que se basa en el rango intercuartil , denotado por IQR. Reemplaza 3,5σ de la regla de Scott con 2 IQR, que es menos sensible que la desviación estándar a los valores atípicos en los datos.

Minimizar el error cuadrático estimado de validación cruzada

Este enfoque de minimizar el error cuadrático medio integrado de la regla de Scott se puede generalizar más allá de las distribuciones normales, utilizando validación cruzada de dejar uno fuera: ^{[ 24 ] [ 25 ]}

${\displaystyle {\underset {h}{\operatorname {arg\,min} }}{\hat {J}}(h)={\underset {h}{\operatorname {arg\,min} }}\left({\frac {2}{(n-1)h}}-{\frac {n+1}{n^{2}(n-1)h}}\sum _{k}N_{k}^{2}\right)}$

Aquí,${\displaystyle N_{k}}$es el número de puntos de datos en el k -ésimo intervalo, y elegir el valor de h que minimice J minimizará el error cuadrático medio integrado.

La elección de Shimazaki y Shinomoto

La elección se basa en la minimización de una función de riesgo L ^{2 estimada [ 26 ].}

${\displaystyle {\underset {h}{\operatorname {arg\,min} }}{\frac {2{\bar {m}}-v}{h^{2}}}}$

dónde${\displaystyle \textstyle {\bar {m}}}$y${\displaystyle \textstyle v}$son la media y la varianza sesgada de un histograma con ancho de intervalo${\displaystyle \textstyle h}$,${\displaystyle \textstyle {\bar {m}}={\frac {1}{k}}\sum _ {i=1}^{k}m_ {i}}$y${\displaystyle \textstyle v={\frac {1}{k}}\sum _{i=1}^{k}(m_{i}-{\bar {m}})^{2}}$.

Anchos de contenedores variables

En lugar de elegir intervalos uniformemente espaciados, para algunas aplicaciones es preferible variar el ancho del intervalo. Esto evita intervalos con recuentos bajos. Un caso común es elegir intervalos equiprobables , donde se espera que el número de muestras en cada intervalo sea aproximadamente igual. Los intervalos pueden elegirse de acuerdo con alguna distribución conocida o pueden elegirse en función de los datos de manera que cada intervalo tenga${\displaystyle \approx n/k}$muestras. Al trazar el histograma, se utiliza la densidad de frecuencia para el eje dependiente. Si bien todos los intervalos tienen aproximadamente el mismo área, las alturas del histograma se aproximan a la distribución de densidad.

Para contenedores equiprobables, se sugiere la siguiente regla para el número de contenedores: ^{[ 27 ]}

${\displaystyle k=2n^{2/5}}$

Esta elección de intervalos se justifica por maximizar la potencia de una prueba de chi-cuadrado de Pearson que evalúa si los intervalos contienen el mismo número de muestras. Más específicamente, para un intervalo de confianza dado${\displaystyle \alpha }$Se recomienda elegir entre 1/2 y 1 veces la siguiente ecuación: ^{[ 28 ]}

${\displaystyle k=4\left({\frac {2n^{2}}{\Phi ^{-1}(\alpha )}}\right)^{\frac {1}{5}}}$

Dónde${\displaystyle \Phi ^{-1}}$es la función probit . Siguiendo esta regla para${\displaystyle \alpha =0.05}$daría entre${\displaystyle 1.88n^{2/5}}$y${\displaystyle 3.77n^{2/5}}$El coeficiente de 2 se elige como un valor fácil de recordar dentro de este amplio rango óptimo.

Observación

Una buena razón por la que el número de contenedores debería ser proporcional a${\displaystyle {\sqrt[{3}]{n}}}$es lo siguiente: supongamos que los datos se obtienen como${\displaystyle n}$realizaciones independientes de una distribución de probabilidad acotada con densidad suave. Entonces el histograma permanece igualmente "rugoso" como${\displaystyle n}$tiende al infinito. Si${\displaystyle s}$es la "amplitud" de la distribución (por ejemplo, la desviación estándar o el rango intercuartil), entonces el número de unidades en un intervalo (la frecuencia) es de orden${\displaystyle nh/s}$y el error estándar relativo es de orden${\displaystyle {\sqrt {s/(nh)}}}$. En comparación con el siguiente intervalo, el cambio relativo de la frecuencia es de orden${\displaystyle h/s}$siempre que la derivada de la densidad sea distinta de cero. Estas dos son del mismo orden si${\displaystyle h}$está de orden${\displaystyle s/{\sqrt[{3}]{n}}}$, de modo que${\displaystyle k}$está de orden${\displaystyle {\sqrt[{3}]{n}}}$Esta sencilla elección de raíz cúbica también se puede aplicar a contenedores con anchos no constantes.

• En hidrología, el histograma y la función de densidad estimada de los datos de precipitación y caudal de los ríos, analizados con una distribución de probabilidad , se utilizan para comprender su comportamiento y frecuencia de ocurrencia. ^{[ 30 ]} Un ejemplo se muestra en la figura azul.
• En muchos programas de procesamiento de imágenes digitales existe una herramienta de histograma que muestra la distribución del contraste /brillo de los píxeles .

  

• Visualización de datos e información
• Agrupación de datos
• Estimación de densidad
  • Estimación de densidad de kernel , un método de estimación de densidad más suave pero más complejo.
• Estimación de la entropía
• Regla de Freedman-Diaconis
• histograma de la imagen
• Diagrama de Pareto
• Siete herramientas básicas de calidad
• Histogramas V-óptimos

• Lancaster, HO. Introducción a la estadística médica. John Wiley and Sons. 1974. ISBN 0-471-51250-8

• Explorando los histogramas , un ensayo de Aran Lunzer y Amelia McNamara.
• Trayecto al trabajo y lugar de trabajo (ubicación del documento censal citado en el ejemplo)
• Histograma suavizado para señales e imágenes de algunas muestras. Archivado el 7 de enero de 2013 en Wayback Machine.
• Histogramas: Construcción, análisis y comprensión, con enlaces externos y una aplicación a la física de partículas.
• Un método para seleccionar el tamaño de los intervalos de un histograma.
• Histogramas: Teoría y práctica , algunas excelentes ilustraciones de algunos de los conceptos de ancho de intervalo derivados anteriormente.
• Función de Matlab para generar histogramas de calidad.
• Histograma dinámico en MS Excel
• Construcción y manipulación de histogramas mediante applets de Java y gráficos en SOCR.
• Caja de herramientas para construir los mejores histogramas. Archivado el 24/10/2017 en Wayback Machine.