Estimación de densidad de kernel

En estadística , la estimación de densidad de kernel ( KDE ) es la aplicación del suavizado de kernel para la estimación de la densidad de probabilidad , es decir, un método no paramétrico para estimar la función de densidad de probabilidad de una variable aleatoria basada en kernels como ponderaciones . KDE resuelve un problema fundamental de suavizado de datos donde se realizan inferencias sobre la población basándose en una muestra de datos finita . En algunos campos como el procesamiento de señales y la econometría, también se denomina método de ventana de Parzen-Rosenblatt , en honor a Emanuel Parzen y Murray Rosenblatt , a quienes generalmente se les atribuye su creación independiente en su forma actual. ^{[ 1 ] [ 2 ]} Una de las aplicaciones más conocidas de la estimación de densidad de kernel es la estimación de las densidades marginales condicionales de clase de los datos cuando se utiliza un clasificador bayesiano ingenuo , lo que puede mejorar su precisión de predicción. ^{[ 3 ]}

Dejar${\displaystyle \mathbf {x} =\left(x_{1},x_{2},x_{3},...\right)}$Sean muestras independientes e idénticamente distribuidas extraídas de alguna distribución univariada con una densidad desconocida f en cualquier punto x dado . Estamos interesados ​​en estimar la forma de esta función f . Su estimador de densidad de núcleo es $${\displaystyle {\hat {f}}_{h}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})={\frac {1}{nh}}\sum _{i=1}^{n}K{\left({\frac {x-x_{i}}{h}}\right)},}$$ donde K es el núcleo —una función no negativa— y h > 0 es un parámetro de suavizado llamado ancho de banda o simplemente amplitud. ^{[ 3 ]} Un núcleo con subíndice h se denomina núcleo escalado y se define como K _h ( x ) = 1 / h K ( x / h ) . Intuitivamente , se busca elegir h lo más pequeño posible según lo permitan los datos ; sin embargo , siempre existe una compensación entre el sesgo del estimador y su varianza. La elección del ancho de banda se analiza con más detalle a continuación.

Se suele utilizar una variedad de funciones de núcleo : uniforme, triangular, biponderada, triponderada, Epanechnikov (parabólica), normal y otras. El núcleo de Epanechnikov es óptimo en términos de error cuadrático medio, ^{[ 4 ]} aunque la pérdida de eficiencia es pequeña para los núcleos mencionados anteriormente. ^{[ 5 ]} Debido a sus convenientes propiedades matemáticas, se suele utilizar el núcleo normal, lo que significa que K ( x ) = ϕ ( x ) , donde ϕ es la función de densidad normal estándar . El estimador de densidad de núcleo se convierte entonces en: $${\displaystyle {\hat {f}}_{h}(x)={\frac {1}{n}}\sum _{i=1}^{n}{\frac {1}{h{\sqrt {2\pi }}}}\exp \left({\frac {-(x-x_{i})^{2}}{2h^{2}}}\right),}$$ dónde${\displaystyle h}$es la desviación estándar de la muestra${\displaystyle \mathbf {x} }$.

La construcción de una estimación de densidad de núcleo encuentra interpretaciones en campos ajenos a la estimación de densidad. ^{[ 6 ]} Por ejemplo, en termodinámica , esto es equivalente a la cantidad de calor generado cuando los núcleos de calor (la solución fundamental de la ecuación del calor ) se colocan en cada ubicación de punto de datos x _i . Se utilizan métodos similares para construir operadores de Laplace discretos en nubes de puntos para el aprendizaje de variedades (por ejemplo, mapa de difusión ).

Las estimaciones de densidad de kernel están estrechamente relacionadas con los histogramas , pero pueden dotarse de propiedades como suavidad o continuidad mediante el uso de un kernel adecuado. El siguiente diagrama, basado en estos 6 puntos de datos, ilustra esta relación:

Para el histograma, primero se divide el eje horizontal en subintervalos o bins que abarcan el rango de los datos: en este caso, seis bins de ancho 2 cada uno. Cuando un punto de datos cae dentro de este intervalo, se coloca un recuadro de altura 1/12. Si más de un punto de datos cae dentro del mismo bin, los recuadros se apilan uno encima del otro.

Para la estimación de la densidad del núcleo, se colocan núcleos normales con una desviación estándar de 1,5 (indicados por las líneas discontinuas rojas) en cada uno de los puntos de datos x _i . Los núcleos se suman para obtener la estimación de la densidad del núcleo (curva azul continua). La suavidad de la estimación de la densidad del núcleo (en comparación con la discreción del histograma) ilustra cómo las estimaciones de la densidad del núcleo convergen más rápidamente a la verdadera densidad subyacente para variables aleatorias continuas. ^{[ 7 ]}

El ancho de banda del núcleo es un parámetro libre que ejerce una fuerte influencia en la estimación resultante. Para ilustrar su efecto, tomamos una muestra aleatoria simulada de la distribución normal estándar (representada por los picos azules en el gráfico de la alfombra sobre el eje horizontal). La curva gris es la densidad real (una densidad normal con media 0 y varianza 1). En comparación, la curva roja está subsuavizada , ya que contiene demasiados artefactos de datos espurios derivados del uso de un ancho de banda h = 0,05, que es demasiado pequeño. La curva verde está sobresuavizada, ya que el uso del ancho de banda h = 2 oculta gran parte de la estructura subyacente. La curva negra con un ancho de banda de h = 0,337 se considera óptimamente suavizada, ya que su estimación de densidad está cerca de la densidad real. Se encuentra una situación extrema en el límite${\displaystyle h\to 0}$(sin suavizado), donde la estimación es una suma de n funciones delta centradas en las coordenadas de las muestras analizadas. En el otro extremo límite${\displaystyle h\to \infty }$La estimación conserva la forma del núcleo utilizado, centrado en la media de las muestras (completamente suave).

_{El criterio de} optimalidad más común utilizado para seleccionar este parámetro es la función de riesgo L2 esperada , también denominada error cuadrático medio integrado :

$${\displaystyle \operatorname {MISE} (h)=\operatorname {E} \!\left[\int \!{\left({\hat {f}}\!_{h}(x)-f(x)\right)}^{2}dx\right]}$$

Bajo supuestos débiles sobre f y K , ( f es la función de densidad real, generalmente desconocida), ^{[ 1 ] [ 2 ]}

$${\displaystyle \operatorname {MISE} (h)=\operatorname {AMISE} (h)+{\mathcal {o}}{\left((nh)^{-1}+h^{4}\right)}}$$

donde o es la notación de o minúscula y n el tamaño de la muestra (como se indicó anteriormente). El AMISE es el MISE asintótico, es decir, los dos términos principales,

$${\displaystyle \operatorname {AMISE} (h)={\frac {R(K)}{nh}}+{\frac {1}{4}}m_{2}(K)^{2}h^{4}R(f'')}$$

dónde${\textstyle R(g)=\int g(x)^{2}\,dx}$para una función g ,${\textstyle m_{2}(K)=\int x^{2}K(x)\,dx}$ y${\displaystyle f''}$es la segunda derivada de${\displaystyle f}$y${\displaystyle K}$es el núcleo. El mínimo de este AMISE es la solución de esta ecuación diferencial.

$${\displaystyle {\frac {\partial }{\partial h}}\operatorname {AMISE} (h)=-{\frac {R(K)}{nh^{2}}}+m_{2}(K)^{2}h^{3}R(f'')=0}$$

o

$${\displaystyle h_{\operatorname {AMISE} }={\frac {R(K)^{1/5}}{m_{2}(K)^{2/5}R(f'')^{1/5}}}n^{-1/5}=Cn^{-1/5}}$$

Ni la fórmula AMISE ni la fórmula h _AMISE pueden utilizarse directamente, ya que implican la función de densidad desconocida.${\displaystyle f}$o su segunda derivada${\displaystyle f''}$Para superar esa dificultad, se han desarrollado diversos métodos automáticos basados ​​en datos para seleccionar el ancho de banda. Se han realizado varios estudios de revisión para comparar su eficacia, ^{[ 8 ] [ 9 ] [ 10 ] [ 11 ] [ 12 ] [ 13 ] [ 14 ]} con el consenso general de que los selectores de complemento ^{[ 6 ] [ 15 ] [ 16 ]} y los selectores de validación cruzada ^{[ 17 ] [ 18 ] [ 19 ]} son ​​los más útiles en una amplia gama de conjuntos de datos.

Sustituyendo cualquier ancho de banda h que tenga el mismo orden asintótico n ^−1/5 que h _AMISE en AMISE se obtiene que AMISE( h ) = O ( n ^−4/5 ) , donde O es la notación O grande . Se puede demostrar que, bajo supuestos débiles, no puede existir un estimador no paramétrico que converja a una tasa más rápida que el estimador de núcleo. ^{[ 20 ]} Nótese que la tasa n ^{−4/5 es más lenta que la tasa de convergencia típica} n ⁻¹ de los métodos paramétricos.

Si el ancho de banda no se mantiene fijo, sino que varía en función de la ubicación de la estimación (estimador de globo) o de las muestras (estimador puntual), esto produce un método particularmente potente denominado estimación de densidad de núcleo de ancho de banda adaptativo o variable .

La selección del ancho de banda para la estimación de la densidad del núcleo de distribuciones de cola pesada es relativamente difícil. ^{[ 21 ]}

Un estimador de ancho de banda basado en reglas empíricas

Si se utilizan funciones base gaussianas para aproximar datos univariados , y la densidad subyacente que se estima es gaussiana, la elección óptima para h (es decir, el ancho de banda que minimiza el error cuadrático medio integrado ) es: ^{[ 22 ]}

$${\displaystyle h={\left({\frac {4{\hat {\sigma }}^{5}}{3n}}\right)}^{1/5}\approx 1.06\,{\hat {\sigma }}\,n^{-1/5},}$$

Un${\displaystyle h}$Se considera que un valor es más robusto cuando mejora el ajuste para distribuciones asimétricas y de cola larga o para distribuciones de mezcla bimodales. Esto a menudo se hace empíricamente reemplazando la desviación estándar.${\displaystyle {\hat {\sigma }}}$por el parámetro${\displaystyle A}$abajo:

$${\displaystyle A=\min \left({\hat {\sigma }},{\frac {\mathrm {IQR} }{1.34}}\right)}$$donde IQR es el rango intercuartil.

Otra modificación que mejorará el modelo es reducir el factor de 1,06 a 0,9. Entonces la fórmula final sería:

$${\displaystyle h=0.9\,\min \left({\hat {\sigma }},{\frac {\mathrm {IQR} }{1.34}}\right)\,n^{-1/5}}$$ dónde${\displaystyle n}$es el tamaño de la muestra.

Esta aproximación se denomina aproximación de distribución normal , aproximación gaussiana o regla empírica de Silverman . ^{[ 22 ]} Si bien esta regla empírica es fácil de calcular, debe usarse con precaución, ya que puede producir estimaciones muy inexactas cuando la densidad no se aproxima a una distribución normal. Por ejemplo, al estimar el modelo de mezcla gaussiana bimodal.$${\displaystyle {\frac {1}{2{\sqrt {2\pi }}}}e^{-{\frac {1}{2}}(x-10)^{2}}+{\frac {1}{2{\sqrt {2\pi }}}}e^{-{\frac {1}{2}}(x+10)^{2}}}$$ A partir de una muestra de 200 puntos, la figura de la derecha muestra la densidad real y dos estimaciones de densidad de núcleo: una utilizando el ancho de banda de regla empírica y la otra utilizando un ancho de banda de resolución de la ecuación. ^{[ 6 ] [ 16 ]} La estimación basada en el ancho de banda de regla empírica está significativamente sobresuavizada.

Dado el conjunto de datos ( x ₁ , x ₂ , ..., x _n ) , es natural estimar la función característica φ ( t ) = E[ e ^itX ] como $${\displaystyle {\hat {\varphi }}(t)={\frac {1}{n}}\sum _{j=1}^{n}e^{itx_{j}}}$$ Conociendo la función característica, es posible encontrar la función de densidad de probabilidad correspondiente mediante la fórmula de la transformada de Fourier . Una dificultad al aplicar esta fórmula de inversión es que conduce a una integral divergente, ya que la estimación${\displaystyle {\hat {\varphi }}(t)}$no es fiable para valores grandes de t . Para sortear este problema, el estimador${\displaystyle {\hat {\varphi }}(t)}$se multiplica por una función de amortiguación ψ _h ( t ) = ψ ( ht ) , que es igual a 1 en el origen y luego cae a 0 en el infinito. El "parámetro de ancho de banda" h controla qué tan rápido intentamos amortiguar la función${\displaystyle {\hat {\varphi }}(t)}$. En particular, cuando h es pequeño, entonces ψ _h ( t ) será aproximadamente uno para un amplio rango de t , lo que significa que${\displaystyle {\hat {\varphi }}(t)}$permanece prácticamente inalterado en la región más importante de t 's.

La opción más común para la función ψ es la función uniforme ψ ( t ) = 1 {−1 ≤ t ≤ 1} , lo que efectivamente significa truncar el intervalo de integración en la fórmula de inversión a [ −1/ h , 1/ h ] , o la función gaussiana ψ ( t ) = e ^{−πt 2} . Una vez elegida la función ψ , se puede aplicar la fórmula de inversión y el estimador de densidad será $${\displaystyle {\begin{aligned}{\hat {f}}(x)&={\frac {1}{2\pi }}\int _{-\infty }^{+\infty }{\hat {\varphi }}(t)\psi _{h}(t)e^{-itx}\,dt\\[1ex]&={\frac {1}{2\pi }}\int _{-\infty }^{+\infty }{\frac {1}{n}}\sum _{j=1}^{n}e^{it(x_{j}-x)}\psi (ht)\,dt\\[1ex]&={\frac {1}{nh}}\sum _{j=1}^{n}{\frac {1}{2\pi }}\int _{-\infty }^{+\infty }e^{-i(ht){\frac {x-x_{j}}{h}}}\psi (ht)\,d(ht)\\[1ex]&={\frac {1}{nh}}\sum _{j=1}^{n}K{\left({\frac {x-x_{j}}{h}}\right)},\end{aligned}}}$$

donde K es la transformada de Fourier de la función de amortiguación ψ . Por lo tanto, el estimador de densidad del núcleo coincide con el estimador de densidad de la función característica.

Podemos extender la definición del modo (global) a un sentido local y definir los modos locales:

$${\displaystyle M=\{x:g(x)=0\mid \lambda _{1}(x)<0\}}$$

A saber,${\displaystyle M}$es el conjunto de puntos para los cuales la función de densidad se maximiza localmente. Un estimador natural de${\displaystyle M}$es un complemento de KDE, ^{[ 23 ] [ 24 ]} donde${\displaystyle g(x)}$y${\displaystyle \lambda _{1}(x)}$son la versión KDE de${\displaystyle g(x)}$y${\displaystyle \lambda _{1}(x)}$Bajo supuestos moderados,${\displaystyle M_{c}}$es un estimador consistente de${\displaystyle M}$. Nótese que se puede utilizar el algoritmo de desplazamiento de la media ^{[ 25 ] [ 26 ] [ 27 ]} para calcular el estimador${\displaystyle M_{c}}$numéricamente.

Una lista no exhaustiva de implementaciones de software de estimadores de densidad de núcleo incluye:

• En la versión 4.4 de Analytica , la opción de suavizado para los resultados PDF utiliza KDE y, a partir de expresiones, está disponible mediante la función integrada Pdf.
• En C / C++ , FIGTree es una biblioteca que permite calcular estimaciones de densidad de kernel utilizando kernels normales. Dispone de interfaz para MATLAB.
• En C++ , libagf es una biblioteca para la estimación de densidad de kernel variable .
• En C++ , mlpack es una biblioteca que permite calcular la estimación de densidad de kernel (KDE) utilizando diversos kernels. Permite establecer una tolerancia de error para un cálculo más rápido. Existen interfaces para Python y R.
• En C# y F# , Math.NET Numerics es una biblioteca de código abierto para computación numérica que incluye estimación de densidad de kernel.
• En CrimeStat , la estimación de densidad de kernel se implementa utilizando cinco funciones de kernel diferentes: normal, uniforme, cuártica, exponencial negativa y triangular. Se encuentran disponibles rutinas de estimación de densidad de kernel simple y doble. La estimación de densidad de kernel también se utiliza para interpolar una rutina de Head Bang, para estimar una función de densidad bidimensional de Journey-to-crimen y para estimar una estimación bayesiana tridimensional de Journey-to-crimen.
• En ELKI , las funciones de densidad de kernel se pueden encontrar en el paquetede.lmu.ifi.dbs.elki.math.statistics.kernelfunctions
• En los productos de ESRI , el mapeo de densidad de kernel se gestiona desde la caja de herramientas Spatial Analyst y utiliza el kernel Quartic(biweight).
• En Excel , la Royal Society of Chemistry ha creado un complemento para realizar estimaciones de densidad de kernel basadas en su Informe Técnico 4 del Comité de Métodos Analíticos .
• En gnuplot , la estimación de la densidad del kernel se implementa mediante la smooth kdensityopción, el archivo de datos puede contener un peso y un ancho de banda para cada punto, o el ancho de banda se puede establecer automáticamente ^{[ 28 ]} de acuerdo con la "regla de Silverman" (ver más arriba).
• En Haskell , la densidad del kernel se implementa en el paquete de estadística .
• En IGOR Pro , la estimación de la densidad del kernel se implementa mediante la StatsKDEoperación (añadida en Igor Pro 7.00). El ancho de banda puede ser especificado por el usuario o estimado mediante Silverman, Scott o Bowmann y Azzalini . Los tipos de kernel son: Epanechnikov, Bi-weight, Tri-weight, Triangular, Gaussiano y Rectangular.
• En Java , el paquete de aprendizaje automático Weka proporciona weka.estimators.KernelEstimator , entre otros.
• En JavaScript , el paquete de visualización D3.js ofrece un paquete KDE en su paquete science.stats.
• En JMP , la plataforma Graph Builder utiliza la estimación de densidad de kernel para generar gráficos de contorno y regiones de alta densidad (HDR) para densidades bivariadas, y gráficos de violín y HDR para densidades univariadas. Los controles deslizantes permiten al usuario variar el ancho de banda. Las plataformas Fit Y by X y Distribution también proporcionan estimaciones de densidad de kernel bivariadas y univariadas, respectivamente.
• En Julia , la estimación de la densidad del kernel se implementa en el paquete KernelDensity.jl .
• En KNIME , se pueden generar y graficar distribuciones de densidad de kernel 1D y 2D utilizando nodos de la contribución de la comunidad Vernalis , por ejemplo , 1D Kernel Density Plot , entre otros. La implementación subyacente está escrita en Java .
• En MATLAB , la estimación de la densidad del kernel se implementa a través de la ksdensityfunción (Statistics Toolbox). A partir de la versión 2018a de MATLAB, se pueden especificar tanto el ancho de banda como el suavizador del kernel, incluyendo otras opciones como especificar el rango de la densidad del kernel. ^{[ 29 ]} Alternativamente, un paquete de software gratuito de MATLAB que implementa un método de selección automática de ancho de banda ^{[ 6 ]} está disponible en MATLAB Central File Exchange para
  • datos unidimensionales
  • datos bidimensionales
  • Datos n-dimensionales Archivados el 09-02-2017 en Wayback Machine Una caja de herramientas MATLAB gratuita con implementación de regresión kernel, estimación de densidad kernel, estimación kernel de función de riesgo y muchas otras está disponible en estas páginas (esta caja de herramientas es parte del libro ^{[ 30 ]} ).
• En Mathematica , la estimación numérica de la densidad del núcleo se implementa mediante la función SmoothKernelDistribution^{[ 31 ]} y la estimación simbólica se implementa mediante la función KernelMixtureDistribution^{[ 32 ],} ambas proporcionan anchos de banda basados ​​en datos.
• En Minitab , la Royal Society of Chemistry ha creado una macro para ejecutar la estimación de densidad de kernel basada en su Informe Técnico 4 del Comité de Métodos Analíticos. ^{[ 33 ]}
• En la biblioteca NAG , la estimación de la densidad del núcleo se implementa a través de la g10barutina (disponible tanto en las versiones Fortran ^{[ 34 ]} como C ^{[ 35 ]} de la biblioteca).
• En Nuklei , los métodos de densidad de kernel de C++ se centran en datos del grupo euclidiano especial.${\displaystyle SE(3)}$.
• En Octave , la estimación de la densidad del kernel se implementa mediante la kernel_densityopción (paquete econométrico).
• En Origin , se puede crear un gráfico de densidad de kernel 2D desde su interfaz de usuario, y se pueden usar dos funciones, Ksdensity para 1D y Ks2density para 2D, desde su código LabTalk ( archivado el 19/10/2014 en Wayback Machine) , Python o C.
• En Perl , se puede encontrar una implementación en el módulo Statistics-KernelEstimation.
• En PHP , se puede encontrar una implementación en la biblioteca MathPHP.
• En Python , existen muchas implementaciones: el módulo pyqt_fit.kde en el paquete PyQt-Fit , SciPy ( scipy.stats.gaussian_kde), Statsmodels ( KDEUnivariatey KDEMultivariate), y scikit-learn ( KernelDensity) (ver comparación ^{[ 36 ]} ). KDEpy admite datos ponderados y su implementación de FFT es órdenes de magnitud más rápida que las otras implementaciones. La biblioteca pandas de uso comúnofrece soporte para la representación gráfica de kde a través del método plot (df.plot(kind='kde')El paquete getdist para muestras MCMC ponderadas y correlacionadas admite ancho de banda optimizado, corrección de límites y métodos de orden superior para distribuciones 1D y 2D. Un paquete de reciente uso para la estimación de densidad de kernel es seaborn ( import seaborn as sns, sns.kdeplot()). ^{[ 37 ]} También existe una implementación de KDE en GPU. ^{[ 38 ]}
• En R , se implementa a través densityde la distribución base, y bw.nrd0la función se utiliza en el paquete stats, esta función utiliza la fórmula optimizada en el libro de Silverman. bkdeen la biblioteca KernSmooth , ParetoDensityEstimationen la biblioteca DataVisualizations (para estimación de densidad de distribución de Pareto ), kdeen la biblioteca ks , dkdeny dbckdenen la biblioteca evmix (esta última para estimación de densidad de kernel corregida de límites para soporte acotado), npudensen la biblioteca np (datos numéricos y categóricos ), sm.densityen la biblioteca sm . Para una implementación de la kde.Rfunción, que no requiere la instalación de ningún paquete o biblioteca, consulte kde.R. La biblioteca btb , dedicada al análisis urbano, implementa la estimación de densidad de kernel a través de kernel_smoothing.
• En SAS , proc kdese puede utilizar para estimar densidades de núcleo univariadas y bivariadas.
• En Apache Spark , la KernelDensity()clase ^{[ 39 ]}
• En Stata , se implementa a través de kdensity; ^{[ 40 ]} por ejemplo histogram x, kdensity. Alternativamente, está disponible un módulo gratuito de Stata, KDENS ^{[ 41 ],} que permite al usuario estimar funciones de densidad 1D o 2D.
• En Swift , se implementa a través SwiftStats.KernelDensityEstimationde la biblioteca de estadísticas de código abierto SwiftStats .

• Núcleo (estadística)
• Suavizado del núcleo
• regresión de kernel
• Estimación de densidad (con presentación de otros ejemplos)
• Desplazamiento a la media
• Espacio de escala : Las ternas {( x , h , KDE con ancho de banda h evaluado en x : todo x , h > 0} forman una representación en el espacio de escala de los datos.
• Estimación de densidad de núcleo multivariante
• Estimación de densidad de núcleo variable
• Desconexiones de cabeza/cola

• Härdle, Wolfgang; Müller, Marlene; Sperlich, Stefan; Werwatz, Axel (2004). Modelos no paramétricos y semiparamétricos . Serie Springer en Estadística. Berlín Heidelberg: Springer-Verlag. págs. 39 a 83. ISBN  978-3-540-20722-1.

• Introducción a la estimación de densidad de kernel Un breve tutorial que presenta los estimadores de densidad de kernel como una mejora con respecto a los histogramas.
• Optimización del ancho de banda del kernel: Una herramienta online gratuita que genera una estimación optimizada de la densidad del kernel.
• El software gratuito en línea (calculadora) calcula la estimación de densidad del núcleo para una serie de datos según los siguientes núcleos: gaussiano, epanechnikov, rectangular, triangular, biponderado, coseno y optcoseno.
• Applet de estimación de densidad de kernel. Un ejemplo interactivo en línea de estimación de densidad de kernel. Requiere .NET 3.0 o posterior.