Método de agrupación para el manejo de datos

El método de agrupamiento de datos ( GMDH ) es una familia de algoritmos inductivos y autoorganizados para el modelado matemático que determina automáticamente la estructura y los parámetros de los modelos a partir de datos empíricos . GMDH genera y evalúa iterativamente modelos candidatos, a menudo mediante funciones polinómicas, y selecciona los de mejor rendimiento según un criterio externo . Este proceso construye redes neuronales de propagación directa con una complejidad óptima, adaptándose al nivel de ruido de los datos y minimizando el sobreajuste, lo que garantiza que el modelo resultante sea preciso y generalizable. ^{[ 1 ]}

GMDH se utiliza en campos como el aprendizaje automático , la predicción , la optimización y el reconocimiento de patrones , debido a su capacidad para manejar relaciones complejas y no lineales en los datos. Su naturaleza inductiva le permite descubrir patrones e interdependencias sin requerir fuertes suposiciones a priori , lo que lo hace particularmente efectivo para sistemas altamente complejos. Al equilibrar la complejidad del modelo y la precisión a través de la autoorganización, GMDH garantiza que el modelo refleje las relaciones subyacentes en los datos. ^{[ 2 ]} Este enfoque ha influido en las técnicas modernas de aprendizaje automático y se reconoce como uno de los primeros enfoques para el aprendizaje automático automatizado y el aprendizaje profundo .

Un modelo GMDH con múltiples entradas y una salida es un subconjunto de componentes de la función base (1):

${\displaystyle Y(x_{1},\dots ,x_{n})=a_{0}+\sum \limits _{i=1}^{m}a_{i}f_{i}}$

donde f _i son funciones elementales que dependen de diferentes conjuntos de entradas, a _i son coeficientes y m es el número de componentes de la función base.

Para encontrar la mejor solución, los algoritmos GMDH consideran varios subconjuntos de componentes de la función base (1), denominados modelos parciales . Los coeficientes de estos modelos se estiman mediante el método de mínimos cuadrados . Los algoritmos GMDH incrementan gradualmente el número de componentes del modelo parcial y encuentran una estructura de modelo con una complejidad óptima, indicada por el valor mínimo de un criterio externo . Este proceso se denomina autoorganización de modelos.

Como primera función base utilizada en GMDH, fue el polinomio de Kolmogorov-Gabor gradualmente complicado (2):

${\displaystyle Y(x_{1},\dots ,x_{n})=a_{0}+\sum \limits _{i=1}^{n}{a_{i}}x_{i}+\sum \limits _{i=1}^{n}{\sum \limits _{j=i}^{n}{a_{ij}}}x_{i}x_{j}+\sum \limits _{i=1}^{n}{\sum \limits _{j=i}^{n}{\sum \limits _{k=j}^{n}{a_{ijk}}}}x_{i}x_{j}x_{k}+\cdots }$

Por lo general, se utilizan modelos parciales más simples con funciones de hasta segundo grado. ^{[ 1 ]}

Otros nombres incluyen "autoorganización heurística de modelos" o "red neuronal de alimentación directa polinomial". ^{[ 3 ]} Jürgen Schmidhuber cita GMDH como uno de los primeros métodos de aprendizaje profundo , señalando que se utilizó para entrenar redes neuronales de ocho capas ya en 1971. ^{[ 4 ] [ 5 ]}

El método fue creado en 1968 por el profesor Alexey G. Ivakhnenko en el Instituto de Cibernética de Kiev . Este enfoque inductivo, desde sus inicios, fue un método computacional, por lo que un conjunto de programas y algoritmos informáticos constituyeron los principales resultados prácticos obtenidos a partir de los nuevos principios teóricos. Gracias a la política de código abierto del autor, el método se extendió rápidamente a numerosos laboratorios científicos de todo el mundo. Al transferirse la mayor parte del trabajo rutinario a un ordenador, se minimiza el impacto de la influencia humana en el resultado objetivo. De hecho, este enfoque puede considerarse una de las aplicaciones de la tesis de la Inteligencia Artificial , que postula que un ordenador puede actuar como un poderoso asesor para los humanos.

El desarrollo de GMDH consiste en una síntesis de ideas de diferentes áreas de la ciencia: el concepto cibernético de " caja negra " ^{[ 6 ]} y el principio de selección genética sucesiva de características por pares , los teoremas de incompletitud de Gödel y el principio de Gabor de "libertad de elección de decisiones" ^{[ 7 ]} , y el principio de Beer de adiciones externas ^{[ 8 ] .}

GMDH es el método original para resolver problemas de identificación estructural-paramétrica de modelos para datos experimentales bajo incertidumbre . ^{[ 9 ]} Este problema surge en la construcción de un modelo matemático que aproxima el patrón desconocido del objeto o proceso investigado. ^{[ 10 ]} Utiliza información sobre él que está implícitamente contenida en los datos. GMDH se diferencia de otros métodos de modelado por la aplicación activa de los siguientes principios : generación automática de modelos, decisiones no concluyentes y selección consistente mediante criterios externos para encontrar modelos de complejidad óptima. Tenía un procedimiento multicapa original para la generación automática de la estructura de los modelos, que imita el proceso de selección biológica con consideración de características sucesivas por pares. Este procedimiento se utiliza actualmente en redes de aprendizaje profundo . ^{[ 11 ]} Para comparar y elegir modelos óptimos, se utilizan dos o más subconjuntos de una muestra de datos. Esto permite evitar suposiciones preliminares porque la división de la muestra reconoce implícitamente diferentes tipos de incertidumbre durante la construcción automática del modelo óptimo.

Durante el desarrollo se estableció una analogía orgánica entre el problema de construir modelos para datos ruidosos y la señal que pasa a través del canal con ruido . ^{[ 12 ]} Esto permitió sentar las bases de la teoría del modelado inmune al ruido. ^{[ 9 ]} El resultado principal de esta teoría es que la complejidad del modelo predictivo óptimo depende del nivel de incertidumbre en los datos: cuanto mayor sea este nivel (por ejemplo, debido al ruido), más simple debe ser el modelo óptimo (con menos parámetros estimados). Esto inició el desarrollo de la teoría GMDH como un método inductivo de adaptación automática de la complejidad del modelo óptimo al nivel de variación del ruido en datos difusos . Por lo tanto, GMDH se considera a menudo la tecnología de la información original para la extracción de conocimiento a partir de datos experimentales .

El periodo 1968-1971 se caracteriza por la aplicación exclusiva del criterio de regularidad para la resolución de problemas de identificación, reconocimiento de patrones y pronóstico a corto plazo. Como funciones de referencia, se utilizaron polinomios, redes lógicas, conjuntos difusos de Zadeh y fórmulas de probabilidad bayesiana. Los autores se mostraron entusiasmados por la alta precisión de los pronósticos obtenidos con este nuevo enfoque. No se investigó la inmunidad al ruido.

Periodo 1972-1975 . Se resolvió el problema del modelado de datos ruidosos y con información incompleta. Se propuso la selección multicriterio y la utilización de información a priori adicional para aumentar la inmunidad al ruido. Los mejores experimentos demostraron que, con una definición ampliada del modelo óptimo mediante un criterio adicional, el nivel de ruido puede ser diez veces mayor que la señal. Posteriormente, se mejoró utilizando el Teorema de Shannon de la teoría general de la comunicación.

Periodo 1976-1979 . Se investigó la convergencia de algoritmos GMDH multicapa. Se demostró que algunos algoritmos multicapa presentan un tipo de error análogo al error estático de los sistemas de control, conocido como «error de multicapa». En 1977, se propuso una solución para problemas de análisis de sistemas objetivos mediante algoritmos GMDH multicapa. Se comprobó que la clasificación por conjunto de criterios permite encontrar el único sistema de ecuaciones óptimo y, por lo tanto, mostrar los elementos complejos del objeto, sus principales variables de entrada y salida.

Periodo 1980-1988 . Se obtuvieron importantes resultados teóricos. Quedó claro que los modelos físicos completos no pueden utilizarse para la predicción a largo plazo. Se demostró que los modelos no físicos de GMDH son más precisos para la aproximación y la predicción que los modelos físicos de análisis de regresión . Se desarrollaron algoritmos de dos niveles que utilizan dos escalas de tiempo diferentes para el modelado.

Desde 1989 se desarrollaron e investigaron nuevos algoritmos (AC, OCC, PF) para el modelado no paramétrico de objetos difusos y SLP para sistemas expertos. ^{[ 13 ]} La etapa actual del desarrollo de GMDH puede describirse como un florecimiento de las redes neuronales de aprendizaje profundo y los algoritmos inductivos paralelos para computadoras multiprocesador.

El criterio externo es una de las características clave de GMDH. Este criterio describe los requisitos del modelo, por ejemplo, la minimización de mínimos cuadrados . Siempre se calcula con una parte separada de la muestra de datos que no se ha utilizado para la estimación de coeficientes. Esto permite seleccionar un modelo de complejidad óptima según el nivel de incertidumbre en los datos de entrada. Existen varios criterios populares:

• Criterio de Regularidad (CR) – Mínimos cuadrados de un modelo en la muestra B.
• Criterio de mínimo sesgo o consistencia: el error cuadrático de la diferencia entre las salidas estimadas (o vectores de coeficientes) de dos modelos desarrollados a partir de dos muestras distintas A y B, dividido por el cuadrado de la salida estimada en la muestra B. La comparación de modelos mediante este criterio permite obtener modelos consistentes y recuperar una ley física oculta a partir de datos ruidosos. ^{[ 1 ]}
• Criterios de validación cruzada .

Para el modelado con GMDH, solo se preseleccionan el criterio de selección y la complejidad máxima del modelo. A continuación, el proceso de diseño comienza desde la primera capa y continúa. El número de capas y neuronas en las capas ocultas, así como la estructura del modelo, se determinan automáticamente. Se pueden considerar todas las combinaciones posibles de entradas permitidas (todas las neuronas posibles). Luego, se determinan los coeficientes polinómicos utilizando uno de los métodos de minimización disponibles, como la descomposición en valores singulares (con datos de entrenamiento). Posteriormente, se conservan las neuronas que presentan un mejor valor en el criterio externo (para los datos de prueba) y se eliminan las demás. Si el criterio externo para la mejor neurona de la capa alcanza el mínimo o supera el criterio de parada, se completa el diseño de la red y se introduce la expresión polinómica de la mejor neurona de la última capa como función de predicción matemática; de lo contrario, se genera la siguiente capa y el proceso continúa. ^{[ 14 ]}

Existen diversas maneras de elegir un orden para la consideración de modelos parciales. El primer orden de consideración utilizado en GMDH, originalmente denominado procedimiento inductivo multicapa, es el más popular. Consiste en una clasificación de modelos progresivamente más complejos generados a partir de una función base . El mejor modelo se indica mediante el mínimo de la característica del criterio externo. El procedimiento multicapa es equivalente a una red neuronal artificial con función de activación polinómica de las neuronas. Por lo tanto, el algoritmo con este enfoque se suele denominar red neuronal tipo GMDH o red neuronal polinómica. Li demostró que la red neuronal tipo GMDH tuvo un mejor rendimiento que los algoritmos de predicción clásicos, como la suavización exponencial simple, la suavización exponencial doble, ARIMA y la red neuronal de retropropagación. ^{[ 15 ]}

Otro enfoque importante para la consideración de modelos parciales, cada vez más popular, es la búsqueda combinatoria, ya sea limitada o completa. Este enfoque presenta algunas ventajas frente a las redes neuronales polinomiales, pero requiere una considerable capacidad de cálculo y, por lo tanto, no resulta eficaz para objetos con un gran número de entradas. Un logro importante del GMDH combinatorio es que supera ampliamente al enfoque de regresión lineal si el nivel de ruido en los datos de entrada es mayor que cero. Garantiza que se encontrará el modelo más óptimo durante la clasificación exhaustiva.

El algoritmo combinatorio básico realiza los siguientes pasos:

• Divide la muestra de datos al menos en dos muestras, A y B.
• Genera submuestras a partir de A según modelos parciales con una complejidad que aumenta progresivamente.
• Estima los coeficientes de los modelos parciales en cada nivel de complejidad de los modelos.
• Calcula el valor del criterio externo para los modelos en la muestra B.
• Selecciona el mejor modelo (conjunto de modelos) indicado por el valor mínimo del criterio.
• Para el modelo seleccionado de complejidad óptima, recalcule los coeficientes sobre una muestra de datos completa.

A diferencia de las redes neuronales de tipo GMDH, el algoritmo combinatorio generalmente no se detiene en un cierto nivel de complejidad porque un punto de aumento en el valor del criterio puede ser simplemente un mínimo local, ver Fig. 1.

• Combinatoria (COMBI)
• Iterativo multicapa (MIA)
• GN
• Análisis de Sistemas Objetivos (OSA)
• Armónico
• De dos niveles (ARIMAD)
• Multiplicativo-aditivo (MAA)
• Agrupación objetiva de computadoras (OCC);
• Algoritmo de agrupamiento de dedos apuntadores (PF);
• Complejación de análogos (AC)
• Rediscretización armónica
• Algoritmo basado en la Teoría Multicapa de Decisiones Estadísticas (MTSD)
• Grupo de Modelos Adaptativos Evolutivos (GAME)

• Proyecto FAKE GAME — Código abierto. Multiplataforma.
• GEvom — Gratuito bajo petición para uso académico. Solo para Windows.
• GMDH Shell : software de análisis predictivo y pronóstico de series temporales basado en GMDH. Licencia académica gratuita y versión de prueba gratuita disponibles. Solo para Windows.
• KnowledgeMiner — Producto comercial. Solo para Mac OS X. Versión de demostración gratuita disponible.
• Cliente PNN Discovery : producto comercial.
• Sciengy RPF! — Software gratuito, de código abierto.
• wGMDH — Complemento para Weka , código abierto.
• Paquete R – Código abierto.
• Paquete de R para tareas de regresión – Código abierto.
• Librería Python del algoritmo MIA - Código abierto.
• Librería Python de algoritmos GMDH básicos (COMBI, MULTI, MIA, RIA) - Código abierto.

• AG Ivakhnenko. Autoorganización heurística en problemas de cibernética de ingeniería , Automatica, vol. 6, 1970  — págs.  207-219.
• SJ Farlow . Métodos autoorganizados en modelado: algoritmos tipo GMDH . Nueva York, Bazel: Marcel Decker Inc., 1984, 350 págs.
• HR Madala, AG Ivakhnenko. Algoritmos de aprendizaje inductivo para el modelado de sistemas complejos . CRC Press, Boca Raton, 1994.

• Biblioteca de libros y artículos de GMDH
• Método de grupo para el manejo de datos