Red neuronal (aprendizaje automático)

Las redes neuronales profundas se basan en estadísticas desarrolladas hace más de 200 años. El tipo más simple de red neuronal de alimentación directa (FNN) es una red lineal, que consta de una sola capa de nodos de salida con funciones de activación lineales; las entradas se alimentan directamente a las salidas a través de pesos. La suma de los productos de los pesos y las entradas se calcula en cada nodo. Los errores cuadráticos medios entre estas salidas calculadas y los valores objetivo dados se minimizan ajustando los pesos. Esta técnica es el método de mínimos cuadrados o regresión lineal . Fue utilizada para encontrar un ajuste lineal aproximado a un conjunto de puntos por Legendre (1805) y Gauss (1795) para la predicción del movimiento planetario. ^{[ 6 ] [ 7 ] [ 8 ]}

Las computadoras se basan en el modelo de John von Neumann . Ejecutan listas explícitas de instrucciones con acceso a la memoria para registrar su estado cambiante. Las redes neuronales, en cambio, surgieron de los esfuerzos por modelar el procesamiento de la información en sistemas biológicos mediante el conexionismo . A diferencia del modelo de von Neumann, la computación conexionista no separa la memoria del procesamiento.

Warren McCulloch y Walter Pitts ^{[ 9 ]} (1943) consideraron un modelo computacional sin aprendizaje para redes neuronales. ^{[ 10 ]} Este modelo allanó el camino para que la investigación se dividiera en una rama centrada en procesos biológicos y otra centrada en inteligencia artificial. McCulloch y Pitts también desarrollaron modelos matemáticos de neuronas artificiales capaces de representar funciones lógicas. ^{[ 9 ]}

A finales de la década de 1940, DO Hebb ^{[ 11 ]} propuso una hipótesis de aprendizaje basada en la plasticidad neuronal que se conoció como aprendizaje hebbiano . Se utilizó en muchos de los primeros experimentos con redes neuronales, como el perceptrón de Rosenblatt y la red de Hopfield . Farley y Clark ^{[ 12 ]} (1954) utilizaron máquinas computacionales para simular una red hebbiana. Otras máquinas computacionales para redes neuronales fueron creadas por Rochester , Holland, Habit y Duda (1956). ^{[ 13 ]}

En 1958, el psicólogo Frank Rosenblatt describió el perceptrón , una de las primeras redes neuronales implementadas, ^{[ 14 ] [ 15 ] [ 16 ] [ 17 ]} financiada por la Oficina de Investigación Naval de los Estados Unidos . ^{[ 18 ]} RD Joseph (1960) ^{[ 19 ]} mencionó un dispositivo anterior similar al perceptrón por BG Farley y WA Clark del Laboratorio Lincoln del MIT ; ^{[ 7 ]} sin embargo, según Joseph, "abandonaron el tema". ^{[ 19 ]}

Los primeros perceptrones no tenían unidades ocultas adaptativas. Sin embargo, Joseph (1960) ^{[ 19 ]} analizó una multicapa que sí las tenía. Rosenblatt (1962) ^{[ 20 ] : sección 16} citó y adoptó estas ideas, reconociendo el trabajo de HD Block y BW Knight. Sin embargo, estos primeros esfuerzos no dieron como resultado un algoritmo de aprendizaje funcional para unidades ocultas, es decir, aprendizaje profundo .

El perceptrón generó gran entusiasmo público por las redes neuronales, lo que llevó al gobierno estadounidense a aumentar drásticamente su financiación. Esto contribuyó a la "Edad de Oro de la IA", impulsada por las optimistas afirmaciones de los científicos informáticos sobre la capacidad de los perceptrones para emular la inteligencia humana. ^{[ 21 ]}

Las redes neuronales artificiales se identificaron como una dirección prometedora para la investigación en inteligencia artificial en la propuesta de 1955 para el Proyecto de Investigación de Verano de Dartmouth sobre Inteligencia Artificial . ^{[ 22 ]} Los modelos de redes neuronales inicialmente enfrentaron importantes limitaciones. Las restricciones de hardware limitaron el tamaño de la red y la eficiencia del entrenamiento, mientras que la comprensión teórica de los algoritmos de aprendizaje seguía siendo incompleta. Muchos modelos utilizaban perceptrones de una sola capa, que estaban restringidos a resolver problemas linealmente separables. Estas limitaciones se destacaron en el libro Perceptrons de Marvin Minsky y Seymour Papert , lo que disminuyó el interés durante finales de la década de 1960 y la década de 1970. ^{[ 23 ]}

En las décadas de 1960 y 1970 se llevó a cabo una investigación fundamental sobre las redes neuronales. El primer algoritmo de aprendizaje profundo funcional fue el método de agrupamiento de datos , un método para entrenar redes neuronales de profundidad arbitraria, publicado por Alexey Ivakhnenko y Valentin Lapa en la Unión Soviética (1965). Lo consideraron una forma de regresión polinómica , ^{[ 24 ]} generalizando el perceptrón de Rosenblatt. ^{[ 25 ]} Un artículo de 1971 describió una red profunda con ocho capas entrenada mediante este método, ^{[ 26 ]} entrenando capa por capa mediante análisis de regresión. Las unidades ocultas superfluas se podaron utilizando un conjunto de validación independiente. Las funciones de activación de los nodos fueron polinomios de Kolmogorov-Gabor, las primeras redes profundas con unidades multiplicativas o "compuertas". ^{[ 7 ]}

El primer perceptrón multicapa (MLP) de aprendizaje profundo entrenado mediante descenso de gradiente estocástico ^{[ 27 ]} fue publicado en 1967 por Shun'ichi Amari . ^{[ 28 ]} En experimentos computacionales realizados por el estudiante de Amari, S. Saito, un MLP de cinco capas con dos capas modificables aprendió representaciones internas para clasificar clases de patrones no linealmente separables. ^{[ 7 ]} Los desarrollos posteriores en hardware y ajuste de hiperparámetros hicieron del descenso de gradiente estocástico de extremo a extremo la técnica dominante para reducir la pérdida (error).

En 1969, Kunihiko Fukushima introdujo la función de activación ReLU (unidad lineal rectificada). ^{[ 7 ] [ 29 ] [ 30 ]} ReLU es la función de activación más común. ^{[ 31 ]}

Sin embargo, la investigación se estancó en Estados Unidos después de Minsky y Papert (1969), ^{[ 32 ]} quienes enfatizaron que los perceptrones eran incapaces de procesar el circuito exclusivo-o . No obstante, esta idea resultó irrelevante para las redes profundas de Ivakhnenko (1965) y Amari (1967).

En 1976 se introdujo el aprendizaje por transferencia . ^{[ 33 ]}

El interés en las redes neuronales resurgió durante la década de 1980 debido al novedoso algoritmo de retropropagación , que permitió entrenar eficientemente redes neuronales multicapa propagando gradientes de error hacia atrás (de la salida a la entrada) a través de las capas de la red. ^{[ 34 ]} La retropropagación es una aplicación eficiente de la regla de la cadena derivada por Gottfried Wilhelm Leibniz en 1673 ^{[ 35 ]} a redes de nodos diferenciables . La terminología "errores retropropagantes" fue introducida en 1962 por Rosenblatt, ^{[ 20 ]} pero no describió cómo implementarla. Henry J. Kelley desarrolló un precursor de la retropropagación en 1960 en el contexto de la teoría de control . ^{[ 36 ]} En 1970, Seppo Linnainmaa publicó la forma moderna de retropropagación en su tesis de maestría (1970). ^{[ 37 ] [ 38 ] [ 7 ]} GM Ostrovski et al. lo republicó en 1971. ^{[ 39 ] [ 40 ]} Paul Werbos aplicó la retropropagación a redes neuronales en 1982 ^{[ 41 ] [ 42 ]} (su tesis doctoral de 1974, reimpresa en un libro de 1994, ^{[ 43 ]} no describió el algoritmo). ^{[ 40 ]} En 1986, David E. Rumelhart , et al., popularizaron la retropropagación pero no citaron el trabajo original. ^{[ 44 ]}

Las arquitecturas de aprendizaje profundo para redes neuronales convolucionales (CNN) con capas convolucionales y capas de submuestreo y replicación de pesos comenzaron con el neocognitrón introducido por Kunihiko Fukushima en 1979. ^{[ 45 ] [ 46 ] [ 47 ]} La arquitectura CNN de Fukushima también introdujo el max pooling , ^{[ 48 ]} un procedimiento de submuestreo popular para CNN. Las CNN se han convertido en una herramienta esencial para la visión por computadora .

La red neuronal de retardo de tiempo (TDNN) fue introducida en 1987 por Alex Waibel para aplicar CNN al reconocimiento de fonemas. Utilizó convoluciones, compartición de pesos y retropropagación. ^{[ 49 ] [ 50 ]} En 1988, Wei Zhang aplicó una CNN entrenada con retropropagación para reconocer letras individuales. ^{[ 51 ]} En 1989, Yann LeCun et al. crearon una CNN llamada LeNet para reconocer códigos postales escritos a mano en el correo. El entrenamiento requirió 3 días. ^{[ 52 ]} En 1990, Wei Zhang implementó una CNN en hardware de computación óptica . ^{[ 53 ]} En 1991, se aplicó una CNN a la segmentación de objetos de imágenes médicas ^{[ 54 ]} y a la detección de cáncer de mama en mamografías. ^{[ 55 ]} LeNet-5 (1998), una CNN de 7 niveles por Yann LeCun et al. que clasifica dígitos escritos a mano, fue aplicado por los bancos para reconocer números en cheques digitalizados en imágenes de 32×32 píxeles. ^{[ 56 ]}

Desde 1988 en adelante, ^{[ 57 ] [ 58 ]} el uso de redes neuronales transformó el campo de la predicción de la estructura de proteínas , en particular cuando las primeras redes en cascada se entrenaron en perfiles (matrices) producidos por alineamientos de secuencias múltiples . ^{[ 59 ]}

Una fuente de RNN fue la mecánica estadística . En 1972, Shun'ichi Amari propuso modificar los pesos de un modelo de Ising mediante la regla de aprendizaje hebbiana como un modelo de memoria asociativa , incorporando el aprendizaje. ^{[ 60 ]} Esto fue popularizado como la red de Hopfield por John Hopfield (1982). ^{[ 61 ]} Otro origen de RNN fue la neurociencia. La palabra "recurrente" se usa para describir estructuras en forma de bucle en anatomía. En 1901, Cajal observó "semicírculos recurrentes" en la corteza cerebelosa . ^{[ 62 ]} Hebb consideró el "circuito reverberante" como una explicación para la memoria a corto plazo. ^{[ 63 ]} El artículo de McCulloch y Pitts (1943) consideró redes neuronales que contienen ciclos y señaló que la actividad actual de dichas redes puede verse afectada por la actividad en el pasado lejano. ^{[ 9 ]}

En 1982, Crossbar Adaptive Array, una red neuronal recurrente con arquitectura de matriz (en lugar de una arquitectura de perceptrón multicapa), ^{[ 64 ] [ 65 ]} utilizó conexiones recurrentes directas desde la salida a las entradas del supervisor (enseñanza). Además de calcular acciones (decisiones), calculaba evaluaciones de estado interno (emociones) de situaciones con consecuencias. Al eliminar el supervisor externo, introdujo el método de autoaprendizaje en las redes neuronales.

En psicología cognitiva, la revista American Psychologist debatió a principios de la década de 1980 la relación entre cognición y emoción. El psicólogo social Robert Zajonc afirmó en 1980 que la emoción se procesa primero y es independiente de la cognición, mientras que Richard Lazarus afirmó en 1982 que la cognición se procesa primero y es inseparable de la emoción. ^{[ 66 ] [ 67 ] [ 68 ]} Fue un ejemplo de un debate en el que una RNN contribuyó a un tema y también abordó la psicología cognitiva.

La red de Jordan (1986) y la red de Elman (1990) aplicaron redes neuronales recurrentes (RNN) para estudiar la psicología cognitiva .

En la década de 1980, la retropropagación no funcionaba bien para las RNN profundas. En 1991, Jürgen Schmidhuber propuso el "fragmentador de secuencia neuronal" o "compresor de historial neuronal" ^{[ 69 ] [ 70 ]} , que introdujo el preentrenamiento autosupervisado (la "P" en ChatGPT ) y la destilación del conocimiento neuronal . ^{[ 7 ]} En 1993, un sistema compresor de historial neuronal resolvió una tarea de "aprendizaje muy profundo" que requería más de 1000 capas en una RNN desplegada en el tiempo. ^{[ 71 ]}

En 1991, la tesis de diploma de Sepp Hochreiter identificó y analizó el problema del gradiente evanescente ^{[ 72 ] [ 73 ]} y propuso conexiones residuales recurrentes para resolverlo. Él y Schmidhuber introdujeron la memoria a corto y largo plazo (LSTM), que estableció récords de precisión en múltiples dominios de aplicación. ^{[ 74 ] [ 75 ]} Esta no fue la versión definitiva de LSTM, que requería la puerta de olvido, y se introdujo en 1999. ^{[ 76 ]} Se convirtió en la opción predeterminada para la arquitectura RNN.

Durante 1985–1995, inspirados por la mecánica estadística, Terry Sejnowski , Peter Dayan , Geoffrey Hinton y otros desarrollaron varias arquitecturas y métodos , incluyendo la máquina de Boltzmann , ^{[ 77 ]} la máquina de Boltzmann restringida , ^{[ 78 ]} la máquina de Helmholtz , ^{[ 79 ]} y el algoritmo de vigilia-sueño . ^{[ 80 ]} Estos fueron diseñados para el aprendizaje no supervisado de modelos generativos profundos.

Entre 2009 y 2012, las NN comenzaron a ganar premios en concursos de reconocimiento de imágenes, acercándose al rendimiento humano en varias tareas, inicialmente en reconocimiento de patrones y reconocimiento de escritura a mano . ^{[ 81 ] [ 82 ]} En 2011, DanNet, ^{[ 83 ] [ 84 ]} una CNN de Dan Ciresan, Ueli Meier, Jonathan Masci, Luca Maria Gambardella y Schmidhuber logró por primera vez un rendimiento sobrehumano en un concurso de reconocimiento de patrones visuales, superando a los métodos tradicionales por un factor de 3. ^{[ 47 ]} Luego ganó más concursos. ^{[ 85 ] [ 86 ]} También demostraron cómo el max-pooling de CNN en GPU mejoraba el rendimiento. ^{[ 87 ]}

En octubre de 2012, AlexNet, de Alex Krizhevsky , Ilya Sutskever y Hinton ^{[ 88 ],} ganó la competición ImageNet a gran escala por un margen significativo frente a los métodos de aprendizaje automático superficiales. Otras mejoras incrementales incluyeron la red VGG-16 de Karen Simonyan y Andrew Zisserman ^{[ 89 ]} e Inceptionv3 de Google ^{[ 90 ]} .

En 2012, Ng y Dean crearon una red que aprendió a reconocer conceptos de nivel superior, como gatos, entrenándose únicamente con imágenes sin etiquetar. ^{[ 91 ]} El preentrenamiento no supervisado y el aumento de la capacidad de cómputo de las GPU y la computación distribuida permitieron el uso de redes más grandes, particularmente en problemas de reconocimiento de imágenes y visuales, lo que se conoció como "aprendizaje profundo". ^{[ 92 ]}

Las redes de funciones de base radial y de ondículas se introdujeron en 2013. Se ha demostrado que ofrecen las mejores propiedades de aproximación y se han aplicado en aplicaciones de identificación y clasificación de sistemas no lineales . ^{[ 93 ]}

Las redes generativas antagónicas (GAN) ( Ian Goodfellow et al., 2014) ^{[ 94 ]} se convirtieron en el estado del arte en el modelado generativo de 2014 a 2018. GAN fue publicado originalmente en 1991 por Schmidhuber, quien lo llamó "curiosidad artificial": dos redes neuronales compiten entre sí en forma de un juego de suma cero , donde la ganancia de una red es la pérdida de la otra. ^{[ 95 ] [ 96 ]} La primera red es un modelo generativo que modela una distribución de probabilidad sobre patrones de salida. La segunda red aprende por descenso de gradiente para predecir las reacciones del entorno a estos patrones. StyleGAN de Nvidia (2018) ^{[ 97 ]} logró una excelente calidad de imagen basada en la GAN progresiva de Tero Karras et al. ^{[ 98 ]} Aquí, el generador GAN crece de pequeña a gran escala de forma piramidal. La generación de imágenes mediante GAN alcanzó un éxito popular y provocó debates sobre los deepfakes . ^{[ 99 ]} Los modelos de difusión (2015) ^{[ 100 ]} eclipsaron a las GAN en el modelado generativo a partir de entonces, con sistemas como DALL·E 2 (2022) y Stable Diffusion (2022).

En 2014, el estado del arte era entrenar "[una] red neuronal muy profunda" con 20 a 30 capas. ^{[ 101 ]} Apilar demasiadas capas condujo a una fuerte reducción en la precisión del entrenamiento , ^{[ 102 ]} conocido como el problema de "degradación". ^{[ 103 ]} En 2015, el entrenamiento de redes muy profundas avanzó con la red Highway , publicada en mayo, ^{[ 104 ]} y la red neuronal residual (ResNet) en diciembre. ^{[ 105 ] [ 106 ]} ResNet se comporta como una Highway Net de puerta abierta.

Durante la década de 2010, se desarrolló el modelo seq2seq y se añadieron mecanismos de atención. Esto condujo a la arquitectura transformadora moderna en 2017 en " Attention Is All You Need ". ^{[ 4 ]} Requiere un tiempo de computación que es cuadrático en el tamaño de la ventana de contexto. El controlador de peso rápido de Schmidhuber (1992) ^{[ 107 ]} escala linealmente y posteriormente se demostró que era equivalente al transformador lineal no normalizado. ^{[ 108 ] [ 109 ] [ 7 ]} Los transformadores se han convertido cada vez más en el modelo de elección para el procesamiento del lenguaje natural . ^{[ 110 ]} Muchos modelos de lenguaje grandes modernos como GPT , Gemini , Grok , DeepSeek y Qwen utilizan esta arquitectura.

Las NN están compuestas por neuronas digitales , conceptualmente derivadas de neuronas biológicas . Cada neurona tiene una o más entradas numéricas y produce una única salida numérica. ^{[ 111 ]} Una entrada (por ejemplo, una imagen) se divide típicamente entre el conjunto de neuronas de entrada (cada una recibe una parte de la imagen). Las entradas de cada neurona, ponderadas por los pesos de las conexiones de cada una de esas entradas, se suman. A esta suma se le añade un término de sesgo. ^{[ 112 ]} El resultado se pasa luego a través de una función de activación no lineal para producir la salida de la neurona. Las salidas suficientemente pequeñas pueden ser anuladas (ignoradas). ^{[ 113 ] [ 114 ] [ 115 ]}

Las redes neuronales conectan neuronas entre sí, utilizando la salida de algunas neuronas como entrada de otras, de forma similar a las conexiones biológicas axón - sinapsis - dendrita . ^{[ 116 ]} La red forma un grafo dirigido y ponderado . Los pesos se aplican tanto a los nodos como a las aristas del grafo. ^{[ 117 ]}

Los nodos se organizan en capas, donde las capas inferiores acceden directamente a los datos sin procesar, mientras que las capas superiores muestran los resultados finales. Las capas intermedias aumentan gradualmente el nivel de abstracción, de modo que lo que comenzó como, por ejemplo, píxeles en una imagen, se resuelve gradualmente en elementos como los límites de los objetos y, posteriormente, en objetos del mundo real como letras y rostros. ^{[ 117 ] [ 113 ]} También se utilizan redes de una sola capa y redes sin capas.

Se han utilizado múltiples patrones de conexión. Tradicionalmente, están completamente conectados , con cada neurona de una capa conectada a cada neurona de la siguiente capa. ^{[ 118 ]} Sin embargo, en las redes neuronales convolucionales , algunas capas son convolucionales, lo que significa que cada neurona de una capa está conectada a un subconjunto de neuronas de la capa anterior, como las que representan una sección de una imagen. ^{[ 119 ] [ 120 ]}

En la mayoría de las redes neuronales, las salidas de las neuronas de una capa están conectadas únicamente a las neuronas de la capa inmediatamente siguiente ( grafo acíclico dirigido ), lo que significa que la información solo fluye hacia adelante de una capa a la siguiente. Estas se conocen como redes de alimentación directa . ^{[ 121 ]} En contraste, las redes que permiten conexiones entre neuronas de la misma capa o de capas anteriores se conocen como redes recurrentes . ^{[ 122 ]}

Si bien es posible evaluar una función de pérdida ad hoc , normalmente debe exhibir propiedades deseables como convexidad , diferenciabilidad y robustez . ^{[ 125 ]} En un modelo probabilístico, la probabilidad posterior del modelo puede usarse como un costo inverso (valores más altos son mejores).

La retropropagación es un método utilizado para ajustar los pesos de las conexiones para compensar los errores encontrados durante el aprendizaje. La cantidad de error se divide esencialmente entre las conexiones. Técnicamente, la retropropagación calcula el gradiente (la derivada) de la función de pérdida asociada a un estado dado con respecto a los pesos. Las actualizaciones de los pesos se pueden hacer mediante descenso de gradiente estocástico u otros métodos, como máquinas de aprendizaje extremo , ^{[ 126 ]} redes "sin propagación", ^{[ 127 ]} entrenamiento sin retroceso, ^{[ 128 ]} redes "sin peso", ^{[ 129 ]} y redes neuronales no conexionistas .

Un hiperparámetro es un parámetro que define cualquier parte configurable de la red y del proceso de aprendizaje, cuyo valor se establece antes del entrenamiento. ^{[ 130 ]} Ejemplos de hiperparámetros incluyen la tasa de aprendizaje , el tamaño del lote de muestras, el número de nodos y capas, etc. ^{[ 131 ]} El rendimiento de una red neuronal está fuertemente influenciado por la elección de hiperparámetros, y por lo tanto, puede ajustarse durante el entrenamiento (normalmente entre ejecuciones de entrenamiento), un proceso llamado ajuste u optimización de hiperparámetros. ^{[ 132 ]}

El aprendizaje automático ha implicado una variedad de enfoques para entrenar modelos, incluyendo aprendizaje supervisado , ^{[ 135 ]} aprendizaje no supervisado , ^{[ 136 ]} aprendizaje por refuerzo , ^{[ 137 ]} y aprendizaje autosupervisado .

En la situación s, realice la acción a; Recibir la consecuencia de la situación s'; Calcular la emoción de estar en la situación de consecuencia v(s'); Actualizar la memoria de la matriz de interconexión w'(a,s) = w(a,s) + v(s').

Las redes neuronales estocásticas derivadas de los modelos de Sherrington-Kirkpatrick son un tipo de red neuronal construida mediante la introducción de variaciones aleatorias, ya sea asignando a las neuronas funciones de transferencia estocásticas ^{[ 159 ]} o ponderaciones estocásticas. Esto las convierte en herramientas útiles para problemas de optimización , dado que las fluctuaciones aleatorias ayudan a la red a escapar de mínimos locales ^{[ 160 ]} . Las redes neuronales estocásticas entrenadas mediante un enfoque bayesiano se conocen como redes neuronales bayesianas ^{[ 161 ] .}

El aprendizaje profundo topológico , introducido en 2017, ^{[ 162 ]} integra la topología con redes neuronales profundas para abordar datos de alto orden. Inicialmente arraigado en la topología algebraica , el TDL evolucionó hasta convertirse en un marco versátil que incorpora herramientas de disciplinas matemáticas como la topología diferencial y la topología geométrica .

En un marco bayesiano , se elige una distribución sobre el conjunto de modelos permitidos para minimizar el costo. Los métodos evolutivos , ^{[ 163 ]} la programación de expresión genética , ^{[ 164 ]} el recocido simulado , ^{[ 165 ]} la expectativa-maximización , los métodos no paramétricos y la optimización por enjambre de partículas ^{[ 166 ]} son ​​otros algoritmos de aprendizaje. La recursión convergente es un algoritmo de aprendizaje para redes neuronales de controlador de articulación del modelo cerebeloso (CMAC). ^{[ 167 ] [ 168 ]}

El perceptrón multicapa es un aproximador de funciones universal , como lo demuestra el teorema de aproximación universal . Sin embargo, la demostración no especifica el número de neuronas necesarias, la topología de la red, los pesos ni los parámetros de aprendizaje.

Una arquitectura recurrente con pesos de valor racional (a diferencia de pesos de precisión completa con valores de números reales) tiene la potencia de una máquina de Turing universal , ^{[ 177 ]} utilizando un número finito de neuronas y conexiones lineales. Además, el uso de valores irracionales para los pesos da como resultado una máquina con potencia super-Turing . ^{[ 178 ] [ 179 ]}

La propiedad de "capacidad" de un modelo es su habilidad para modelar cualquier función dada. Está relacionada con la cantidad de información que se puede almacenar en la red y con la noción de complejidad. La capacidad de información y la dimensión VC son dos métricas. La capacidad de una red de neuronas estándar (no convolucionales) se puede derivar mediante cuatro reglas ^{[ 180 ]} que se derivan de considerar una neurona como un elemento eléctrico.

La capacidad de información captura las funciones que la red puede modelar a partir de cualquier dato de entrada. La dimensión VC utiliza los principios de la teoría de la medida y encuentra la capacidad máxima en circunstancias óptimas, dados los datos de entrada en un formato específico. La dimensión VC para entradas arbitrarias es la mitad de la capacidad de información de un perceptrón. La dimensión VC para puntos arbitrarios a veces se denomina capacidad de memoria. ^{[ 181 ] [ 182 ]}

Los modelos pueden no converger consistentemente en una única solución, ya que el sistema puede quedar atrapado en un mínimo local. Asimismo, el método de optimización utilizado podría no garantizar la convergencia si parte lejos de cualquier mínimo local. En tercer lugar, para conjuntos de datos o parámetros suficientemente grandes, algunos métodos resultan excesivamente lentos o costosos. El entrenamiento también puede cruzar algún punto de silla que impida el acceso a la solución.

Cuando el ancho de una red tiende a infinito, se describe bien mediante su expansión de Taylor de primer orden durante el entrenamiento, y por lo tanto hereda el comportamiento de convergencia de los modelos afines . ^{[ 183 ] [ 184 ]} Cuando el número de parámetros es pequeño, las NN suelen ajustar las funciones objetivo de bajas a altas frecuencias. Este comportamiento se conoce como sesgo espectral o principio de frecuencia. ^{[ 185 ] [ 186 ] [ 187 ]} Este fenómeno es opuesto al comportamiento de algunos esquemas numéricos iterativos bien estudiados, como el método de Jacobi . Las redes neuronales más profundas están más sesgadas hacia las funciones de baja frecuencia. ^{[ 188 ]}

Las aplicaciones que deben generalizar bien a ejemplos no vistos deben evitar el sobreentrenamiento . Esto ocurre en sistemas complejos o excesivamente especificados cuando la capacidad de la red es mucho mayor de la necesaria.

Existen dos enfoques para abordar el sobreentrenamiento. La validación cruzada y técnicas similares permiten detectar el sobreentrenamiento y seleccionar los hiperparámetros adecuados para minimizar el error de generalización. La regularización en un marco probabilístico (bayesiano) se puede realizar seleccionando una probabilidad a priori mayor sobre modelos más simples; pero también en la teoría del aprendizaje estadístico, donde el objetivo es minimizar dos cantidades: el "riesgo empírico" y el "riesgo estructural", que corresponden aproximadamente al error sobre el conjunto de entrenamiento y al error predicho en datos no vistos debido al sobreajuste.

Las redes neuronales supervisadas que utilizan una función de coste de error cuadrático medio (ECM) pueden emplear métodos estadísticos formales para determinar la confianza del modelo entrenado. El ECM en un conjunto de validación puede utilizarse como estimación de la varianza. Este valor puede emplearse para calcular el intervalo de confianza de la salida de la red, asumiendo una distribución normal . Un análisis de confianza realizado de esta manera es estadísticamente válido siempre que la distribución de probabilidad de la salida permanezca invariable y la red no se modifique.

Al adoptar una función de activación softmax , una generalización de la función logística , en la capa de salida de la red neuronal (o un componente softmax en una red basada en componentes) para variables objetivo categóricas, las salidas pueden interpretarse como probabilidades posteriores. Esto resulta útil en la clasificación, ya que proporciona una medida de certeza.

La función de activación softmax es:

${\displaystyle y_{i}={\frac {e^{x_{i}}}{\sum _{j=1}^{c}e^{x_{j}}}}}$

Las redes neuronales se emplean en tareas de visión artificial como la clasificación de imágenes, el reconocimiento de objetos y rostros, y la segmentación de imágenes. Se han aplicado a la obtención automatizada de imágenes médicas para el diagnóstico. ^{[ 233 ]}

Las redes neuronales se utilizan para la identificación de locutores, la conversión de voz a texto y de texto a voz. Han conquistado el reconocimiento continuo del habla con un amplio vocabulario , superando a las técnicas tradicionales. ^{[ 233 ] [ 234 ]} Estos avances han permitido el desarrollo de sistemas activados por voz más precisos y eficientes, mejorando las interfaces de usuario en productos tecnológicos. ^{[ 235 ] [ 236 ]}

En el procesamiento del lenguaje natural , las redes neuronales se utilizan para tareas como la clasificación de textos , el análisis de sentimientos , la traducción automática , para responder preguntas de formato libre, actuar como chatbots y resumir y analizar textos. ^{[ 233 ] [ 234 ]} Esto tiene implicaciones para el servicio al cliente automatizado, la moderación de contenido y las tecnologías de comprensión del lenguaje. ^{[ 237 ]}

Las redes neuronales se utilizan para modelar sistemas dinámicos para tareas como la identificación de sistemas, el diseño de control, los vehículos autónomos y la optimización. ^{[ 238 ]}

Las redes neuronales analizan conjuntos de datos médicos. Mejoran la precisión diagnóstica, especialmente al interpretar imágenes médicas complejas para la detección temprana de enfermedades y al predecir los resultados de los pacientes para la planificación de tratamientos personalizados. ^{[ 234 ]} En el descubrimiento de fármacos , las redes neuronales aceleran la identificación de posibles candidatos a fármacos y predicen su eficacia y seguridad, reduciendo significativamente el tiempo y los costos de desarrollo. ^{[ 233 ]} Además, su aplicación en medicina personalizada y análisis de datos sanitarios permite terapias a medida y una gestión eficiente de la atención al paciente. ^{[ 234 ]}

Las redes neuronales se aplican ampliamente en ciberseguridad para la detección de anomalías, la clasificación de malware y la detección de intrusiones. Al aprender patrones del comportamiento normal del sistema o la red, las redes neuronales pueden identificar desviaciones que indican actividad maliciosa. ^{[ 241 ]}

Los Transformers se utilizan para la creación de contenido en numerosas industrias. ^{[ 242 ]} Pueden analizar muestras y producir resultados que coincidan con el estilo de un artista o músico. Por ejemplo, DALL-E se entrenó con 650 millones de pares de imágenes y textos y puede crear obras de arte basadas en el texto del usuario. ^{[ 243 ]} Empresas como AIVA y Jukedeck han utilizado Transformers para crear música original. ^{[ 244 ]} Las redes neuronales se han utilizado para crear anuncios personalizados. ^{[ 242 ]} Las productoras cinematográficas han utilizado redes neuronales para analizar el éxito financiero de una película. ^{[ 245 ]} Las redes neuronales han encontrado usos en la creación de videojuegos. ^{[ 246 ]}

Las redes neuronales requieren millones de muestras de entrenamiento para ser funcionales. En 2026, entrenar un modelo de aprendizaje por lotes comercial (GPT, Grok, Gemini) generalmente requería cientos de miles de computadoras y costaba decenas de millones de dólares. ^{[ 247 ] [ 167 ]}

Una afirmación central de las redes neuronales es que incorporan principios generales nuevos y potentes para el procesamiento de la información. Sin embargo, en esencia, utilizan métodos estadísticos desarrollados desde hace mucho tiempo.

Las redes neuronales requieren enormes recursos informáticos para su entrenamiento. ^{[ 248 ]} Mientras que el cerebro requiere solo 20 vatios de potencia, ^{[ 249 ]} el entrenamiento de transformadores comerciales requiere (2026) centros de datos con cientos de megavatios. ^{[ 250 ]}

Desde 1991 hasta 2015, la potencia de cálculo, especialmente la proporcionada por las GPGPU (en GPU ), aumentó aproximadamente un millón de veces, lo que permitió el uso del algoritmo de retropropagación. ^{[ 47 ]}

La ingeniería neuromórfica o la construcción de redes neuronales físicas mediante chips no von Neumann permite implementar directamente redes neuronales en circuitos. Por ejemplo, Alphabet introdujo chips personalizados ( Unidad de Procesamiento Tensorial ). ^{[ 251 ]}

Las propiedades estadísticas de los datos de entrada pueden variar con el tiempo, un fenómeno conocido como deriva conceptual o no estacionariedad . Esta deriva puede reducir la precisión predictiva y conducir a decisiones poco fiables o sesgadas si no se detecta y corrige. En la práctica, esto significa que la precisión del modelo durante su implementación puede diferir sustancialmente de los niveles observados durante el entrenamiento.

Se han desarrollado diversas estrategias para monitorizar las redes neuronales en busca de desviaciones y degradación:

• Monitorización basada en errores : compara las predicciones actuales con las etiquetas de referencia. Este enfoque cuantifica directamente el rendimiento predictivo, pero puede resultar poco práctico cuando las etiquetas se retrasan o son difíciles de obtener.
• Monitorización de la distribución de datos : detección de cambios en la distribución de los datos de entrada mediante pruebas estadísticas, medidas de divergencia o estimación de la razón de densidad.
• Monitoreo de la representación : seguimiento de la distribución de incrustaciones internas o características de la capa oculta. Los cambios en la representación latente pueden indicar no estacionariedad incluso cuando no se dispone de etiquetas. Se han adaptado métodos estadísticos, como los gráficos de control de procesos estadísticos, para este propósito. ^{[ 252 ]}

Las redes neuronales dependen de la calidad de sus datos de entrenamiento; los datos de baja calidad pueden llevar al modelo a producir resultados deficientes. ^{[ 253 ] [ 254 ]} Los datos sesgados producen resultados sesgados, lo que requiere que los entrenadores los detecten y corrijan. Por ejemplo, los datos que subrepresentan a algunos grupos demográficos pueden prevenir errores, por ejemplo, en el reconocimiento facial y la aplicación de la ley . ^{[ 254 ] [ 255 ]} En 2018, Amazon descartó una herramienta de reclutamiento porque el modelo favorecía a los hombres sobre las mujeres para los puestos de ingeniería de software debido a la mayor cantidad de trabajadores masculinos en el campo. ^{[ 255 ]} El sistema penalizaba los currículos con la palabra "mujer" o el nombre de una universidad femenina. Una corrección es agregar datos sintéticos para compensar el sesgo. ^{[ 256 ]}

Las redes neuronales son sistemas de "caja negra" que tienen una comprensión compleja de sus procesos de toma de decisiones. Además, son vulnerables a ejemplos adversarios ("envenenamiento"), que pueden provocar predicciones incorrectas.

Estas preocupaciones han impulsado la investigación en inteligencia artificial explicable (XAI), aprendizaje automático robusto y enfoques de IA híbrida que combinan el aprendizaje neuronal con el razonamiento simbólico. Los defensores de los modelos híbridos también afirman que dicha combinación puede capturar mejor los mecanismos de la mente humana. ^{[ 257 ] [ 258 ]}

El progreso ha incluido el aprendizaje local frente al no local y las arquitecturas superficiales frente a las profundas. ^{[ 259 ]}

Analizar el pensamiento humano (una red neuronal biológica) también ha resultado difícil.