En la teoría de redes , la clasificación colectiva es la predicción simultánea de etiquetas para múltiples objetos, donde cada etiqueta se predice utilizando información sobre las características observadas del objeto , las características y etiquetas observadas de sus vecinos, y las etiquetas no observadas de sus vecinos. [ 1 ] Los problemas de clasificación colectiva se definen en términos de redes de variables aleatorias, donde la estructura de la red determina la relación entre las variables aleatorias. La inferencia se realiza sobre múltiples variables aleatorias simultáneamente, típicamente propagando información entre nodos en la red para realizar una inferencia aproximada . Los enfoques que utilizan la clasificación colectiva pueden utilizar información relacional al realizar la inferencia. Ejemplos de clasificación colectiva incluyen la predicción de atributos (p. ej., género, edad, afiliación política) de individuos en una red social , la clasificación de páginas web en la World Wide Web y la inferencia del área de investigación de un artículo en un conjunto de datos de publicaciones científicas.
Motivación y antecedentes
Tradicionalmente, uno de los principales objetivos del aprendizaje automático es resolver problemas de clasificación . (Por ejemplo, dada una colección de correos electrónicos, queremos determinar cuáles son spam y cuáles no). Muchos modelos de aprendizaje automático para realizar esta tarea intentan categorizar cada elemento de forma independiente y se centran en predecir las etiquetas de clase por separado. Sin embargo, la precisión de la predicción para las etiquetas cuyos valores deben inferirse puede mejorarse conociendo las etiquetas de clase correctas para los elementos relacionados. Por ejemplo, es más fácil predecir el tema de una página web si conocemos los temas de las páginas web que enlazan con ella. Del mismo modo, la probabilidad de que una palabra en particular sea un verbo aumenta si sabemos que la palabra anterior en la oración es un sustantivo; conocer los primeros caracteres de una palabra puede facilitar mucho la identificación de los caracteres restantes. Muchos investigadores han propuesto técnicas que intentan clasificar muestras de forma conjunta o colectiva, en lugar de tratar cada muestra de forma aislada; estas técnicas han permitido mejoras significativas en la precisión de la clasificación. [ 1 ] [ 2 ]
Ejemplo
Consideremos la tarea de inferir la afiliación política de los usuarios en una red social, donde una parte de estas afiliaciones son observables y el resto no. Cada usuario posee características locales, como la información de su perfil, y existen vínculos entre los usuarios que son amigos en esta red social. Un enfoque que no clasifique colectivamente a los usuarios considerará a cada usuario de la red de forma independiente y utilizará sus características locales para inferir las afiliaciones políticas. Un enfoque que realice una clasificación colectiva podría asumir que los usuarios que son amigos tienden a tener opiniones políticas similares y, por lo tanto, podría inferir conjuntamente todas las afiliaciones políticas no observables, aprovechando la rica estructura relacional de la red social.
Definición
Consideremos el problema de aprendizaje semisupervisado de asignar etiquetas a los nodos de una red utilizando el conocimiento de un subconjunto de las etiquetas de los nodos. Específicamente, se nos da una red representada por un grafo.con un conjunto de nodosy un conjunto de bordesrepresentando relaciones entre nodos. Cada nodose describe por sus atributos: un vector de característicasy su etiqueta (o clase).
se puede dividir además en dos conjuntos de nodos:, el conjunto de nodos para los cuales conocemos los valores de etiqueta correctos (variables observadas), y, los nodos cuyas etiquetas deben inferirse. La tarea de clasificación colectiva consiste en etiquetar los nodos encon una etiqueta de un juego de etiquetas.
En tales entornos, los algoritmos de clasificación tradicionales asumen que los datos se extraen de forma independiente e idéntica de alguna distribución (iid). Esto significa que las etiquetas inferidas para los nodos cuya etiqueta no se observa son independientes entre sí. No se hace esta suposición al realizar una clasificación colectiva. En cambio, hay tres tipos distintos de correlaciones que se pueden utilizar para determinar la clasificación o etiqueta de:
- Las correlaciones entre la etiqueta dey los atributos observados deLos clasificadores i.i.d. tradicionales que utilizan vectores de características son un ejemplo de enfoques que utilizan esta correlación.
- Las correlaciones entre la etiqueta dey los atributos observados (incluidas las etiquetas observadas) de los nodos en el vecindario de.
- Las correlaciones entre la etiqueta dey las etiquetas no observadas de objetos en el vecindario de.
La clasificación colectiva se refiere a la clasificación combinada de un conjunto de objetos interconectados utilizando los tres tipos de información mencionados anteriormente.
Métodos
Existen varios enfoques para la clasificación colectiva. Los dos métodos principales son los métodos iterativos y los métodos basados en modelos gráficos probabilísticos . [ 3 ]
Métodos iterativos
La idea general de los métodos iterativos es combinar y revisar iterativamente las predicciones de cada nodo para alcanzar un equilibrio. Cuando la actualización de las predicciones de cada nodo es una operación rápida, la complejidad de estos métodos iterativos se define por el número de iteraciones necesarias para la convergencia. Si bien la convergencia y la optimalidad no siempre están garantizadas matemáticamente, en la práctica, estos enfoques suelen converger rápidamente a una buena solución, dependiendo de la estructura del grafo y la complejidad del problema. Los métodos presentados en esta sección son representativos de este enfoque iterativo.
Propagación de etiquetas
Una suposición natural en la clasificación de redes es que los nodos adyacentes probablemente tengan la misma etiqueta (es decir, contagio u homofilia ). El predictor para el nodoEl método de propagación de etiquetas es un promedio ponderado de sus etiquetas vecinas.[ 4 ]
Algoritmos de Clasificación Iterativos (ICA)
Aunque la propagación de etiquetas es sorprendentemente efectiva, a veces puede fallar al capturar dinámicas relacionales complejas. Los enfoques más sofisticados pueden usar predictores más ricos. Supongamos que tenemos un clasificadorque ha sido entrenado para clasificar un nododadas sus característicasy las característicasy etiquetasde sus vecinosLa clasificación iterativa aplica un clasificador local para cada nodo, que utiliza información sobre las predicciones actuales y la información real sobre los vecinos del nodo, e itera hasta que las predicciones locales convergen a una solución global. La clasificación iterativa es un "marco algorítmico", ya que es independiente de la elección del predictor; esto la convierte en una herramienta muy versátil para la clasificación colectiva. [ 5 ] [ 6 ] [ 7 ]
Clasificación colectiva con modelos gráficos
Otro enfoque para la clasificación colectiva consiste en representar el problema con un modelo gráfico y utilizar técnicas de aprendizaje e inferencia para que dicho modelo gráfico permita llegar a las clasificaciones correctas. Los modelos gráficos son herramientas para la inferencia probabilística conjunta, lo que los hace ideales para la clasificación colectiva. Se caracterizan por una representación gráfica de una distribución de probabilidad., en el que las variables aleatorias son nodos en un grafoLos modelos gráficos se pueden clasificar a grandes rasgos según si el grafo subyacente es dirigido (por ejemplo, redes bayesianas o conjuntos de clasificadores locales) o no dirigido (por ejemplo, campos aleatorios de Markov (MRF)).
Muestreo de Gibbs
El muestreo de Gibbs es un marco general para aproximar una distribución. Es un algoritmo de Monte Carlo de cadena de Markov , ya que muestrea iterativamente a partir de la estimación actual de la distribución, construyendo una cadena de Markov que converge a la distribución objetivo (estacionaria). La idea básica del muestreo de Gibbs es muestrear para la mejor estimación de etiqueta paradados todos los valores para los nodos enutilizando un clasificador localpara un número fijo de iteraciones. Después de eso, muestreamos etiquetas para caday mantener estadísticas de conteo para la cantidad de veces que muestreamos la etiquetapara el nodo. Después de recopilar un número predefinido de dichas muestras, generamos la mejor asignación de etiquetas para el nodoeligiendo la etiqueta que se asignó el número máximo de veces amientras se recolectaban muestras. [ 8 ] [ 9 ]
Propagación de creencias absurdas
Para ciertos modelos gráficos no dirigidos, es posible realizar inferencias exactas de manera eficiente mediante el paso de mensajes o algoritmos de propagación de creencias . [ 10 ] Estos algoritmos siguen un patrón iterativo simple: cada variable transmite sus "creencias" sobre las distribuciones marginales de sus vecinos y luego utiliza los mensajes entrantes sobre su propio valor para actualizar sus creencias. La convergencia a las distribuciones marginales verdaderas está garantizada para los MRF con estructura de árbol, pero no para los MRF con ciclos.
Aprendizaje relacional estadístico (SRL) relacionado
El aprendizaje relacional estadístico se utiliza a menudo para abordar problemas de clasificación colectiva. Se han aplicado diversos métodos de SRL al contexto de la clasificación colectiva. Algunos de estos métodos incluyen métodos directos como los modelos relacionales probabilísticos (PRM), [ 11 ] modelos condicionales acoplados como la clasificación basada en enlaces, [ 12 ] y métodos indirectos como las redes de lógica de Markov (MLN) [ 13 ] y la lógica suave probabilística (PSL). [ 14 ]
Aplicaciones
La clasificación colectiva se aplica en muchos dominios que presentan una estructura relacional, como por ejemplo:
- Análisis de redes sociales , donde los enfoques colectivos para tareas de clasificación de nodos, como la detección de usuarios maliciosos, pueden utilizar información sobre las relaciones entre nodos. [ 15 ] [ 16 ]
- Resolución de entidades , donde se pueden utilizar las relaciones de coautoría para identificar a los autores de los artículos. [ 17 ]
- Reconocimiento de entidades nombradas , donde algunos enfoques tratan esto como un problema de etiquetado de secuencias de texto e infieren conjuntamente las etiquetas de cada palabra en una oración, típicamente mediante el uso de un campo aleatorio condicional que modela una cadena lineal de dependencias entre las etiquetas de palabras adyacentes en la oración. [ 18 ]
- Clasificación de documentos , donde, por ejemplo, las similitudes semánticas entre documentos pueden utilizarse colectivamente como señales de que ciertos documentos pertenecen a la misma clase. [ 19 ]
- Biología computacional , donde se utilizan modelos gráficos como campos aleatorios de Markov para inferir conjuntamente relaciones entre entidades biológicas como los genes. [ 20 ]
- Visión por computadora , donde, por ejemplo, se puede aplicar la clasificación colectiva para reconocer múltiples objetos simultáneamente. [ 21 ]
Véase también
Referencias
- 1 2 Sen, Prithviraj; Namata, Galileo; Bilgic, Mustafa; Getoor, Lise; Galligher, Brian; Eliassi-Rad, Tina (2008). "Clasificación colectiva en datos de red" . AI Magazine . 29 (3): 93. doi : 10.1609/aimag.v29i3.2157 . hdl : 1903/7546 . ISSN 0738-4602 .
- ↑ Kajdanowicz, Tomasz; Kazienko, Przemysław (2018). "Clasificación Colectiva". Enciclopedia de Análisis y Minería de Redes Sociales . págs. 253–265 . doi : 10.1007/978-1-4939-7131-2_45 . ISBN 978-1-4939-7130-5.
- ↑ London, Ben; Getoor, Lise (2014). "Clasificación colectiva de datos de red". Clasificación de datos: algoritmos y aplicaciones . 29 : 399–416 .
- ↑ Zhu, Xiaojin (2002). Aprendizaje a partir de datos etiquetados y no etiquetados con propagación de etiquetas (Informe técnico). CiteSeerX 10.1.1.14.3864 .
- ↑ Neville, Jennifer; Jensen, David (2000). Clasificación iterativa en datos relacionales (PDF) . Taller AAAI sobre aprendizaje de modelos estadísticos a partir de datos relacionales (SRL). AAAI. pág. 8.
- ↑ Chakrabarti, Soumen; Dom, Byron; Indyk, Piotr (1998). Enhanced Hypertext Categorization Using Hyperlinks . Proceedings of the 1998 ACM SIGMOD International Conference on Management of Data. Association for Computing Machinery (ACM). pp. 307– 318. doi : 10.1145/276304.276332 .
- ↑ Jensen, David; Neville, Jennifer; Gallagher, David (2000). Por qué la inferencia colectiva mejora la clasificación relacional . Conferencia internacional ACM SIGKDD sobre descubrimiento de conocimiento y minería de datos. Association for Computing Machinery (ACM). pág. 5. doi : 10.1145/1014052.1014125 .
- ↑ Mackskassy, Sofus; Provost, Foster (2007). "Clasificación en datos de red: un conjunto de herramientas y un estudio de caso univariado" (PDF) . Journal of Machine Learning Research : 935–983 .
- ↑ Geman, Stuart; Donald, Foster (1990). "Relajación estocástica, distribuciones de Gibbs y restauración bayesiana de imágenes". Lecturas sobre razonamiento incierto . Morgan Kaufmann Publishers Inc. págs. 452–472 .
- ↑ Yedidia, JS; Freeman, WT; Y. (enero de 2003). «Comprender la propagación de creencias y sus generalizaciones» . En Lakemeyer, Gerhard; Nebel, Bernhard (eds.). Explorando la inteligencia artificial en el nuevo milenio . Morgan Kaufmann. págs. 239–236 . ISBN 978-1-55860-811-5. Consultado el 30 de marzo de 2009 .
- ↑ Getoor, Lise; Friedman, Nir; Koller, Daphne; Taskar, Benjamin (2002). "Aprendizaje de modelos probabilísticos de la estructura de enlaces" . J. Mach. Learn. Res . 3 : 679–707 .
- ↑ Lu, Qing; Getoor, Lise (2003). Clasificación basada en enlaces (PDF) . Conferencia Internacional sobre Aprendizaje Automático (ICML).
- ↑ Richardson, Matthew; Domingos, Pedro M. (2006). "Redes lógicas de Markov". Mach. Learn . 62 ( 1– 2): 107– 136. Bibcode : 2006MLear..62..107R . doi : 10.1007/S10994-006-5833-1 .
- ↑ Bach, Stephen; Broecheler, Matthias; Huang, Bert; Getoor, Lise (2017). "Campos aleatorios de Markov con pérdida de bisagra y lógica suave probabilística". Journal of Machine Learning Research . 18 : 1–67 .
- ↑ Jaafor, Omar; Birregah, Babiga (31 de julio de 2017). «Clasificación colectiva en redes sociales». Actas de la Conferencia Internacional IEEE/ACM de 2017 sobre Avances en el Análisis y la Minería de Redes Sociales . Nueva York, NY, EE. UU.: ACM. págs. 827–835 . doi : 10.1145/3110025.3110128 . ISBN 978-1-4503-4993-2.
- ↑ Fakhraei, Shobeir; Foulds, James; Shashanka, Madhusudana; Getoor, Lise (2015). «Detección colectiva de spammers en redes sociales multirrelacionales en evolución». Actas de la 21.ª Conferencia Internacional ACM SIGKDD sobre Descubrimiento de Conocimiento y Minería de Datos . Nueva York, Nueva York, EE. UU.: ACM Press. págs. 1769–1778 . doi : 10.1145/2783258.2788606 . ISBN 978-1-4503-3664-2.
- ↑ Bhattacharya, Indrajit; Getoor, Lise (2007). "Resolución colectiva de entidades en datos relacionales". ACM Transactions on Knowledge Discovery from Data . 1 (1). Association for Computing Machinery (ACM): 5. doi : 10.1145/1217299.1217304 . hdl : 1903/4241 . ISSN 1556-4681 . S2CID 488972 .
- ↑ Luo, Ling; Yang, Zhihao; Yang, Pei; Zhang, Yin; Wang, Lei; Lin, Hongfei; Wang, Jian (2017-11-24). Wren, Jonathan (ed.). "Un enfoque BiLSTM-CRF basado en atención para el reconocimiento de entidades químicas nombradas a nivel de documento" . Bioinformatics . 34 (8). Oxford University Press (OUP): 1381– 1388. doi : 10.1093/bioinformatics/btx761 . ISSN 1367-4803 . PMID 29186323 .
- ↑ Burford, Clint; Bird, Steven; Baldwin, Timothy (2015). "Clasificación colectiva de documentos con relaciones semánticas implícitas entre documentos". Actas de la Cuarta Conferencia Conjunta sobre Semántica Léxica y Computacional . Stroudsburg, PA, EE. UU.: Asociación de Lingüística Computacional. págs. 106–116 . doi : 10.18653/v1/s15-1012 .
- ↑ Žitnik M, Zupan B (2015). " Inferencia de redes genéticas mediante la fusión de datos de diversas distribuciones" . Bioinformatics . 31 (12): i230-9. doi : 10.1093/bioinformatics/btv258 . PMC 4542780. PMID 26072487 .
- ↑ Triebel, Rudolph; Mozos, Óscar Martínez; Burgard, Wolfram (2008). «Clasificación colectiva para el etiquetado de lugares y objetos en datos de rango 2D y 3D» (PDF) . Análisis de datos, aprendizaje automático y aplicaciones . Berlín, Heidelberg: Springer Berlin Heidelberg. pp. 293–300 . doi : 10.1007/978-3-540-78246-9_35 . ISBN 978-3-540-78239-1ISSN 1431-8814
- teoría de redes