Hispanopedia Wiki
Articulo de referencia

Integración de datos web

La integración de datos web (IDB) es el proceso de agregar y gestionar datos de diferentes sitios web en un flujo de trabajo único y homogéneo. Este proceso incluye el acceso, l...

Hispanopedia WikiContenido en espanolLectura gratuita

La integración de datos web (IDB) es el proceso de agregar y gestionar datos de diferentes sitios web en un flujo de trabajo único y homogéneo. Este proceso incluye el acceso, la transformación, el mapeo, el control de calidad y la fusión de datos. Los datos que se obtienen y estructuran a partir de sitios web se denominan " datos web ". La IDB es una extensión y especialización de la integración de datos que considera la web como una colección de bases de datos heterogéneas.

Las técnicas de integración de datos en el contexto de la web constituyen la base para que las empresas aprovechen los datos disponibles en el número cada vez mayor de sitios web de acceso público. [ 1 ] El gasto corporativo en esta área ascendió a unos 2.500 millones de dólares en 2017, y se espera que para 2020 el mercado alcance casi los 7.000 millones de dólares. [ 2 ]

Fuentes

La integración de datos web extiende y especializa la integración de datos para ver la web como una colección de vistas de bases de datos accesibles a través de protocolos web, incluyendo, pero no limitado a: [ 3 ]

  • Catálogos de datos abiertos
  • catálogos de datos gubernamentales
  • Aplicaciones y sitios web
  • La web semántica (SPARQL)
  • Datos estructurados incrustados en HTML
  • Tablas de datos HTML
  • hojas de cálculo
  • PDFs
  • enciclopedias en línea

Acceso y transformación de datos

La integración web distribuida (WDI) presenta desafíos técnicos diferentes a los de la integración de datos, debido a que el acceso y la transformación de los datos necesarios para las fuentes de datos web suelen ser datos no estructurados o semiestructurados sin un mecanismo de consulta estándar.

Calidad de los datos

Comprender la calidad y la veracidad de los datos es aún más importante en WDI que en la integración de datos, ya que, por lo general, los datos gozan de menor confianza implícita y son de menor calidad que los recopilados de una fuente confiable. Existen intentos de automatizar la calificación de confianza para los datos web. [ 4 ]

La calidad de los datos en la integración de datos generalmente se puede lograr después del acceso y la transformación de los datos, pero en WDI la calidad puede necesitar ser monitoreada a medida que se recopilan los datos, debido tanto al tiempo como al costo de volver a recopilarlos. [ 5 ]

Aplicaciones

WDI tiene aplicaciones en muchos campos, incluyendo bioinformática , [ 6 ] motores de búsqueda, [ 7 ] comparación de precios, [ 8 ] y búsqueda forense [ 9 ] análisis de datos , inteligencia empresarial , comercio electrónico, [ 10 ] atención médica, farmacéutica [ 11 ] y desarrollo de productos.

La mayoría de los comparadores de precios y sistemas de recomendación utilizan datos generados por los usuarios para crear recomendaciones personalizadas. De manera similar, los sistemas de salud utilizan los resultados de competiciones organizadas en sitios web como Kaggle [ 12 ] para verificar la precisión de los datos y desarrollar productos centrados en el usuario. De hecho, IBM estima que la mala calidad de los datos generados por los usuarios (WDI) les cuesta a las empresas más de 3 billones de dólares [ 13 ] en ingresos anuales.

Referencias

  1. ↑ "IE 670 Integración de datos web" . www.uni-mannheim.de . 24-01-2019 . Consultado el 11-02-2019 .
  2. ↑ "Opimas: El mercado de extracción de datos web" . Opimas: Comenzamos con una comprensión . Consultado el 12 de febrero de 2019 .
  3. ↑ "Introducción :: Integración de datos web" . www.webdataintegration.io . Consultado el 14 de febrero de 2019 . 
  4. ↑ Giménez-García, José M.; Thakkar, Harsh; Zimmermann, Antoine (2016). "Evaluación de la confianza con PageRank en la Web de datos" (PDF) . En Sack, Harald; Rizzo, Giuseppe; Steinmetz, Nadine; Mladenić, Dunja; Auer, Sören; Lange, Christoph (eds.). La Web Semántica . Lecture Notes in Computer Science. Vol. 9989. Springer International Publishing. pp. 293–307 . doi : 10.1007/978-3-319-47602-5_45 . ISBN   9783319476025.
  5. ↑ Cómo integrar datos de la plataforma del sitio web de comercio electrónico
  6. ↑ "Integración de datos web" . Grupo de bases de datos Leipzig .
  7. ↑ "Integración de datos a escala web: solo puedes permitirte pagar según lo uses" . www.datascienceassn.org . Consultado el 12 de febrero de 2019 .
  8. ↑ Siegel, Michael D.; Madnick, Stuart E.; Zhu, Hongwei (2008). "Habilitando la comparación global de precios a través de la integración semántica de datos web". International Journal of Electronic Business . 6 (4): 319. doi : 10.1504/IJEB.2008.020672 . hdl : 1721.1/40084 . S2CID 7995576 . 
  9. ↑ "PwC compra Kusiri, una empresa emergente londinense de detección de fraudes" . www.consultancy.uk . 30 de octubre de 2015. Consultado el 12 de febrero de 2019 .
  10. ↑ Osial, P.; Kauranen, K.; Ahmed, E. (abril de 2017). "Sistema de recomendación de smartphones mediante técnicas de integración de datos web" . 2017 IEEE 30.ª Conferencia Canadiense de Ingeniería Eléctrica e Informática (CCECE) . págs. 1-5 . doi : 10.1109/CCECE.2017.7946845 . ISBN  978-1-5090-5538-8. S2CID 12474147 . 
  11. ↑ "Cómo la integración de datos está revolucionando la atención médica y la industria farmacéutica" . Información sobre integración de datos . 27 de abril de 2020. Consultado el 4 de mayo de 2020 .
  12. ↑ "Kaggle: Tu comunidad de aprendizaje automático y ciencia de datos" . www.kaggle.com . Consultado el 4 de mayo de 2020 .
  13. ↑ Import.io (17 de junio de 2019). "Integración de datos web: revolucionando la forma en que trabajas con datos web" . www.import.io . Consultado el 4 de mayo de 2020 .