Big data

La creciente madurez del concepto delimita de forma más clara la diferencia entre "big data" e " inteligencia empresarial ": ^{[ 30 ]}

• La inteligencia empresarial utiliza herramientas de matemáticas aplicadas y estadística descriptiva con datos de alta densidad de información para medir cosas, detectar tendencias, etc.
• El big data utiliza análisis matemático, optimización, estadística inductiva y conceptos de identificación de sistemas no lineales ^{[ 31 ]} para inferir leyes (regresiones, relaciones no lineales y efectos causales) a partir de grandes conjuntos de datos con baja densidad de información ^{[ 32 ]} para revelar relaciones y dependencias, o para realizar predicciones de resultados y comportamientos. ^{[ 31 ] [ 33 ]}

El uso y la adopción de macrodatos en los procesos gubernamentales permiten una mayor eficiencia en términos de costos, productividad e innovación, ^{[ 63 ]} pero también presentan inconvenientes. El análisis de datos suele requerir la colaboración de múltiples instancias gubernamentales (centrales y locales) y la creación de procesos nuevos e innovadores para lograr el resultado deseado. Un ejemplo común de organización gubernamental que utiliza macrodatos es la Agencia de Seguridad Nacional (NSA), la cual monitorea constantemente la actividad en internet en busca de posibles patrones de actividades sospechosas o ilegales que su sistema pueda detectar.

El registro civil y las estadísticas vitales (CRVS) recopilan todos los certificados de estado civil desde el nacimiento hasta la defunción. El CRVS es una fuente de macrodatos para los gobiernos.

La investigación sobre el uso efectivo de las tecnologías de la información y la comunicación para el desarrollo (también conocidas como "TIC para el desarrollo") sugiere que la tecnología de macrodatos puede hacer contribuciones importantes, pero también presenta desafíos únicos para el desarrollo internacional . ^{[ 64 ] [ 65 ]} Los avances en el análisis de macrodatos ofrecen oportunidades rentables para mejorar la toma de decisiones en áreas críticas del desarrollo, como la atención médica, el empleo, la productividad económica , la delincuencia, la seguridad y la gestión de desastres naturales y recursos. ^{[ 66 ] [ 67 ] [ 68 ]} Además, los datos generados por los usuarios ofrecen nuevas oportunidades para dar voz a quienes no la tienen. ^{[ 69 ]} Sin embargo, los desafíos de larga data para las regiones en desarrollo, como la infraestructura tecnológica inadecuada y la escasez de recursos económicos y humanos, exacerban las preocupaciones existentes con los macrodatos, como la privacidad, la metodología imperfecta y los problemas de interoperabilidad. ^{[ 66 ]} El desafío de los "macrodatos para el desarrollo" ^{[ 66 ]} está evolucionando actualmente hacia la aplicación de estos datos a través del aprendizaje automático, conocido como "inteligencia artificial para el desarrollo (IA para el desarrollo)". ^{[ 70 ]}

El Big Data se está adoptando rápidamente en Finanzas para 1) acelerar el procesamiento y 2) ofrecer inferencias mejores y más informadas, tanto internamente como para los clientes de las instituciones financieras. ^{[ 77 ]} Las aplicaciones financieras del Big Data abarcan desde decisiones de inversión y negociación (procesamiento de volúmenes de datos de precios disponibles, libros de órdenes límite, datos económicos y más, todo al mismo tiempo), gestión de cartera (optimización sobre una gama cada vez mayor de instrumentos financieros, potencialmente seleccionados de diferentes clases de activos), gestión de riesgos (calificación crediticia basada en información extendida) y cualquier otro aspecto donde las entradas de datos sean grandes. ^{[ 78 ]} El Big Data también ha sido un concepto típico dentro del campo de los servicios financieros alternativos . Algunas de las áreas principales incluyen plataformas de financiación colectiva y exchanges de criptomonedas. ^{[ 79 ]}

El análisis de big data se ha utilizado en la atención médica para proporcionar medicina personalizada y análisis prescriptivo , intervención de riesgo clínico y análisis predictivo, reducción de desperdicio y variabilidad en la atención, informes externos e internos automatizados de datos de pacientes, términos médicos estandarizados y registros de pacientes. ^{[ 80 ] [ 81 ] [ 82 ] [ 83 ]} Algunas áreas de mejora son más aspiracionales que implementadas realmente. El nivel de datos generados dentro de los sistemas de atención médica no es trivial. Con la adopción adicional de mHealth, eHealth y tecnologías portátiles, el volumen de datos continuará aumentando. Esto incluye datos de registros médicos electrónicos , datos de imágenes, datos generados por el paciente, datos de sensores y otras formas de datos difíciles de procesar. Ahora hay una necesidad aún mayor de que dichos entornos presten mayor atención a la calidad de los datos y la información. ^{[ 84 ]} "Big data muy a menudo significa ' datos sucios ' y la fracción de inexactitudes de datos aumenta con el crecimiento del volumen de datos". La inspección humana a escala de big data es imposible y hay una necesidad desesperada en el servicio de salud de herramientas inteligentes para el control de precisión y credibilidad y manejo de la información omitida. ^{[ 85 ]} Si bien gran parte de la información en el ámbito de la salud ahora es electrónica, se engloba dentro del concepto de macrodatos, ya que la mayor parte no está estructurada y es difícil de usar. ^{[ 86 ]} El uso de macrodatos en la atención médica ha planteado importantes desafíos éticos que abarcan desde riesgos para los derechos individuales, la privacidad y la autonomía , hasta la transparencia y la confianza. ^{[ 87 ]}

El análisis de grandes datos en la investigación sanitaria resulta especialmente prometedor en lo que respecta a la investigación biomédica exploratoria, ya que el análisis basado en datos puede avanzar con mayor rapidez que la investigación basada en hipótesis. ^{[ 88 ]} Posteriormente, las tendencias observadas en el análisis de datos pueden someterse a prueba en la investigación biológica tradicional basada en hipótesis y, finalmente, en la investigación clínica.

Un subárea de aplicación relacionada, que depende en gran medida de los macrodatos, dentro del campo de la salud es la del diagnóstico asistido por computadora en medicina. ^{[ 89 ]} Por ejemplo, para el monitoreo de la epilepsia es habitual generar de 5 a 10 GB de datos diariamente. ^{[ 90 ]} De manera similar, una sola imagen sin comprimir de tomosíntesis mamaria tiene un promedio de 450 MB de datos. ^{[ 91 ]} Estos son solo algunos de los muchos ejemplos donde el diagnóstico asistido por computadora utiliza macrodatos. Por esta razón, los macrodatos se han reconocido como uno de los siete desafíos clave que los sistemas de diagnóstico asistido por computadora deben superar para alcanzar el siguiente nivel de rendimiento. ^{[ 92 ]}

Un estudio del McKinsey Global Institute encontró una escasez de 1,5 millones de profesionales y gerentes de datos altamente capacitados ^{[ 51 ]} y varias universidades ^{[ 93 ]} incluidas la Universidad de Tennessee y UC Berkeley , han creado programas de maestría para satisfacer esta demanda. Los campamentos de entrenamiento privados también han desarrollado programas para satisfacer esa demanda, incluidos programas de pago como The Data Incubator o General Assembly . ^{[ 94 ]} En el campo específico del marketing, uno de los problemas enfatizados por Wedel y Kannan ^{[ 95 ]} es que el marketing tiene varios subdominios (por ejemplo, publicidad, promociones, desarrollo de productos, marca) que utilizan diferentes tipos de datos.

Para comprender cómo los medios utilizan el big data, primero es necesario contextualizar el mecanismo empleado en el procesamiento de datos. Nick Couldry y Joseph Turow sugieren que los profesionales de los medios y la publicidad abordan el big data como una gran cantidad de información útil sobre millones de personas. La industria parece estar alejándose del enfoque tradicional de utilizar medios específicos como periódicos, revistas o programas de televisión, y en su lugar, se dirige a los consumidores mediante tecnologías que alcanzan a las personas objetivo en los momentos y lugares óptimos. El objetivo final es ofrecer o transmitir un mensaje o contenido que, estadísticamente hablando, esté en consonancia con la mentalidad del consumidor. Por ejemplo, los medios de publicación adaptan cada vez más los mensajes (anuncios) y el contenido (artículos) para atraer a consumidores que han sido recopilados exclusivamente mediante diversas actividades de minería de datos . ^{[ 96 ]}

• Segmentación de consumidores (para publicidad por parte de los especialistas en marketing) ^{[ 97 ]}
• Captura de datos
• Periodismo de datos : editores y periodistas utilizan herramientas de big data para proporcionar información e infografías únicas e innovadoras .

Channel 4 , la emisora ​​de televisión pública británica , es líder en el campo del big data y el análisis de datos . ^{[ 98 ]}

Las aseguradoras de salud recopilan datos sobre los "determinantes sociales de la salud", como el consumo de alimentos y televisión , el estado civil, la talla de ropa y los hábitos de compra, a partir de los cuales realizan predicciones sobre los costos de salud para detectar problemas de salud en sus clientes. Es controvertido si estas predicciones se utilizan actualmente para la fijación de precios. ^{[ 99 ]}

El big data y el IoT funcionan conjuntamente. Los datos extraídos de los dispositivos IoT proporcionan un mapa de la interconectividad de los dispositivos. Estos mapas han sido utilizados por la industria de los medios de comunicación, empresas y gobiernos para segmentar con mayor precisión a su público objetivo y aumentar la eficiencia de los medios. El IoT también se está adoptando cada vez más como medio para recopilar datos sensoriales, y estos datos se han utilizado en contextos médicos, ^{[ 100 ]} de fabricación ^{[ 101 ]} y de transporte ^{[ 102 ]} .

Kevin Ashton , el experto en innovación digital a quien se le atribuye la creación del término, ^{[ 103 ]} define el Internet de las cosas en esta cita: «Si tuviéramos computadoras que supieran todo lo que hay que saber sobre las cosas —utilizando datos que recopilan sin nuestra ayuda— podríamos rastrear y contabilizar todo, y reducir enormemente el desperdicio, las pérdidas y los costos. Sabríamos cuándo las cosas necesitan ser reemplazadas, reparadas o retiradas del mercado, y si están en buen estado o ya han pasado su mejor momento».

Especialmente desde 2015, el big data ha cobrado prominencia en las operaciones comerciales como una herramienta para ayudar a los empleados a trabajar de manera más eficiente y optimizar la recopilación y distribución de tecnología de la información (TI). El uso de big data para resolver problemas de TI y recopilación de datos dentro de una empresa se denomina análisis de operaciones de TI (ITOA). ^{[ 104 ]} Al aplicar los principios del big data a los conceptos de inteligencia artificial y computación profunda, los departamentos de TI pueden predecir problemas potenciales y prevenirlos. ^{[ 104 ]} Las empresas de ITOA ofrecen plataformas para la gestión de sistemas que integran silos de datos y generan información valiosa a partir de todo el sistema, en lugar de a partir de conjuntos de datos aislados.

En comparación con la recopilación de datos basada en encuestas , el big data tiene un bajo costo por punto de datos, aplica técnicas de análisis mediante aprendizaje automático y minería de datos , e incluye fuentes de datos diversas y nuevas, por ejemplo, registros, redes sociales, aplicaciones y otras formas de datos digitales. Desde 2018, los científicos de encuestas han comenzado a examinar cómo el big data y la ciencia de las encuestas pueden complementarse para permitir que los investigadores y profesionales mejoren la producción de estadísticas y su calidad. Se han realizado tres conferencias Big Data Meets Survey Science (BigSurv) en 2018, 2020 (virtual), 2023 y, a partir de 2023una conferencia próxima en 2025, ^{[ 105 ]} un número especial en Social Science Computer Review , ^{[ 106 ]} un número especial en Journal of the Royal Statistical Society , ^{[ 107 ]} y un número especial en EP J Data Science , ^{[ 108 ]} y un libro llamado Big Data Meets Social Sciences ^{[ 109 ]} editado por Craig Hill y otros cinco miembros de la American Statistical Association . En 2021, los miembros fundadores de BigSurv recibieron el Premio Warren J. Mitofsky a la Innovación de la Asociación Estadounidense para la Investigación de la Opinión Pública . ^{[ 110 ]}

El big data es notable en el marketing debido a la constante "datificación" ^{[ 111 ]} de los consumidores cotidianos de internet, en la que se rastrean todas las formas de datos. La datificación de los consumidores puede definirse como la cuantificación de muchos o todos los comportamientos humanos con fines de marketing. ^{[ 111 ]} El mundo cada vez más digital de rápida datificación hace que esta idea sea relevante para el marketing porque la cantidad de datos crece constantemente de forma exponencial. Se prevé que aumente de 44 a 163 zettabytes en el lapso de cinco años. ^{[ 112 ]} El tamaño del big data a menudo puede ser difícil de manejar para los especialistas en marketing. ^{[ 113 ]} Como resultado, los adoptantes del big data pueden encontrarse en desventaja. Los hallazgos algorítmicos pueden ser difíciles de lograr con conjuntos de datos tan grandes. ^{[ 114 ]} El big data en marketing es una herramienta altamente lucrativa que pueden utilizar las grandes corporaciones, su valor radica en la posibilidad de predecir tendencias, intereses o resultados estadísticos significativos de una manera basada en el consumidor. ^{[ 115 ]}

Existen tres factores importantes en el uso de big data en marketing:

1. El big data proporciona a los profesionales del marketing la posibilidad de identificar patrones de comportamiento del cliente, ya que todas las acciones humanas se cuantifican en números legibles que los profesionales del marketing pueden analizar y utilizar en sus investigaciones. ^{[ 116 ]} Además, el big data también puede considerarse una herramienta de recomendación de productos personalizada. En concreto, dado que el big data es eficaz para analizar los comportamientos de compra y los patrones de navegación de los clientes, esta tecnología puede ayudar a las empresas a promocionar productos personalizados específicos a clientes específicos. ^{[ 117 ]}
2. La capacidad de respuesta del mercado en tiempo real es importante para los profesionales del marketing debido a la posibilidad de reorientar sus esfuerzos y ajustarlos a las tendencias actuales, lo que resulta útil para mantener la relevancia para los consumidores. Esto puede proporcionar a las empresas la información necesaria para predecir con antelación los deseos y necesidades de los consumidores. ^{[ 116 ]}
3. La ambidextría del mercado impulsada por datos se ve fuertemente potenciada por el big data. ^{[ 116 ]} Se están desarrollando nuevos modelos y algoritmos para realizar predicciones significativas sobre ciertas situaciones económicas y sociales. ^{[ 118 ]}

• Walmart gestiona más de 1 millón de transacciones de clientes cada hora, las cuales se importan a bases de datos que se estima contienen más de 2,5 petabytes (2560 terabytes) de datos, el equivalente a 167 veces la información contenida en todos los libros de la Biblioteca del Congreso de los Estados Unidos . ^{[ 6 ]}
• Windermere Real Estate utiliza información de ubicación de casi 100 millones de conductores para ayudar a los compradores de viviendas nuevas a determinar sus tiempos de viaje típicos hacia y desde el trabajo en diferentes momentos del día. ^{[ 137 ]}
• El sistema de detección de tarjetas FICO protege las cuentas en todo el mundo. ^{[ 138 ]}
• El comercio minorista omnicanal ^{[ 139 ]} aprovecha los macrodatos en línea para mejorar las experiencias fuera de línea.

• Los experimentos del Gran Colisionador de Hadrones representan aproximadamente 150 millones de sensores que transmiten datos 40  millones de veces por segundo. Se producen casi 600  millones de colisiones por segundo. Tras filtrar y descartar más del 99,99995 % ^{[ 140 ]} de estos flujos, quedan 1000 colisiones de interés por segundo. ^{[ 141 ] [ 142 ] [ 143 ]}
  • Como resultado, trabajando con menos del 0,001% de los datos del flujo de sensores, el flujo de datos de los cuatro experimentos del LHC representa una tasa anual de 25 petabytes antes de la replicación ( a partir de 2012).Esto se convierte en casi 200 petabytes después de la replicación.
  • Si todos los datos de los sensores se registraran en el LHC, el flujo de datos sería extremadamente difícil de gestionar. Antes de la replicación, el flujo de datos superaría los 150 millones de petabytes anuales, o casi 500 exabytes diarios. Para ponerlo en perspectiva, esto equivale a 500 quintillones (5 × ^10²⁰ ) de bytes al día, casi 200 veces más que todas las demás fuentes combinadas del mundo.
• El Square Kilometre Array es un radiotelescopio compuesto por miles de antenas. Se espera que entre en funcionamiento en 2024. En conjunto, se prevé que estas antenas recojan 14 exabytes y almacenen un petabyte al día. ^{[ 144 ] [ 145 ]} Se considera uno de los proyectos científicos más ambiciosos jamás emprendidos. ^{[ 146 ]}
• Cuando el Sloan Digital Sky Survey (SDSS) comenzó a recopilar datos astronómicos en el año 2000, acumuló en sus primeras semanas más datos que todos los recopilados en la historia de la astronomía hasta entonces. Continuando a un ritmo de aproximadamente 200  GB por noche, el SDSS ha acumulado más de 140 terabytes de información. ^{[ 6 ]} Cuando el Large Synoptic Survey Telescope , sucesor del SDSS, entre en funcionamiento en 2020, sus diseñadores esperan que adquiera esa cantidad de datos cada cinco días. ^{[ 6 ]}
• La decodificación del genoma humano originalmente requería 10 años; ahora se puede lograr en menos de un día. Los secuenciadores de ADN han reducido el costo de secuenciación en 10 000 veces en los últimos diez años, lo que representa un ahorro de 100 veces en comparación con la reducción de costos prevista por la ley de Moore . ^{[ 147 ]}
• El Centro de Simulación Climática de la NASA (NCCS) almacena 32 petabytes de observaciones y simulaciones climáticas en el clúster de supercomputación Discover. ^{[ 148 ] [ 149 ]}
• DNAStack de Google recopila y organiza muestras de ADN con datos genéticos de todo el mundo para identificar enfermedades y otros defectos médicos. Estos cálculos rápidos y precisos eliminan cualquier punto de fricción o error humano que pudieran cometer los numerosos expertos en ciencia y biología que trabajan con el ADN. DNAStack, que forma parte de Google Genomics, permite a los científicos utilizar la vasta muestra de recursos del servidor de búsqueda de Google para escalar experimentos sociales que normalmente tardarían años, de forma instantánea. ^{[ 150 ] [ 151 ]}
• La base de datos de ADN de 23andme contiene la información genética de más de 1.000.000 de personas en todo el mundo. ^{[ 152 ]} La empresa explora la posibilidad de vender los "datos genéticos agregados anónimos" a otros investigadores y compañías farmacéuticas con fines de investigación si los pacientes dan su consentimiento. ^{[ 153 ] [ 154 ] [ 155 ] [ 156 ] [ 157 ]} Ahmad Hariri, profesor de psicología y neurociencia en la Universidad de Duke, quien ha estado utilizando 23andMe en su investigación desde 2009, afirma que el aspecto más importante del nuevo servicio de la empresa es que hace que la investigación genética sea accesible y relativamente barata para los científicos. ^{[ 153 ]} Un estudio que identificó 15 sitios del genoma vinculados a la depresión en la base de datos de 23andMe provocó un aumento en las demandas para acceder al repositorio, y 23andMe recibió casi 20 solicitudes para acceder a los datos de depresión en las dos semanas posteriores a la publicación del artículo. ^{[ 158 ]}
• La dinámica de fluidos computacional ( CFD ) y la investigación sobre turbulencia hidrodinámica generan conjuntos de datos masivos. La base de datos de turbulencia de Johns Hopkins ( JHTDB ) contiene más de 350 terabytes de campos espaciotemporales provenientes de simulaciones numéricas directas de diversos flujos turbulentos. Compartir estos datos mediante métodos tradicionales, como la descarga de archivos de salida de simulación, ha sido complicado. Se puede acceder a los datos de JHTDB mediante "sensores virtuales" con diversos modos de acceso, desde consultas directas a través de navegadores web y acceso mediante programas en Matlab, Python, Fortran y C que se ejecutan en las plataformas de los clientes, hasta servicios de descarga de datos sin procesar. Estos datos se han utilizado en más de 150 publicaciones científicas.

Los macrodatos pueden utilizarse para mejorar el entrenamiento y la comprensión de los competidores, mediante sensores deportivos. También es posible predecir a los ganadores de un partido utilizando análisis de macrodatos. ^{[ 159 ]} Asimismo, se podría predecir el rendimiento futuro de los jugadores. ^{[ 160 ]} Por lo tanto, el valor y el salario de los jugadores se determinan mediante datos recopilados a lo largo de la temporada. ^{[ 161 ]}

En las carreras de Fórmula Uno , los coches de carreras con cientos de sensores generan terabytes de datos. Estos sensores recogen datos que van desde la presión de los neumáticos hasta la eficiencia del consumo de combustible. ^{[ 162 ]} Con base en estos datos, los ingenieros y analistas de datos deciden si se deben realizar ajustes para ganar una carrera. Además, utilizando macrodatos, los equipos de carreras intentan predecir el tiempo que tardarán en terminar la carrera, basándose en simulaciones con datos recopilados durante la temporada. ^{[ 163 ]}

• A partir de 2013eBay.com utiliza dos almacenes de datos de 7,5 petabytes y 40 PB , así como un clúster Hadoop de 40 PB para búsqueda, recomendaciones al consumidor y comercialización. ^{[ 164 ]}
• Amazon.com gestiona millones de operaciones de back-end cada día, así como consultas de más de medio millón de vendedores externos. La tecnología central que mantiene a Amazon en funcionamiento se basa en Linux y, desde 2005Tenían las tres bases de datos Linux más grandes del mundo, con capacidades de 7,8 TB, 18,5 TB y 24,7 TB. ^{[ 165 ]}
• Facebook gestiona 50  mil millones de fotos de sus usuarios. ^{[ 166 ]} A junio de 2017 Facebook alcanzó los 2 mil millones de usuarios activos mensuales . ^{[ 167 ]}
• En agosto de 2012, Google gestionaba aproximadamente 100  mil millones de búsquedas al mes. . ^{[ 168 ]}
• Un ejemplo muy conocido de la aplicación del big data es Amazon. Amazon utiliza el análisis de datos para impulsar su sistema de recomendaciones. Amazon obtiene un gran éxito gracias a la parte de las ventas que proviene de la sección de "recomendaciones", que ofrece sugerencias de compra personalizadas.

Durante la pandemia de COVID-19 , se planteó el uso de macrodatos como una forma de minimizar el impacto de la enfermedad. Entre las aplicaciones más importantes de los macrodatos se incluyeron la minimización de la propagación del virus, la identificación de casos y el desarrollo de tratamientos médicos. ^{[ 169 ]}

Los gobiernos utilizaron macrodatos para rastrear a las personas infectadas y minimizar la propagación. Entre los primeros países en adoptarlos se encontraban China, Taiwán, Corea del Sur e Israel. ^{[ 170 ] [ 171 ] [ 172 ]}

Una pregunta de investigación sobre los macrodatos es si es necesario analizar todos los datos para extraer conclusiones sobre sus propiedades o si basta con una muestra. El término "macrodatos" en sí mismo alude al tamaño, una característica importante de este tipo de datos. Sin embargo, el muestreo permite seleccionar los puntos de datos adecuados dentro del conjunto de datos más amplio para estimar las características de toda la población. En la fabricación, se dispone de diferentes tipos de datos sensoriales, como datos acústicos, de vibración, presión, corriente, voltaje y datos de control, a intervalos cortos. Para predecir el tiempo de inactividad, puede que no sea necesario analizar todos los datos; una muestra puede ser suficiente. Los macrodatos se pueden clasificar en diversas categorías, como datos demográficos, psicográficos, conductuales y transaccionales. Con grandes conjuntos de datos, los profesionales del marketing pueden crear y utilizar segmentos de consumidores más personalizados para una segmentación más estratégica.

"Un problema crucial es que no sabemos mucho acerca de los microprocesos empíricos subyacentes que conducen a la aparición de las características típicas de red de Big Data." ^{[ 23 ]} En su crítica, Snijders, Matzat y Reips señalan que a menudo se hacen suposiciones muy fuertes sobre propiedades matemáticas que pueden no reflejar en absoluto lo que realmente está sucediendo a nivel de microprocesos. Mark Graham ha formulado amplias críticas a la afirmación de Chris Anderson de que big data significará el fin de la teoría: ^{[ 201 ]} centrándose en particular en la noción de que big data siempre debe contextualizarse en sus contextos sociales, económicos y políticos. ^{[ 202 ]} Incluso cuando las empresas invierten sumas de ocho y nueve cifras para obtener conocimiento de la información que fluye de proveedores y clientes, menos del 40% de los empleados tienen procesos y habilidades suficientemente maduros para hacerlo. Para superar este déficit de conocimiento, big data, por muy completo o bien analizado que sea, debe complementarse con un "gran juicio", según un artículo en la Harvard Business Review . ^{[ 203 ]}

En la misma línea, se ha señalado que las decisiones basadas en el análisis de big data están inevitablemente "informadas por el mundo como era en el pasado o, en el mejor de los casos, como es actualmente". ^{[ 66 ]} Alimentados por una gran cantidad de datos sobre experiencias pasadas, los algoritmos pueden predecir el desarrollo futuro si el futuro es similar al pasado. ^{[ 204 ]} Si la dinámica del sistema del futuro cambia (si no es un proceso estacionario ), el pasado puede decir poco sobre el futuro. Para hacer predicciones en entornos cambiantes, sería necesario tener una comprensión profunda de la dinámica de los sistemas, lo que requiere teoría. ^{[ 204 ]} Como respuesta a esta crítica, Alemany Oliver y Vayre sugieren utilizar "el razonamiento abductivo como primer paso en el proceso de investigación para dar contexto a las huellas digitales de los consumidores y hacer surgir nuevas teorías". ^{[ 205 ]} Además, se ha sugerido combinar enfoques de big data con simulaciones por computadora, como modelos basados ​​en agentes ^{[ 66 ]} y sistemas complejos . Los modelos basados ​​en agentes están mejorando cada vez más en la predicción del resultado de las complejidades sociales de escenarios futuros incluso desconocidos a través de simulaciones por computadora que se basan en una colección de algoritmos mutuamente interdependientes. ^{[ 206 ] [ 207 ]} Finalmente, el uso de métodos multivariados que exploran la estructura latente de los datos, como el análisis factorial y el análisis de conglomerados , han demostrado ser útiles como enfoques analíticos que van mucho más allá de los enfoques bivariados (por ejemplo, tablas de contingencia ) que se emplean típicamente con conjuntos de datos más pequeños.

En salud y biología, los enfoques científicos convencionales se basan en la experimentación. Para estos enfoques, el factor limitante son los datos relevantes que pueden confirmar o refutar la hipótesis inicial. ^{[ 208 ]} Ahora se acepta un nuevo postulado en biociencias: la información proporcionada por los datos en grandes volúmenes ( ómicas ) sin hipótesis previa es complementaria y a veces necesaria a los enfoques convencionales basados ​​en la experimentación. ^{[ 209 ] [ 210 ]} En los enfoques masivos, la formulación de una hipótesis relevante para explicar los datos es el factor limitante. ^{[ 211 ]} La lógica de búsqueda se invierte y se deben considerar los límites de la inducción ("Glory of Science and Philosophy scandal", CD Broad , 1926).

Los defensores de la privacidad están preocupados por la amenaza a la privacidad que representa el creciente almacenamiento e integración de información de identificación personal ; paneles de expertos han publicado varias recomendaciones de políticas para adaptar la práctica a las expectativas de privacidad. ^{[ 212 ]} El mal uso de los macrodatos en varios casos por parte de los medios de comunicación, las empresas e incluso el gobierno ha permitido la abolición de la confianza en casi todas las instituciones fundamentales que sostienen la sociedad. ^{[ 213 ]}

Barocas y Nissenbaum sostienen que una forma de proteger a los usuarios individuales es informándoles sobre los tipos de información que se recopilan, con quién se comparte, bajo qué restricciones y para qué fines. ^{[ 214 ]}

El modelo "V" de big data es preocupante, ya que se centra en la escalabilidad computacional y carece de una pérdida en torno a la perceptibilidad y la comprensibilidad de la información. Esto condujo al marco de big data cognitivo , que caracteriza las aplicaciones de big data según: ^{[ 215 ]}

• Completitud de los datos: comprensión de lo no obvio a partir de los datos.
• Correlación de datos, causalidad y predictibilidad: la causalidad no es un requisito esencial para lograr la predictibilidad.
• Explicabilidad e interpretabilidad: los humanos desean comprender y aceptar lo que entienden, mientras que los algoritmos no pueden lidiar con esto.
• Nivel de toma de decisiones automatizada : algoritmos que respaldan la toma de decisiones automatizada y el autoaprendizaje algorítmico.

Durante más de un siglo, las computadoras han analizado grandes conjuntos de datos, incluyendo los análisis del censo estadounidense realizados por las máquinas de tarjetas perforadas de IBM , que calculaban estadísticas como medias y varianzas de poblaciones en todo el continente. En décadas más recientes, experimentos científicos como el del CERN han generado datos a escalas similares a las del actual "big data" comercial. Sin embargo, estos experimentos han tendido a analizar sus datos utilizando clústeres y redes de computación de alto rendimiento (supercomputación) especializados y diseñados a medida , en lugar de nubes de computadoras comerciales económicas como en la actual ola comercial, lo que implica una diferencia tanto en la cultura como en la infraestructura tecnológica.

Ulf-Dietrich Reips y Uwe Matzat escribieron en 2014 que el big data se había convertido en una "moda" en la investigación científica. ^{[ 185 ]} La investigadora danah boyd ha expresado su preocupación por el uso del big data en la ciencia, descuidando principios como la elección de una muestra representativa por estar demasiado preocupada por manejar las enormes cantidades de datos. ^{[ 216 ]} Este enfoque puede conducir a resultados que tienen un sesgo de una u otra manera. ^{[ 217 ]} La integración de recursos de datos heterogéneos —algunos que podrían considerarse big data y otros no— presenta formidables desafíos logísticos y analíticos, pero muchos investigadores argumentan que tales integraciones probablemente representen las nuevas fronteras más prometedoras en la ciencia. ^{[ 218 ]} En el provocador artículo "Preguntas críticas para el Big Data", ^{[ 219 ]} los autores titulan el big data como parte de la mitología : "los grandes conjuntos de datos ofrecen una forma superior de inteligencia y conocimiento [...], con el aura de verdad, objetividad y precisión". Los usuarios de big data a menudo se "pierden en el enorme volumen de números", y "trabajar con Big Data sigue siendo subjetivo, y lo que cuantifica no necesariamente tiene una pretensión más cercana a la verdad objetiva". ^{[ 219 ]} Los desarrollos recientes en el dominio de BI, como los informes proactivos, apuntan especialmente a mejoras en la usabilidad de big data, a través del filtrado automatizado de datos y correlaciones no útiles . ^{[ 220 ]} Las grandes estructuras están llenas de correlaciones espurias ^{[ 221 ]} ya sea debido a coincidencias no causales ( ley de los números verdaderamente grandes ), únicamente a la naturaleza de la gran aleatoriedad ^{[ 222 ]} ( teoría de Ramsey ), o a la existencia de factores no incluidos, por lo que se cuestiona la esperanza de los primeros experimentadores de hacer que las grandes bases de datos de números "hablen por sí mismas" y revolucionen el método científico. ^{[ 223 ]} Catherine Tucker ha señalado el "bombo" en torno a big data, escribiendo "Por sí mismo, es poco probable que big data sea valioso". El artículo explica: "Los numerosos contextos en los que los datos son baratos en relación con el coste de retener talento para procesarlos, sugieren que las habilidades de procesamiento son más importantes que los datos en sí mismos para crear valor para una empresa". ^{[ 224 ]}

El análisis de big data suele ser superficial en comparación con el análisis de conjuntos de datos más pequeños. ^{[ 225 ]} En muchos proyectos de big data, no se realiza un análisis de grandes conjuntos de datos, sino que el desafío reside en la extracción, transformación y carga de datos durante el preprocesamiento. ^{[ 225 ]}

Big data es una palabra de moda y un "término vago", ^{[ 226 ] [ 227 ]} pero al mismo tiempo una "obsesión" ^{[ 227 ]} para emprendedores, consultores, científicos y medios de comunicación. Ejemplos de big data como Google Flu Trends no lograron ofrecer buenas predicciones en los últimos años, exagerando los brotes de gripe por un factor de dos. De manera similar, las predicciones de los Premios de la Academia y las elecciones basadas únicamente en Twitter fueron más a menudo erróneas que acertadas. Big data suele plantear los mismos desafíos que los datos pequeños; agregar más datos no resuelve los problemas de sesgo, sino que puede enfatizar otros problemas. En particular, las fuentes de datos como Twitter no son representativas de la población general, y los resultados obtenidos de dichas fuentes pueden llevar a conclusiones erróneas. Google Translate , que se basa en el análisis estadístico de texto mediante big data, hace un buen trabajo traduciendo páginas web. Sin embargo, los resultados de dominios especializados pueden estar drásticamente sesgados. Por otro lado, el big data también puede introducir nuevos problemas, como el problema de las comparaciones múltiples : probar simultáneamente un gran conjunto de hipótesis es probable que produzca muchos resultados falsos que erróneamente parecen significativos. Ioannidis argumentó que "la mayoría de los hallazgos de investigación publicados son falsos" ^{[ 228 ]} debido esencialmente al mismo efecto: cuando muchos equipos científicos e investigadores realizan muchos experimentos (es decir, procesan una gran cantidad de datos científicos; aunque no con tecnología de big data), la probabilidad de que un resultado "significativo" sea falso crece rápidamente, aún más, cuando solo se publican resultados positivos. Además, los resultados del análisis de big data son tan buenos como el modelo en el que se basan. En un ejemplo, el big data participó en el intento de predecir los resultados de las elecciones presidenciales de EE. UU. de 2016 ^{[ 229 ]} con diversos grados de éxito.

El big data se ha utilizado en la vigilancia policial y la vigilancia por instituciones como las fuerzas del orden y las corporaciones ( ). ^{[ 230 ]} Debido a la naturaleza menos visible de la vigilancia basada en datos en comparación con los métodos policiales tradicionales, es menos probable que surjan objeciones a la vigilancia policial basada en big data. Según el libro de Sarah Brayne, Big Data Surveillance: The Case of Policing , ^{[ 231 ]} la vigilancia policial basada en big data puede reproducir las desigualdades sociales existentes de tres maneras:

• Someter a las personas a una mayor vigilancia utilizando como justificación un algoritmo matemático y, por lo tanto, imparcial.
• Aumentar el alcance y el número de personas sujetas a vigilancia policial y exacerbar la sobrerrepresentación racial existente en el sistema de justicia penal.
• Fomentar que los miembros de la sociedad abandonen las interacciones con instituciones que dejen una huella digital, creando así obstáculos para la inclusión social.

Si estos problemas potenciales no se corrigen ni se regulan, los efectos de la vigilancia mediante macrodatos podrían seguir configurando las jerarquías sociales. Brayne también señala que el uso responsable de la vigilancia mediante macrodatos podría evitar que los sesgos individuales se conviertan en sesgos institucionales.