Hancock (lenguaje de programación)

Hancock es un lenguaje para programas de minería de flujos de datos . Los flujos de datos se diferencian de las bases de datos tradicionales en que manejan volúmenes de datos muy altos y permiten a los analistas actuar sobre ellos prácticamente en tiempo real. Las bases de datos tradicionales, por otro lado, requieren la introducción de datos para su consulta fuera de línea. ^{[ 6 ]} Los almacenes de datos , que almacenan datos interseccionales de diferentes sistemas, pueden ser costosos de construir y su implementación puede ser prolongada. Los almacenes de datos simplificados pueden tardar meses en construirse. ^{[ 5 ]}

La magnitud de la minería de flujos de datos masivos plantea problemas a los analistas de datos. Por ejemplo, la minería de datos de redes de internet y telefonía podría tener como objetivo encontrar elementos persistentes, es decir, elementos que aparecen regularmente en el flujo. ^{[ 8 ]} Sin embargo, estos elementos podrían estar ocultos en una gran cantidad de datos transaccionales de la red; si bien los elementos pueden encontrarse eventualmente, los analistas de datos buscan una mayor eficiencia temporal en su búsqueda. ^{[ 8 ]}

En la tecnología de bases de datos, los usuarios no necesariamente saben dónde se encuentran los datos que buscan. Estos usuarios solo tienen que realizar consultas para obtener los datos, que el sistema de gestión de bases de datos devuelve. En un conjunto de datos grande, los datos pueden estar contenidos en la memoria de acceso aleatorio (RAM), que es el almacenamiento primario, o en el almacenamiento en disco, que es el almacenamiento secundario. En 2000, Padharic Smyth estimó que, utilizando la tecnología más reciente, se podía acceder a los datos ubicados en la RAM con relativa rapidez, "del orden de 10⁻⁷ ^a 10⁻⁸ ^segundos ", mientras que el acceso a los datos del almacenamiento secundario era significativamente más lento, "del orden de 10⁴ ^a 10⁵ ^" segundos. ^{[ 3 ]}

La minería de datos se puede dividir en los procesos de entrada, análisis y presentación de resultados; utiliza algoritmos para encontrar patrones y relaciones entre los sujetos y ha sido utilizada por empresas comerciales para encontrar patrones en el comportamiento del cliente. ^{[ 9 ]} Se necesitan analistas de datos para recopilar y organizar los datos y entrenar los algoritmos. ^{[ 4 ]}

KianSing Ng y Huan Liu opinan que, incluso con objetivos de minería de datos sencillos, el proceso real sigue siendo complejo. Por ejemplo, argumentan que la minería de datos en el mundo real puede verse afectada por fluctuaciones en los datos, lo que invalidaría parcialmente los patrones previos. Otra complicación es que la mayoría de las bases de datos existentes en el año 2000 se caracterizaban por su alta dimensionalidad, lo que significa que contienen datos sobre muchos atributos. Como señalan Ng y Liu, la alta dimensionalidad produce tiempos de cálculo prolongados; esto se puede solucionar mediante la reducción de datos en la etapa de preprocesamiento. ^{[ 10 ]}

El proceso de Hancock es el siguiente:

• Los programas de Hancock analizan los datos a medida que llegan, en tiempo real, a los almacenes de datos. ^{[ 2 ]}
• Los programas de Hancock calcularon las firmas, o perfiles de comportamiento, de los transactores en el flujo. ^{[ 1 ]}
  • Los transactores de flujo de datos incluyen números de teléfono o direcciones IP . ^{[ 1 ]}
  • Las firmas permiten a los analistas descubrir patrones ocultos en los datos. ^{[ 1 ]}
• Los flujos de datos de telecomunicaciones consisten en registros de llamadas, que incluyen información sobre la ubicación de las personas que llaman, la hora de las llamadas y, a veces, grabaciones de conversaciones. ^{[ 11 ]}
  • Hancock se utilizó para procesar firmas basándose en datos como la duración de las llamadas telefónicas y la cantidad de llamadas a un área en particular durante un intervalo de tiempo específico. ^{[ 12 ]}
• Los programas de Hancock utilizaban el análisis de enlaces para encontrar “comunidades de interés”, que conectaban firmas basándose en similitudes de comportamiento. El análisis de enlaces requiere que las conexiones entre los datos se actualicen continuamente y se utiliza para detectar redes de fraude. ^{[ 12 ]}
  • El análisis de enlaces, que puede considerarse una forma de minería de datos de asociación, busca encontrar conexiones entre relaciones. ^{[ 13 ]} Una de estas relaciones son los patrones de llamadas en telecomunicaciones. ^{[ 13 ]} La minería de datos de asociación busca encontrar relaciones entre variables. Por ejemplo, un artículo de investigación ^{[ 13 ]} sugirió que un mercado podría usar el análisis de asociación para encontrar la probabilidad de que un cliente que compra café también compre pan; el mercado podría luego usar esa información para influir en la distribución de la tienda y las promociones.

Debido a que el código de Hancock funcionaba de manera eficiente, incluso con grandes cantidades de datos, los investigadores de AT&T afirmaron que permitía a los analistas crear aplicaciones "que antes se consideraban inviables". ^{[ 1 ]}

Los programas de Hancock ayudaron en los esfuerzos de marketing de AT&T. ^{[ 2 ]} En la década de 1990, la minería de flujos de datos a gran escala y la mayor automatización de los sistemas de registros públicos gubernamentales permitieron a las corporaciones comerciales en los Estados Unidos personalizar el marketing. ^{[ 15 ]} Se desarrollaron perfiles de firma a partir de registros de transacciones y fuentes de registros públicos. ^{[ 15 ]} Ng y Liu, por ejemplo, aplicaron la minería de datos al análisis de retención de clientes y descubrieron que la minería de reglas de asociación permitía a una empresa predecir la salida de clientes influyentes y sus asociados. Argumentaron que dicho conocimiento posteriormente capacita al equipo de marketing de la empresa para dirigirse a esos clientes, ofreciéndoles propuestas más atractivas. ^{[ 10 ]}

La minería de datos ayudó a las empresas de telecomunicaciones en el marketing viral , también conocido como marketing de boca en boca o marketing de boca en boca, que utiliza las redes sociales de los consumidores para mejorar el conocimiento de la marca y las ganancias. ^{[ 16 ]} El marketing viral depende de las conexiones entre los consumidores para aumentar la promoción de la marca, que puede ser explícita, como cuando los amigos recomiendan un producto a otros amigos, o implícita, como cuando los consumidores influyentes compran un producto. ^{[ 16 ]} Para las empresas, uno de los objetivos del marketing viral es encontrar consumidores influyentes que tengan redes más grandes. Otro método de marketing viral es dirigirse a los vecinos de los consumidores anteriores, conocido como "segmentación de red". ^{[ 16 ]} Utilizando los programas de Hancock, los analistas de AT&T pudieron encontrar "comunidades de interés" o usuarios interconectados que presentaban rasgos de comportamiento similares. ^{[ 12 ]}

Uno de los problemas que encontraron los promotores de marketing viral fue el gran tamaño de los conjuntos de datos de marketing, que, en el caso de las empresas de telecomunicaciones, pueden incluir información sobre los transactores y sus atributos descriptivos y transacciones. ^{[ 16 ]} Los conjuntos de datos de marketing, cuando ascienden a cientos de millones, pueden exceder la capacidad de memoria del software de análisis estadístico. ^{[ 16 ]} Los programas de Hancock abordaron los problemas de escalabilidad de datos y permitieron a los analistas tomar decisiones a medida que los datos fluían hacia los almacenes de datos. ^{[ 2 ]}

Si bien el desarrollo de dispositivos de comunicación inalámbrica permitió a las fuerzas del orden rastrear la ubicación de los usuarios, también permitió a las empresas mejorar el marketing de consumo, por ejemplo, enviando mensajes según la proximidad del usuario a determinados negocios. ^{[ 15 ]} Mediante datos de ubicación de estaciones base, los programas de Hancock pudieron rastrear los movimientos de los usuarios de telefonía móvil. ^{[ 2 ]}

Según el académico Alan Westin , el aumento del telemarketing durante este período también incrementó la molestia de los consumidores. ^{[ 15 ]} Los estadísticos Murray Mackinnon y Ned Glick plantearon la hipótesis en 1999 de que las empresas ocultaban su uso de minería de datos comerciales debido a la posible reacción negativa de los consumidores ante la extracción de registros de clientes. ^{[ 5 ]} Como ejemplo, Mackinnon y Glick citaron una demanda de junio de 1999 en la que el estado de Minnesota demandó a US Bancorp por divulgar información de clientes a una empresa de telemarketing; Bancorp respondió rápidamente a la demanda restringiendo el uso de datos de clientes. ^{[ 5 ]}

Investigadores de AT&T, incluido Cortes , demostraron que los programas de minería de datos relacionados con Hancock podrían utilizarse para detectar fraudes en telecomunicaciones. ^{[ 14 ]}

La detección de fraude en telecomunicaciones incluye fraude de suscripción, uso no autorizado de tarjetas telefónicas y fraude en PBX . ^{[ 17 ]} Es similar al fraude en comunicaciones móviles y tarjetas de crédito: en los tres casos, las empresas deben procesar grandes cantidades de datos para obtener información; deben lidiar con la imprevisibilidad del comportamiento humano, lo que dificulta encontrar patrones en los datos; y sus algoritmos deben entrenarse para detectar los casos relativamente raros de fraude entre las numerosas transacciones legítimas. ^{[ 17 ]} Según Daskalaki et al. , en 1998, el fraude en telecomunicaciones generó pérdidas anuales de miles de millones de dólares a nivel mundial. ^{[ 17 ]}

Debido a que los casos de fraude eran relativamente pocos en comparación con los cientos de millones de transacciones telefónicas diarias que ocurrían, los algoritmos para la minería de datos de registros de telecomunicaciones deben proporcionar resultados de manera rápida y eficiente. ^{[ 12 ]} Los investigadores demostraron que las comunidades de interés podían identificar a los estafadores, ya que los nodos de datos de las cuentas fraudulentas suelen estar más cerca entre sí que de un nodo de una cuenta legítima. ^{[ 14 ]}

Mediante análisis de redes sociales y análisis de enlaces, también descubrieron que el conjunto de números a los que apuntaban las cuentas fraudulentas, que luego se desconectaban, a menudo eran llamados por estafadores desde números diferentes; dichas conexiones podrían usarse para identificar cuentas fraudulentas. Los métodos de análisis de enlaces se basan en la suposición de que los estafadores rara vez se desvían de sus hábitos de llamadas. ^{[ 12 ]}

La vigilancia federal de las telecomunicaciones no es un fenómeno histórico reciente en Estados Unidos. Según el académico Colin Agur, la vigilancia telefónica por parte de las fuerzas del orden en Estados Unidos se generalizó en la década de 1920. ^{[ 18 ]} En particular, la interceptación telefónica se convirtió en una forma común de recopilación de pruebas por parte de las fuerzas del orden, especialmente los agentes federales, durante la Ley Seca. ^{[ 18 ]} Agur sostiene que la Ley de Comunicaciones de 1934, que estableció la Comisión Federal de Comunicaciones (FCC), limitó el abuso de la vigilancia telefónica por parte de las fuerzas del orden. ^{[ 18 ]} Bajo esta ley, las compañías de telecomunicaciones podían mantener registros e informar a la FCC sobre las solicitudes ilegales de interceptación de telecomunicaciones. Tras la Ley Federal de Interceptación Telefónica de 1968 y la decisión de la Corte Suprema en el caso Katz contra Estados Unidos , que extendieron las protecciones de la Cuarta Enmienda a las comunicaciones telefónicas, la vigilancia federal de las telecomunicaciones requirió órdenes judiciales. ^{[ 18 ]}

El FBI fue autorizado por primera vez a obtener cartas de seguridad nacional (NSL, por sus siglas en inglés) para los registros de facturación de comunicaciones, incluidos los de los servicios telefónicos, después de que el Congreso aprobara la Ley de Privacidad de las Comunicaciones Electrónicas de 1986. Estas cartas obligaban a las compañías telefónicas a proporcionar al FBI información de sus clientes, como nombres, direcciones y registros de llamadas de larga distancia. Posteriormente, el Congreso amplió la autoridad de las NSL para incluir también órdenes judiciales para los registros de llamadas locales. ^{[ 19 ]}

Tras los atentados del 11 de septiembre de 2001 , el Congreso aprobó la Ley Patriota de Estados Unidos , que facilitó a los investigadores del FBI la emisión de cartas de seguridad nacional (NSL) para investigaciones antiterroristas. Los académicos William Bendix y Paul Quirk sostienen que la Ley Patriota permitió al FBI acceder y recopilar datos privados de muchos ciudadanos sin la aprobación de un juez. El FBI podía conservar un archivo de registros sin límite de tiempo. También podía obligar a los destinatarios de las NSL a guardar silencio mediante órdenes de silencio. ^{[ 19 ]}

El artículo de Wired afirmaba que el FBI comenzó a solicitar sin orden judicial a las compañías de telecomunicaciones registros de "comunidades de interés" de sospechosos amparándose en la Ley Patriota de Estados Unidos. El artículo sostenía que las fuerzas del orden descubrieron la existencia de dichos registros gracias a la investigación realizada por los creadores de Hancock. ^{[ 2 ]}

En 2005, filtraciones gubernamentales revelaron el abuso de las NSL por parte del FBI. En 2006, cuando se renovó la Ley Patriota, se incluyeron disposiciones que exigían al inspector general del Departamento de Justicia revisar anualmente el uso de las NSL. El primer informe del inspector general halló que entre 2003 y 2005 se concedieron 140 000 solicitudes de NSL, sobre casi 24 000 ciudadanos estadounidenses, a agentes del FBI. Posteriormente, los datos se añadieron a bases de datos accesibles a miles de agentes. ^{[ 19 ]}

La relación público-privada de las empresas de telecomunicaciones se extiende al ámbito de la seguridad nacional . Empresas de telecomunicaciones, como AT&T , Verizon y BellSouth , cooperaron con las solicitudes de la NSA para acceder a los registros transaccionales. ^{[ 20 ]} Las empresas de telecomunicaciones, incluida AT&T, han mantenido alianzas con agencias gubernamentales, como el Departamento de Seguridad Nacional, para colaborar en el intercambio de información y la resolución de problemas nacionales de ciberseguridad. ^{[ 21 ]} Representantes de AT&T forman parte de la junta directiva de la Alianza Nacional de Ciberseguridad (NCSA), que promueve la concienciación sobre ciberseguridad y la protección de los usuarios de computadoras. ^{[ 21 ]}

Analistas de la NSA, bajo la autoridad del programa secreto de vigilancia antiterrorista , también utilizaron la minería de datos para encontrar sospechosos y simpatizantes del terrorismo. En esta búsqueda, la NSA interceptó comunicaciones, incluidas llamadas telefónicas, que entraban y salían de Estados Unidos. Los agentes examinaron la información en busca de posibles vínculos con el terrorismo, como el deseo de aprender a pilotar aviones o ubicaciones específicas de los destinatarios de las comunicaciones, como Pakistán. ^{[ 20 ]}

En 2005, el New York Times informó sobre la existencia del programa, que la administración Bush defendió como necesario en sus esfuerzos antiterroristas y limitado a sospechosos y asociados de terrorismo. ^{[ 20 ]}

Sin embargo, en 2007, el artículo de Wired señaló que AT&T y Verizon estaban siendo demandadas en un tribunal federal por proporcionar a la NSA acceso a miles de millones de registros telefónicos pertenecientes a estadounidenses para actividades antiterroristas, como el uso de minería de datos para localizar a presuntos terroristas y objetivos de escuchas telefónicas sin orden judicial . ^{[ 2 ]}

En 2013, tras las filtraciones de Snowden , se reveló que el programa también había extraído las comunicaciones no solo de sospechosos de terrorismo, sino también de millones de ciudadanos estadounidenses. Una auditoría independiente realizada en 2014 por la Junta de Supervisión de la Privacidad y las Libertades Civiles concluyó que el programa tenía beneficios limitados en la lucha contra el terrorismo. ^{[ 20 ]}