Extracción de datos web

La forma más sencilla de extracción de datos web consiste en copiar y pegar manualmente la información de una página web en un archivo de texto o una hoja de cálculo. Este método no requiere herramientas técnicas y puede utilizarse cuando la extracción automatizada está bloqueada por restricciones del sitio web o cuando se requiere criterio humano para interpretar contenido complejo. Sin embargo, la extracción manual es muy ineficiente para grandes conjuntos de datos, ya que consume mucho tiempo, es propensa a errores humanos y mentalmente agotadora. Por este motivo, generalmente se considera poco práctica en comparación con los métodos automatizados, excepto en los casos en que la automatización no sea factible.

Una forma sencilla de extraer información de las páginas web es utilizar el comando grep de UNIX o las funciones de coincidencia de expresiones regulares de los lenguajes de programación (por ejemplo, Perl o Python ), para encontrar texto que coincida con un patrón específico.

Las páginas web estáticas y dinámicas se pueden recuperar enviando solicitudes HTTP al servidor web remoto mediante programación de sockets .

Muchos sitios web tienen grandes colecciones de páginas generadas dinámicamente a partir de una fuente estructurada subyacente, como una base de datos. Los datos de la misma categoría suelen codificarse en páginas similares mediante un script o plantilla común. En minería de datos, un programa que detecta dichas plantillas en una fuente de información particular, extrae su contenido y lo traduce a un formato relacional, se denomina envoltorio . Los algoritmos de generación de envoltorios asumen que las páginas de entrada de un sistema de inducción de envoltorios se ajustan a una plantilla común y que pueden identificarse fácilmente en términos de un esquema común de URL. ^{[ 5 ]} Además, algunos lenguajes de consulta de datos semiestructurados , como XQuery y HTQL, pueden utilizarse para analizar páginas HTML y para recuperar y transformar el contenido de las páginas.

Mediante programas como Selenium o Playwright , los desarrolladores pueden controlar navegadores web como Chrome o Firefox para cargar, navegar y recuperar datos de sitios web. Este método resulta especialmente útil para extraer datos de sitios dinámicos, ya que el navegador carga completamente cada página. Una vez cargada la página, los desarrolladores pueden acceder al DOM y analizarlo mediante un lenguaje de expresiones como XPath .

Varias empresas han desarrollado plataformas de recolección de contenido específicas para cada sector. Estas plataformas crean y supervisan multitud de "bots" para sectores concretos sin intervención humana directa ni trabajo relacionado con un sitio web objetivo específico. La preparación consiste en establecer la base de conocimientos para todo el sector, tras lo cual la plataforma crea los bots automáticamente. La robustez de la plataforma se mide por la calidad de la información que recupera (normalmente el número de campos) y su escalabilidad (la rapidez con la que puede escalar a cientos o miles de sitios). Esta escalabilidad se utiliza principalmente para acceder a la cola larga de sitios que los agregadores comunes consideran complicados o demasiado laboriosos para la recolección de contenido.

Las páginas que se extraen pueden contener metadatos o marcados y anotaciones semánticas, que permiten localizar fragmentos de datos específicos. Si las anotaciones están integradas en las páginas, como hace Microformat , esta técnica puede considerarse un caso especial de análisis del DOM. En otro caso, las anotaciones, organizadas en una capa semántica, ^{[ 6 ]} se almacenan y gestionan por separado de las páginas web, de modo que los programas de extracción pueden recuperar el esquema de datos y las instrucciones de esta capa antes de extraer la información de las páginas.

Existen iniciativas que utilizan aprendizaje automático y visión artificial para intentar identificar y extraer información de páginas web interpretándolas visualmente como lo haría un ser humano. ^{[ 7 ]}

En Estados Unidos, los propietarios de sitios web pueden utilizar tres demandas legales principales para prevenir el web scraping no deseado: (1) infracción de derechos de autor (compilación), (2) violación de la Ley de Fraude y Abuso Informático ("CFAA") y (3) intrusión en bienes muebles . ^{[ 9 ]} Sin embargo, la efectividad de estas demandas depende del cumplimiento de varios criterios, y la jurisprudencia aún está en evolución. Por ejemplo, con respecto a los derechos de autor, si bien la duplicación directa de la expresión original será ilegal en muchos casos, en Estados Unidos los tribunales dictaminaron en Feist Publications v. Rural Telephone Service que la duplicación de hechos es permisible.

Los tribunales estadounidenses han reconocido que los usuarios de "rascadores" o "robots" pueden ser considerados responsables de cometer allanamiento de propiedad , ^{[ 10 ] [ 11 ]} lo que implica que el propio sistema informático se considera propiedad personal sobre la cual el usuario de un raspador está invadiendo. El caso más conocido, eBay v. Bidder's Edge , resultó en una orden judicial que obligaba a Bidder's Edge a dejar de acceder, recopilar e indexar subastas del sitio web de eBay. Este caso involucró la colocación automática de ofertas, conocida como subasta sniping . Sin embargo, para que prospere una demanda por allanamiento de propiedad , el demandante debe demostrar que el demandado interfirió intencionalmente y sin autorización con el interés posesorio del demandante en el sistema informático y que el uso no autorizado del demandado causó daños al demandante. No todos los casos de rastreo web presentados ante los tribunales se han considerado allanamiento de propiedad. ^{[ 12 ]}

Una de las primeras pruebas importantes de extracción de datos de pantalla involucró a American Airlines (AA) y a una empresa llamada FareChase. ^{[ 13 ]} AA obtuvo con éxito una orden judicial de un tribunal de primera instancia de Texas, impidiendo que FareChase vendiera software que permitía a los usuarios comparar tarifas en línea si el software también buscaba en el sitio web de AA. La aerolínea argumentó que el software de búsqueda web de FareChase invadía los servidores de AA al recopilar datos disponibles públicamente. FareChase presentó una apelación en marzo de 2003. En junio, FareChase y AA llegaron a un acuerdo y se retiró la apelación. ^{[ 14 ]}

Southwest Airlines también impugnó las prácticas de extracción de datos de pantalla y demandó a FareChase y a otra empresa, Outtask. Southwest Airlines alegó que la extracción de datos de pantalla es ilegal, ya que constituye un ejemplo de "fraude y abuso informático" y ha provocado "daños y pérdidas" y "acceso no autorizado" al sitio web de Southwest. También constituyó "interferencia con las relaciones comerciales", "allanamiento" y "acceso dañino por computadora". Además, afirmó que la extracción de datos de pantalla constituye lo que legalmente se conoce como "apropiación indebida y enriquecimiento ilícito", así como una violación del acuerdo de usuario del sitio web. Outtask negó todas estas alegaciones, argumentando que la ley aplicable en este caso debería ser la ley de derechos de autor de EE. UU. y que, bajo esta última, la información extraída no estaría sujeta a protección de derechos de autor. Aunque los casos nunca se resolvieron en la Corte Suprema de los Estados Unidos , FareChase fue finalmente clausurada por su empresa matriz, Yahoo! y Outtask fue comprada por la empresa de gastos de viaje Concur. ^{[ 15 ]} En 2012, una startup llamada 3Taps extrajo anuncios clasificados de vivienda de Craigslist. Craigslist envió a 3Taps una carta de cese y desistimiento y bloqueó sus direcciones IP y luego los demandó, en Craigslist v. 3Taps . El tribunal sostuvo que la carta de cese y desistimiento y el bloqueo de IP fueron suficientes para que Craigslist alegara correctamente que 3Taps había violado la Ley de Fraude y Abuso Informático (CFAA).

Aunque se trata de decisiones iniciales sobre el rastreo web y las teorías de responsabilidad no son uniformes, resulta difícil ignorar un patrón emergente: los tribunales están dispuestos a proteger el contenido propietario de sitios comerciales frente a usos indeseables para sus propietarios. Sin embargo, el grado de protección de dicho contenido no está definido y dependerá del tipo de acceso realizado por quien realiza el rastreo, la cantidad de información a la que se accede y que se copia, el grado en que dicho acceso afecta negativamente al sistema del propietario del sitio y los tipos y la forma de prohibir dicha conducta. ^{[ 16 ]}

Mientras la ley en esta área se establece más, las entidades que contemplan usar programas de raspado para acceder a un sitio web público también deben considerar si dicha acción está autorizada revisando los términos de uso y otros términos o avisos publicados o disponibles a través del sitio. En Cvent Inc. v. Eventbrite Inc. (2010), el tribunal de distrito de los Estados Unidos para el distrito este de Virginia , dictaminó que los términos de uso deben ponerse en conocimiento de los usuarios para que un contrato o licencia de browsewrap sea exigible. ^{[ 17 ]} En un caso de 2014, presentado en el Tribunal de Distrito de los Estados Unidos para el Distrito Este de Pensilvania , ^{[ 18 ]} el sitio de comercio electrónico QVC se opuso al agregador de compras similar a Pinterest Resultly 'scraping del sitio de QVC para obtener datos de precios en tiempo real. QVC alega que Resultly "rastreó excesivamente" el sitio web de venta minorista de QVC (supuestamente enviando entre 200 y 300 solicitudes de búsqueda al sitio web de QVC por minuto, a veces hasta 36 000 solicitudes por minuto), lo que provocó que el sitio de QVC se cayera durante dos días, resultando en pérdidas de ventas para QVC. ^{[ 19 ]} La demanda de QVC alega que el demandado disfrazó su rastreador web para ocultar su dirección IP de origen y, por lo tanto, impidió que QVC reparara rápidamente el problema. Este es un caso de extracción de datos particularmente interesante porque QVC busca una indemnización por los daños y perjuicios causados ​​por la indisponibilidad de su sitio web, que QVC afirma que fue provocada por Resultly.

En el sitio web del demandante, durante el período de este juicio, el enlace a los términos de uso se muestra entre todos los enlaces del sitio, en la parte inferior de la página, como en la mayoría de los sitios de internet. Esta resolución contradice la resolución irlandesa que se describe a continuación. El tribunal también rechazó el argumento del demandante de que las restricciones de navegación eran exigibles en vista de la adopción por parte de Virginia de la Ley Uniforme de Transacciones de Información Informática (UCITA), una ley uniforme que muchos consideraban favorable a las prácticas comunes de contratación mediante navegación. ^{[ 20 ]}

En Facebook, Inc. v. Power Ventures, Inc. , un tribunal de distrito dictaminó en 2012 que Power Ventures no podía extraer páginas de Facebook en nombre de un usuario de Facebook. El caso está en apelación, y la Electronic Frontier Foundation presentó un escrito en 2015 solicitando que se revoque. ^{[ 21 ] [ 22 ]} En Associated Press v. Meltwater US Holdings, Inc. , un tribunal en los EE. UU. declaró a Meltwater responsable de extraer y republicar información de noticias de Associated Press, pero un tribunal en el Reino Unido falló a favor de Meltwater.

En 2019, el Noveno Circuito dictaminó que el web scraping no violaba la CFAA en el caso hiQ Labs v. LinkedIn . El caso fue apelado ante la Corte Suprema de los Estados Unidos , que lo devolvió al Noveno Circuito para que lo reconsiderara a la luz de la decisión de la Corte Suprema de 2021 en el caso Van Buren v. Estados Unidos , que restringió la aplicabilidad de la CFAA. ^{[ 23 ]} En esta revisión, el Noveno Circuito confirmó su decisión anterior. ^{[ 24 ]}

Internet Archive recopila y distribuye una cantidad significativa de páginas web disponibles públicamente sin que ello se considere una violación de las leyes de derechos de autor.

En febrero de 2006, el Tribunal Marítimo y Comercial danés (Copenhague) dictaminó que el rastreo sistemático, la indexación y el enlace profundo del sitio web ofir.dk al sitio web inmobiliario Home.dk no contravienen la legislación danesa ni la directiva de bases de datos de la Unión Europea. ^{[ 25 ]}

El raspado ético de datos respalda el abastecimiento fuera del mercado en los negocios, pero debe cumplir con el RGPD para evitar violaciones de la privacidad en la recopilación automatizada de datos. ^{[ 26 ]}

En un caso de febrero de 2010, complicado por cuestiones de jurisdicción, el Tribunal Superior de Irlanda emitió un veredicto que ilustra el estado incipiente de la jurisprudencia en desarrollo. En el caso Ryanair Ltd v Billigfluege.de GmbH , el Tribunal Superior de Irlanda dictaminó que el acuerdo de aceptación mediante clic de Ryanair era jurídicamente vinculante. A diferencia de las conclusiones del Tribunal de Distrito de los Estados Unidos para el Distrito Este de Virginia y del Tribunal Marítimo y Comercial de Dinamarca, el juez Michael Hanna dictaminó que el hipervínculo a los términos y condiciones de Ryanair era claramente visible y que imponer al usuario la obligación de aceptar dichos términos y condiciones para acceder a los servicios en línea es suficiente para constituir una relación contractual. ^{[ 27 ]} La decisión está siendo apelada ante el Tribunal Supremo de Irlanda. ^{[ 28 ]}

El 30 de abril de 2020, la Autoridad Francesa de Protección de Datos (CNIL) publicó nuevas directrices sobre el web scraping. ^{[ 29 ]} Las directrices de la CNIL dejaron claro que los datos disponibles públicamente siguen siendo datos personales y no pueden reutilizarse sin el conocimiento de la persona a la que pertenecen. ^{[ 30 ]}

En Australia, la Ley contra el Spam de 2003 prohíbe algunas formas de recolección web, aunque esto solo se aplica a las direcciones de correo electrónico. ^{[ 31 ] [ 32 ]}

Salvo algunos casos relacionados con la infracción de la propiedad intelectual, los tribunales indios no se han pronunciado expresamente sobre la legalidad del web scraping. Sin embargo, dado que todos los contratos electrónicos comunes son ejecutables en la India, infringir los términos de uso que prohíben el web scraping constituiría una violación del derecho contractual. También infringiría la Ley de Tecnologías de la Información de 2000 , que penaliza el acceso no autorizado a un recurso informático o la extracción de datos del mismo.