Rastreo común

La Fundación Common Crawl ( Common Crawl ) es una organización sin fines de lucro 501(c)(3) que rastrea la web y proporciona gratuitamente sus archivos y conjuntos de datos al público. ^{[ 1 ] [ 2 ]} El acceso a los datos es gratuito en Amazon Web Services , pero los usuarios pueden incurrir en costos de almacenamiento y computación. ^{[ 3 ]}

Common Crawl fue fundada por Gil Elbaz . ^{[ 1 ] [ 2 ]}

Los datos habían sido utilizados principalmente por investigadores y algunas empresas emergentes hasta la década de 2020, cuando las empresas de IA comenzaron a entrenar grandes modelos de lenguaje utilizando dichos datos. ^{[ 4 ]} En noviembre de 2025, una investigación de The Atlantic reveló que Common Crawl engañó a los editores al afirmar que respetaba los muros de pago en su extracción de datos y que no atendía las solicitudes de los editores para que su contenido fuera eliminado de sus bases de datos. ^{[ 4 ]}

Common Crawl se fundó en 2007 en San Francisco. ^{[ 5 ]} Comenzó a publicar sus rastreos en 2011. ^{[ 6 ]}

Para 2013, sitios como TinEye estaban desarrollando sus productos a partir de Common Crawl. ^{[ 7 ] [ 8 ]} El rastreo reduce la dependencia de las empresas e investigadores de Google, que tiene el conjunto de datos más grande. ^{[ 7 ] [ 8 ]} Common Crawl fue diseñado para tener más datos y más recientes que fueran más eficientes para analizar y utilizar que la Wayback Machine creada por Internet Archive . ^{[ 8 ] [ 7 ]}

Para 2015, 1.800 millones de páginas web estaban en Common Crawl, que comenzó rastreando una lista de URL donadas por el motor de búsqueda Blekko . ^{[ 9 ]} Utilizan Amazon Web Services , que proporciona algunos de sus servicios de forma gratuita, lo que permite que los costos de computación promedien entre 2 y 4000 dólares al mes. ^{[ 9 ]} El sitio web de Common Crawl enumeraba 30 estudios basados ​​en datos de Common Crawl. ^{[ 9 ]}

Antes de 2023, Common Crawl no era muy conocido fuera de los investigadores académicos que utilizan los datos. ^{[ 5 ]} Common Crawl recibió sus primeras solicitudes para censurar información en 2023 y cada vez más su rastreador, CCBot, comenzó a ser bloqueado. ^{[ 5 ]} En 2023, comenzó a recibir un apoyo financiero significativo de empresas de IA, incluidas Anthropic y OpenAI , cada una de las cuales donó $250,000. ^{[ 4 ]} También se utilizó para entrenar el gran modelo de lenguaje Gemini de Google DeepMind . ^{[ 10 ]} Para abril de 2023, Common Crawl estaba capturando 3.1 mil millones de páginas web, con un estimado del 5% de las páginas antes de 2021 que contenían discurso de odio o insultos. ^{[ 11 ]}

En 2024, Common Crawl había sido citado en más de 10 000 estudios académicos. ^{[ 12 ]} Para 2024, The Pile y Common Crawl eran los dos principales conjuntos de datos de entrenamiento utilizados para entrenar modelos de IA. ^{[ 13 ] [ 14 ]}

En noviembre de 2025, una investigación del periodista tecnológico Alex Reisner para The Atlantic reveló que Common Crawl engañó a los editores al afirmar que respetaba los muros de pago en su extracción de datos y al decir que atendía las solicitudes de los editores para que su contenido fuera eliminado de sus bases de datos. ^{[ 4 ]} Incluía resultados engañosos en la función de búsqueda pública de su sitio web que no mostraban entradas para los sitios web que habían solicitado la eliminación de sus archivos, cuando en realidad esos sitios seguían incluidos en sus extracciones utilizadas por empresas de IA. ^{[ 4 ]} En 2025, Reisner descubrió que CCBot era el bot más bloqueado por los 1000 sitios web más importantes. ^{[ 4 ]}

Un artículo de 2026 en LWN.net analizó una ventaja de servicios como Common Crawl, ya que puede limitar los costos de extracción de datos para los sitios web al permitir que las empresas e investigadores descarguen los datos de Common Crawl en lugar de extraerlos ellos mismos. ^{[ 15 ]}

En abril de 2026, Common Crawl comenzó experimentalmente a distribuir sus datos a través de Hugging Face Storage Bucket , además de su almacenamiento estándar en Amazon S3 . ^{[ 16 ]}

Peter Norvig y Joi Ito han formado parte del consejo asesor. ^{[ 8 ]} Rich Skrenta es el director ejecutivo. ^{[ 4 ]}

Recibió financiación casi exclusivamente de la Fundación Familiar Elbaz hasta 2023, cuando comenzó a recibir donaciones de la industria de la IA. ^{[ 4 ]}

Varias organizaciones toman datos brutos de Common Crawl y los refinan en conjuntos de datos que excluyen contenido controvertido o que son de mayor calidad para sus propósitos, como FineWeb, DCLM y C4. ^{[ 4 ]}

• Lista de conjuntos de datos para la investigación en aprendizaje automático
• Inteligencia artificial de código abierto

• Sitio web oficial
• Repositorio de Common Crawl en GitHub con el rastreador, las bibliotecas y el código de ejemplo.
• Página de ProPublica Nonprofit Explorer : contiene 990 declaraciones.