Googlebot

Googlebot es el software de rastreo web que utiliza Google para recopilar documentos de la web y crear un índice de búsqueda para el motor de búsqueda de Google . Este nombre se usa en realidad para referirse a dos tipos diferentes de rastreadores web: un rastreador de escritorio (para simular usuarios de escritorio) y un rastreador móvil (para simular usuarios de dispositivos móviles). ^{[ 1 ]}

Es probable que un sitio web sea rastreado tanto por Googlebot Desktop como por Googlebot Mobile. Sin embargo, Google hizo la transición a la indexación mobile-first, lo que significa que rastrea e indexa la web principalmente usando un Googlebot para teléfonos inteligentes. Este proceso comenzó a implementarse gradualmente en 2016 y se completó para todos los sitios web a finales de 2023. ^{[ 2 ] [ 3 ]} El subtipo de Googlebot se puede identificar mirando la cadena del agente de usuario en la solicitud. Sin embargo, ambos tipos de rastreadores obedecen el mismo token de producto (token useent) en robots.txt , por lo que un desarrollador no puede dirigir selectivamente a Googlebot mobile o Googlebot desktop usando robots.txt.

Google ofrece varios métodos que permiten a los propietarios de sitios web gestionar el contenido que se muestra en los resultados de búsqueda de Google. Si un administrador web decide restringir la información de su sitio disponible para Googlebot u otro rastreador , puede hacerlo mediante las directivas apropiadas en un archivo robots.txt ^{[ 4 ]} o agregando la metaetiqueta<meta name="Googlebot" content="nofollow" /> a la página web ^{[ 5 ]} . Las solicitudes de Googlebot a los servidores web se identifican mediante una cadena de agente de usuario que contiene "Googlebot" y una dirección de host que contiene "googlebot.com" ^{[ 6 ] .}

Actualmente, Googlebot sigue los enlaces HREF y los enlaces SRC. ^{[ 4 ]} Hay cada vez más evidencia de que Googlebot puede ejecutar JavaScript y analizar el contenido generado por las llamadas Ajax . ^{[ 7 ]} Hay muchas teorías sobre cuán avanzada es la capacidad de Googlebot para procesar JavaScript, con opiniones que van desde una capacidad mínima derivada de intérpretes personalizados. ^{[ 8 ]} Desde mayo de 2019, Googlebot ha utilizado un servicio de renderizado web (WRS) "perenne" que se actualiza automáticamente a la última versión estable del motor de renderizado Chromium , lo que garantiza la compatibilidad con las capacidades de los navegadores modernos, como las características de ECMAScript 6. ^{[ 9 ]} Googlebot descubre páginas recopilando cada enlace en cada página que puede encontrar. A menos que lo prohíba una etiqueta nofollow , luego sigue estos enlaces a otras páginas web. Las nuevas páginas web deben estar enlazadas desde otras páginas conocidas en la web para que sean rastreadas e indexadas, o enviadas manualmente por el webmaster.

Un problema que los webmasters con planes de alojamiento web de bajo ancho de banda suelen observar con Googlebot es que consume una enorme cantidad de ancho de banda. Esto puede provocar que los sitios web superen su límite de ancho de banda y se caigan temporalmente. Esto resulta especialmente problemático para los sitios espejo , que alojan muchos gigabytes de datos. Google ofrece " Search Console ", que permite a los propietarios de sitios web limitar la velocidad de rastreo. ^{[ 10 ]}

La frecuencia con la que Googlebot rastrea un sitio depende del presupuesto de rastreo. El presupuesto de rastreo es una estimación de la frecuencia con la que se actualiza un sitio web. Técnicamente, el equipo de desarrollo de Googlebot (equipo de Rastreo e Indexación) utiliza varios términos definidos internamente para referirse al "presupuesto de rastreo". ^{[ 11 ]}

Mediabot es el rastreador web que Google utiliza para analizar el contenido y así Google AdSense puede mostrar anuncios contextualmente relevantes en una página web. Mediabot se identifica con la cadena de agente de usuario "Mediapartners-Google/2.1".

A diferencia de otros rastreadores, Mediabot no sigue los enlaces para descubrir nuevas URL rastreables, sino que solo visita las URL que incluyen el código de AdSense. ^{[ 12 ]} Cuando ese contenido está protegido por un inicio de sesión, se le puede proporcionar al rastreador un inicio de sesión para que pueda rastrear el contenido protegido. ^{[ 13 ]}

InspectionTool es el rastreador utilizado por herramientas de prueba de búsqueda como la prueba de resultados enriquecidos y la inspección de URL en Google Search Console . Aparte del agente de usuario y el token de agente de usuario, imita a Googlebot. ^{[ 14 ]}

Se publicó de forma independiente una guía de los rastreadores. ^{[ 15 ]} En ella se detallan cuatro agentes de rastreo distintos basados ​​en datos de índices de directorios de servidores web : uno que no es de Chrome y tres rastreadores de Chrome.

• Preguntas frecuentes oficiales de Googlebot