Rastreo

Googlebot

Explicación básica del funcionamiento de GoogleBot

Googlebot
Autor
Carlos Sánchez
Temática
Rastreo
Publicado
Revisado

Googlebot es el nombre que recibe el rastreador web de Google. Los rastreadores web son programas controlados por computadora que analizan el contenido ("Content") de documentos web y, si es necesario, incluyen estos contenidos en su índice. En el caso de Google, este es el índice de Google. Solo las páginas (o también llamadas documentos) que están en el índice pueden mostrarse en los resultados de búsqueda.

Cuando el Googlebot accede a un servidor web, se identifica a sí mismo a través del llamado User-Agent. Esto permite que, al analizar los archivos de registro del servidor, se pueda seguir el rastro de las páginas que el rastreador ha visitado. Sin embargo, también es posible obtener una visión del comportamiento de rastreo a través de la Consola de búsqueda de Google.

Los User-Agents del Googlebot

Además del Googlebot "general", hay rastreadores creados para temas específicos. Por ejemplo, para Google News existe el token Googlebot-News, que sirve para darle instrucciones en el robots.txt, aunque no tiene una identificación de usuario propia: rastrea con las de Googlebot. A continuación se listan algunos rastreadores de Google y sus User-Agents:

Dejo aquí el listado completo y actualizado de user-agents Google

Actualización 30/10/2026: He corregido tres cosas de este apartado. Googlebot-News no tiene una cadena de user-agent propia: según la documentación de rastreadores comunes de Google, solo existe como token para el robots.txt y rastrea con las distintas cadenas de Googlebot. Mediapartners-Google ya no es solo cosa de AdSense: en su página de rastreadores especiales Google indica que rastrea para varios productos publicitarios (por ejemplo, AdSense y Ad Manager), y sigue ignorando el grupo global User-agent: * del robots.txt. Y como Google ha trasladado su documentación de rastreadores a developers.google.com/crawling, he actualizado el enlace al listado.

Histórico: cómo era antes este apartado

Además del Googlebot "general", hay rastreadores creados para temas específicos. Por ejemplo, existe un Googlebot para noticias que se distingue por su propia identificación de usuario. A continuación se listan algunos rastreadores de Google y sus User-Agents:

  • Búsqueda web de Google: Googlebot (Está la versión Smartphone y Desktop)
  • Googlebot para Noticias: Googlebot-News
  • Googlebot para Imágenes: Googlebot-Image
  • Googlebot para Videos: Googlebot-Video
  • Googlebot para Adsense: Mediapartners-Google Es importante saber que ignora el user-agent global del robots.txt y se tiene que especificar en caso de alguna configuración en concreto.
  • Googlebot para investigaciones: GoogleOther

Dejo aquí el listado completo y actualizado de user-agents Google

Por lo general, Google rastrea sitios web a través de un User-Agent móvil para poder ver la presentación móvil de una página. Desde que concluyó el Mobile indexing first, según la documentación de Googlebot la mayoría de las peticiones se hacen con el rastreador para smartphone y solo una minoría con el de ordenador. Si quieres ver con qué Googlebot te está rastreando Google, en la Consola de búsqueda de Google, dentro de "Configuración", tienes las estadísticas de rastreo, que desglosan las peticiones por tipo de robot de Google (Smartphone, Ordenador, Imagen, Vídeo...).

Actualización 30/10/2026: Al dar por concluido el Mobile First Indexing (31/10/2023), Google quitó de la configuración de Search Console la información del "rastreador de indexación", porque todas las webs que funcionan en móvil ya se rastrean principalmente con el rastreador móvil. Así que el mensaje de "Robot de Google para ordenadores" del que hablaba aquí ya no aparece: lo que queda es el informe de estadísticas de rastreo.

Histórico: cómo era antes este apartado

Aunque salga que estamos siendo rastreados para la indexación principalmente por el Googlebot para ordenadores, está confirmado que no es así desde Mobile indexing first, es más John Mu ha comentado que este mensaje en la consola es un bug.

Tweet borrado por John Mu

Por lo general, Google rastrea sitios web a través de un User-Agent móvil para poder ver la presentación móvil de una página. En la Consola de búsqueda de Google, bajo configuración, Google indica cuál rastreador se utiliza preferentemente para un sitio web.

¿Cómo rastrea Google la web?

El rastreo y la indexación subsiguiente son procesos bastante complejos. Esto se debe a que la web es muy grande y dinámica. Todos los días se agregan muchos contenidos nuevos que los motores de búsqueda como Google deben encontrar y registrar. Además, el número de páginas ya conocidas (e indexadas) está creciendo: estas también deben ser registradas regularmente ya que sus contenidos pueden cambiar.

¿No lo estás entendiendo?
Si no tienes los conocimientos del Máster de SEO Técnico que dará comienzo el próximo octubre, puedes preguntar tus dudas de forma gratuita en mi Discord. ¡Accede a la comunidad!

Además de las actualizaciones de contenido, las instrucciones de indexación también pueden cambiar, o las páginas pueden ser retiradas por completo de la web. Por lo tanto, para asegurarse de que Google no se pierda ningún cambio, es esencial volver a rastrear.

Determinar cuándo una página cambia es un arte en sí misma. Mientras que muchos documentos nunca cambian (por ejemplo, el aviso legal de un sitio), otras páginas como tiendas en línea o sitios de noticias son altamente dinámicas. Por lo tanto, los sitios web son rastreados con diferentes frecuencias y cada web tiene un presupuesto de rastreo por parte de Google.

En SEOkomm 2021, Jan-Peter Ruhso de crawloptimizer y Darius Erdt describieron el proceso de rastreo e indexación con mucho detalle. Aunque en lo personal, me gusta y me parece más fiable la forma de explicar los microservicios para la indexación de Martin Splitt en su ponencia de SEO on The Beach, pero admito que me gusta bastante el esquema.

Para aquellos que solo quieran saber lo básico: El proceso de rastreo generalmente funciona de tal manera que varias instancias del Googlebot visitan diferentes direcciones de un sitio web al mismo tiempo. Durante este proceso, los rastreadores verifican regularmente el archivo robots.txt, ya que a través de este archivo se puede bloquear el acceso a estructuras de URL. Los datos recopilados durante el rastreo están parcialmente disponibles en la Consola de búsqueda de Google.

Mientras se está rastreando se analizan los códigos de respuesta que genere cada página o archivo desde el servidor (por cada URL). Es importante saber que estos no tienen por qué ser accidentales, y se pueden modificar de acuerdo a nuestras necesidades, ya que solo serán indexables los Códigos de Respuesta 2XX. Aun así, debemos tener cuidado, ya que el hecho de que sea un código de respuesta 200, no garantiza que Google no lo considere como un 404 (Soft 404) por diversos motivos.

Después de todo este proceso viene la indexación: Utilizando las etiquetas Meta Robots o X-Robots con la indicación Noindex, los webmasters tienen la posibilidad de prevenir la indexación de ciertas páginas por parte de los motores de búsqueda.

Alternativamente, a través de la etiqueta canónica (Canonical-Tag) se puede enviar una señal a los motores de búsqueda sobre si un contenido está disponible bajo varias direcciones. El llamado manejo de la indexación es un componente esencial de la optimización estratégica Onpage. Los ajustes de indexación y rastreo para direcciones individuales se pueden verificar mediante complementos de navegador SEO.

Si se descubre que la página es indexable, entonces pasamos al proceso de renderización, para que Google entienda y comprenda la página y pasarla finalmente a sus serps.

Dentro de la Consola de búsqueda de Google, puedes acceder a las llamadas estadísticas de rastreo en la sección "Configuración". Estas estadísticas te muestran, entre otras cosas, cuántas páginas ha analizado el Googlebot en tu presencia en la web.

Si te gusta este artículo, me ayudarías un montón compartiendo mi contenido:
Formación
No se te da mal el SEO técnico

Te falta mi máster. Accede a una formación avanzada que te permitirá aplicar e implementar SEO en cualquier tipo de web.

Accede al Máster de SEO Técnico
Tal vez te interesen otros artículos:
Artículos de SEO