Rastreo

Bloquear el acceso a user-agents

Guía sobre cómo impedir el acceso a determinados user agents mediante el servidor

Bloquear el acceso a user-agents
Autor
Carlos Sánchez
Temática
Rastreo Servidores
Publicado
Revisado

Una práctica SEO habitual, suele ser bloquear el acceso a distintos user-agents. En ocasiones, porque queremos evitar el rastreo, la indexación o la sobrecarga de peticiones que se hacen en la web consumiendo innecesariamente excesivos recursos del servidor, o porque necesitamos bloquear algunos usuarios o bots que no nos conviene que nos rastreen la web.

Es cierto que en muchas ocasiones es necesario pero, de una forma incorrecta, se suelen aplicar estas directrices por medio del robots.txt, cuando es un estándar que cualquier rastreador puede saltarse fácilmente si así quiere hacerlo. En el caso de no querer indexar, Google es capaz de indexar páginas bloqueadas con el robots.txt; en el caso de querer evitar el rastreo o la sobrecarga, puede ser válido siempre y cuando el user-agent decida respetar el robots.txt, que no siempre es así ya que cada user-agent lo respeta o interpreta como quiere.

Debido a esto, la mejor práctica suele ser hacer un bloqueo por medio del servidor, ya que esto no se lo podrá saltar ningún bot que se identifique con los user-agents especificados, y en el caso de motores de búsqueda como Google, al ver un código de respuesta 403, no indexarán esas URL y, si ya estaban indexadas, las acabarán sacando del índice.

Eso sí, hay que tener claro su límite: el user-agent lo declara quien hace la petición, así que este bloqueo solo frena a los bots que se identifican honradamente. Cambiar el user-agent es trivial, y hay muchos bots que se hacen pasar por Googlebot precisamente para que nadie les cierre la puerta. Para saber si una visita que dice ser Googlebot lo es de verdad, Google recomienda comprobarlo por DNS inverso o con sus listas de IP, y Bing tiene la herramienta Verify Bingbot. Si lo que quieres frenar es a quien miente sobre quién es, el bloqueo por user-agent hay que complementarlo con bloqueos por IP o con el firewall del servidor o del CDN.

Y si lo que te preocupa es que Googlebot sobrecargue el servidor, el 403 no es la herramienta: Google pide expresamente no usar los códigos 401 y 403 para limitar la frecuencia de rastreo. Para eso explico otras opciones en reducir a Google el rastreo por nuestra web.

Recomiendo siempre personalizar los códigos de error, por si un usuario se lo encuentra de forma accidental.

Como sabréis, me gusta mostrar los comandos tanto en apache como en nginx. Así que veamos las opciones en ambos entornos.

Bloquear User agents en Apache

Recomiendo emplear estos códigos lo más arriba posible en el .htaccess, ya que serán de vital importancia para los navegadores a la hora de hacer una petición.

Por lo general, si queremos bloquear el acceso de un user-agent a todo el contenido, vamos a querer bloquear más de uno. También es posible que dicho user-agent tenga espacios, lo cual se representará con un .* debido al regex; aunque hay más comandos que permiten seleccionar el espacio que también son válidos. Por eso, en este código, os pongo un ejemplo para bloquear muchos user agents y, algunos de ellos, con espacios en el nombre:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Screaming.*Frog.*SEO.*Spider|Xenu's|WebCopier|URL_Spider_Pro|EmailCollector|Zeus|Baiduspider) [NC]
RewriteRule ^.*$ - [F,L]

Básicamente lo que indica este código es que en la segunda línea, los que cumplan la condición de ser el user-agent que se exponga a continuación, se someterá al siguiente rewriterule.

Entonces en regex, con la barra | lo que indicamos son alternativas, de esta forma, estamos seleccionando todos los de la lista.

Como la expresión no está anclada, basta con que el nombre aparezca en cualquier parte del user-agent: no hace falta rodearlo de ^.* ni de .*$, y con poner WebCopier ya se cubren todas sus versiones. Lo que no puede haber es un espacio suelto dentro de la condición: Apache lo interpreta como el final del patrón, da el error «RewriteCond: bad flag delimiters» y toda la web empieza a responder con un error 500. Por eso, si el nombre lleva espacios, se sustituyen por .* (o por \s). En una versión anterior de este código se coló un espacio justo después del ^.*, así que si lo copiaste en su día, revísalo.

Ese Rewriterule al poner las banderas [F,L] generará ese ansiado código de respuesta 403, pero recordad que podéis utilizarlo incluso para generar otro tipo de redirecciones si esto os resulta útil.

Bloquear el acceso de un directorio

Si quieres bloquear algún directorio específico a algún user-agent, puedes seguir las indicaciones que doy sobre seleccionar URI o parámetro para un rewriterule.
RewriteEngine On
RewriteCond %{REQUEST_URI} ^/no-buscadores/ [NC]
RewriteCond %{HTTP_USER_AGENT} (Googlebot|Bingbot) [NC]
RewriteRule ^.*$ - [F,L]

De esta forma, todo lo que esté dentro de ese subdirectorio, no será rastreable ni indexable por los buscadores.

Bloquear User Agents en Nginx

En el caso de nginx, en el nginx.conf dentro de server{} se haría con un condicional:
if ($http_user_agent ~* (Xenu's|WebCopier)) {
return 403;
}

Con ~* la comparación no distingue mayúsculas de minúsculas, como el [NC] de Apache. Con ~ sí las distingue, y un «webcopier» escrito en minúsculas se te escaparía.

Bloquear el acceso de un directorio

Para bloquearlo dentro de un directorio habría que meterlo dentro de un location:
location ^~ /no-rastreo/ {
if ($http_user_agent ~* (AhrefsBot)) {
return 403;
}
}

Ojo con el modificador. En nginx, location = es una coincidencia exacta y el asterisco no funciona como comodín, así que una regla como location = /no-rastreo/* solo afectaría a la URL literal /no-rastreo/* y no bloquearía nada de lo que hay dentro del directorio. Basta con poner el prefijo del directorio. El ^~ hace que, cuando esa es la location que coincide, nginx no siga evaluando las que usan expresiones regulares.

Aun así, el if solo se aplica a las peticiones que nginx resuelve en esa location. Si en ese directorio hay PHP (un WordPress, por ejemplo), con el ^~ los .php dejarían de pasar por su location y no se ejecutarían, y si quitas el ^~ o anidas ahí la location de PHP, esas peticiones ya no pasan por el if. Para esos casos es más seguro hacerlo dentro de server{}, combinando las dos condiciones con una variable:
set $bloqueo 0;
if ($http_user_agent ~* (AhrefsBot)) {
set $bloqueo 1;
}
if ($uri !~ ^/no-rastreo/) {
set $bloqueo 0;
}
if ($bloqueo) {
return 403;
}

Recuerda como siempre, que tienes que reiniciar la configuración de nginx para que esto tenga efecto.

Bloquear los rastreadores de IA

Hoy en día uno de los motivos más habituales para bloquear user-agents son los rastreadores de las empresas de IA. Lo primero es decidir qué quieres frenar, porque cada empresa tiene varios bots con propósitos distintos: no es lo mismo el que recopila contenido para entrenar modelos que el que lo indexa para su buscador o el que visita una página porque un usuario se lo ha pedido en el chat. Si lo que buscas es hacerlo desde el robots.txt, lo explico en bloquear un LLM en nuestra web.

Estos son los tokens que se buscan en el user-agent, sacados de la documentación oficial de cada empresa (el user-agent completo incluye además versión y URL, pero basta con el token):

Seguro que echas de menos a Google-Extended. No está en la lista porque no es un user-agent, sino un token que solo existe en el robots.txt. Google rastrea con sus user-agents de siempre, y Google-Extended únicamente le indica si puede usar ese contenido para entrenar futuras versiones de Gemini y para el grounding (las respuestas que se apoyan en contenido de la web) de las apps de Gemini y de Vertex AI. Ninguna petición llega a tu servidor con «Google-Extended» en el user-agent, así que una regla de servidor con ese nombre nunca bloquearía nada. Y bloquear Googlebot en el servidor para esquivar la IA te sacaría también de Google Search, cuando Google-Extended no afecta ni a la inclusión en el buscador ni al posicionamiento. Con Applebot-Extended de Apple pasa exactamente lo mismo: Apple deja claro que no rastrea páginas, solo controla si lo que ya ha rastreado Applebot se puede usar para entrenar sus modelos. Para estos dos, la única vía es el robots.txt.

Con los bots que actúan a petición de un usuario ocurre al revés: OpenAI avisa de que a ChatGPT-User las reglas del robots.txt pueden no aplicarse, Perplexity dice que Perplexity-User en general las ignora, y Meta y Amazon reconocen que meta-externalfetcher y Amzn-User pueden saltárselas. Ahí el bloqueo por servidor sí marca la diferencia.

Un ejemplo en Apache para bloquear algunos de los de entrenamiento, dejando que puedan seguir leyendo el robots.txt:
RewriteEngine On
RewriteCond %{REQUEST_URI} !^/robots\.txt$
RewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|meta-externalagent) [NC]
RewriteRule ^.*$ - [F,L]

Y lo mismo en nginx, dentro de server{}:
set $bloqueo_ia 0;
if ($http_user_agent ~* (GPTBot|ClaudeBot|CCBot|meta-externalagent)) {
set $bloqueo_ia 1;
}
if ($uri = /robots.txt) {
set $bloqueo_ia 0;
}
if ($bloqueo_ia) {
return 403;
}

Dejo el robots.txt fuera del bloqueo a propósito: Anthropic, por ejemplo, avisa de que si impides a sus bots leerlo, no puede garantizar que se respete tu exclusión. Y recuerda que a quien quiera colarse le basta con cambiar el user-agent; para comprobar que los que dicen ser estos bots lo son de verdad, la mayoría de estas empresas publican sus rangos de IP en la documentación que he enlazado.

Auditar que funcionan los códigos

Aunque estoy acostumbrado a trabajar con los códigos que expongo y siempre los verifico para asegurar que publico los ejemplos libres de errores. Siempre se puede escapar algo, o puede ser que no se editen de una forma correcta. Así que siempre recomendaré probar los códigos en un entorno de prueba antes que en la web en producción donde se vaya a implementar.

Para comprobar si la página tiene bloqueo para un user-agent específico, tendremos que irnos al inspeccionador de elementos.

En Chrome podemos hacerlo con Clic derecho > Inspeccionar, o utilizar el atajo rápido Control + Mayus + i.

Independientemente de como se nos muestre, vamos a los 3 puntitos que hay en vertical arriba a la derecha del todo, hacemos clic, vamos a más herramientas y pulsamos en Condiciones de red.

Inspector de elementos en español, condiciones de red

Una vez hemos realizado esto, nos saldrán las opciones de cambiar el almacenamiento en caché, limitaciones de red y el del user-agent. Ahí podremos poner el user-agent que queramos y hacer la comprobación.

Bloquear los user agents por medio de servidor y auditarlo

También tenemos la opción de hacer esta prueba con Screaming Frog.

Y si prefieres la terminal, con curl puedes enviar el user-agent que quieras y ver directamente el código de respuesta:
curl -I -A "GPTBot" https://tudominio.com/
Si el bloqueo funciona, la primera línea de la respuesta será la del 403.

Bloquear todos los user-agents menos uno

Por otro lado, ya que estamos tocando User-agents con el servidor, es posible que queramos bloquear el acceso para que nada se rastree ni se indexe.

Nos podemos inventar un user-agent y dejarle permiso sólo a dicho user-agent por medio de la negación:

En Apache

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} !(UserAgentPermitido) [NC]
RewriteRule ^.*$ - [F,L]

En nginx

if ($http_user_agent !~* (UserAgentPermitido)) {
return 403;
}

Recuerda como siempre, que tienes que reiniciar la configuración de nginx para que esto tenga efecto.

Bibliografía

Si te gusta este artículo, me ayudarías un montón compartiendo mi contenido:
Formación
No se te da mal el SEO técnico

Te falta mi máster. Accede a una formación avanzada que te permitirá aplicar e implementar SEO en cualquier tipo de web.

Accede al Máster de SEO Técnico
Tal vez te interesen otros artículos:
Artículos de SEO