Herramientas

¿Pueden las IA
leer tu web?

Miramos tu robots.txt bot a bot y llamamos a tu web con el nombre de cada rastreador, como lo haría él. Así se ve también lo que robots.txt no cuenta: un cortafuegos o un CDN que los echa.

Esto es una pieza. El análisis las mira todas.

En 30 segundos comparamos lo que ve una persona en tu web con lo que recibe un rastreador de IA, te damos la nota y te decimos qué arreglar primero. El análisis es gratis.

Analizar mi web gratis

Preguntas

  1. ¿Qué diferencia hay entre bloquear en robots.txt y que el servidor «lo eche»?

    robots.txt es una petición educada: el bot la lee y decide hacer caso. Que el servidor lo eche es otra cosa: tu cortafuegos, tu CDN (Cloudflare, por ejemplo) o un plugin de seguridad le contesta 403 o 429 aunque robots.txt le deje pasar. Lo segundo no se ve mirando robots.txt, y es de lo más común.

  2. Si bloqueo GPTBot, ¿desaparezco de ChatGPT?

    No. GPTBot solo recoge textos para entrenar modelos. Las búsquedas de ChatGPT van con OAI-SearchBot y ChatGPT-User. Puedes bloquear GPTBot y seguir saliendo en las respuestas.

  3. ¿Por qué Google-Extended aparece aunque no exista como bot?

    Google-Extended no hace peticiones propias: es un nombre que solo existe en robots.txt para decidir si Gemini usa tu web. Lo comprobamos en robots.txt y con lo que tu servidor le contesta a Googlebot.

  4. ¿Guardáis la web que compruebo?

    No. Esta comprobación no se guarda ni crea ningún informe. Solo se hacen las peticiones a tu web mientras esperas.

Otras herramientas