Outils

Les IA peuvent-elles
lire votre site ?

Nous lisons votre robots.txt robot par robot et appelons votre site sous le nom de chaque robot, comme il le ferait. On voit ainsi ce que robots.txt ne dit pas : un pare-feu ou un CDN qui les renvoie.

Ceci est une pièce. L’analyse les regarde toutes.

En 30 secondes, nous comparons ce que voit une personne sur votre site avec ce que reçoit un robot d’IA, vous donnons une note et vous disons quoi corriger d’abord. L’analyse est gratuite.

Analyser mon site gratuitement

Questions

  1. Quelle différence entre bloquer dans robots.txt et être « renvoyé » par le serveur ?

    robots.txt est une demande polie : le robot la lit et choisit de la respecter. Être renvoyé, c’est autre chose : votre pare-feu, votre CDN (Cloudflare, par exemple) ou une extension de sécurité répond 403 ou 429 alors que robots.txt le laisse passer. Cela ne se voit pas en lisant robots.txt, et c’est très courant.

  2. Si je bloque GPTBot, est-ce que je disparais de ChatGPT ?

    Non. GPTBot ne collecte que des textes pour entraîner des modèles. Les recherches de ChatGPT passent par OAI-SearchBot et ChatGPT-User. Vous pouvez bloquer GPTBot et continuer d’apparaître dans les réponses.

  3. Pourquoi Google-Extended apparaît-il alors que ce n’est pas un vrai robot ?

    Google-Extended ne fait aucune requête propre : c’est un nom qui n’existe que dans robots.txt pour décider si Gemini utilise votre site. Nous le vérifions dans robots.txt et avec ce que votre serveur répond à Googlebot.

  4. Conservez-vous le site que je vérifie ?

    Non. Cette vérification n’est pas enregistrée et ne crée aucun rapport. Les requêtes vers votre site n’ont lieu que pendant que vous attendez.

Autres outils