S’entraîne et répond
meta-externalagent : ce que c’est et comment l’autoriser ou le bloquer
Le même nom décide deux choses : s’ils s’entraînent sur vos textes et s’ils vous utilisent pour répondre. Le bloquer ferme les deux portes à la fois.
Ce que c’est
Meta AI. Collecte des textes pour entraîner les modèles de Meta et pour les réponses de Meta AI.
Comme la plupart des robots d’IA, il lit le HTML tel que votre serveur l’envoie : ce que votre site dessine en JavaScript peut ne jamais lui parvenir.
Comment il s’identifie
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)
C’est ce qu’il envoie dans l’en-tête User-Agent. Dans robots.txt, on n’utilise que le nom court : meta-externalagent.
Les lignes pour votre robots.txt
L’autoriser
User-agent: meta-externalagent Allow: /
Le bloquer
User-agent: meta-externalagent Disallow: /