Entrena y responde
meta-externalagent: qué es y cómo dejarlo entrar o bloquearlo
El mismo nombre decide dos cosas: si entrenan con tus textos y si te usan para responder. Bloquearlo cierra las dos puertas a la vez.
Qué es
Meta AI. Recoge textos para entrenar los modelos de Meta y para las respuestas de Meta AI.
Como la mayoría de rastreadores de IA, lee el HTML tal como lo manda tu servidor: lo que tu web pinta con JavaScript puede no llegarle nunca.
Cómo se identifica
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)
Es lo que manda en la cabecera User-Agent. En robots.txt se usa solo el nombre corto: meta-externalagent.
Las líneas para tu robots.txt
Dejarlo entrar
User-agent: meta-externalagent Allow: /
Bloquearlo
User-agent: meta-externalagent Disallow: /