Solo entrena
ClaudeBot: qué es y cómo dejarlo entrar o bloquearlo
Bloquearlo deja tus textos fuera del entrenamiento de modelos futuros, pero no te quita de las respuestas: de eso se encargan otros bots. Es una decisión legítima en cualquiera de los dos sentidos.
Qué es
Anthropic ClaudeBot. Recoge textos para entrenar los modelos de Anthropic. Bloquearlo no te saca de Claude.
Como la mayoría de rastreadores de IA, lee el HTML tal como lo manda tu servidor: lo que tu web pinta con JavaScript puede no llegarle nunca.
Cómo se identifica
Mozilla/5.0 (compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
Es lo que manda en la cabecera User-Agent. En robots.txt se usa solo el nombre corto: ClaudeBot.
Las líneas para tu robots.txt
Dejarlo entrar
User-agent: ClaudeBot Allow: /
Bloquearlo
User-agent: ClaudeBot Disallow: /