Solo entrena
GPTBot: qué es y cómo dejarlo entrar o bloquearlo
Bloquearlo deja tus textos fuera del entrenamiento de modelos futuros, pero no te quita de las respuestas: de eso se encargan otros bots. Es una decisión legítima en cualquiera de los dos sentidos.
Qué es
OpenAI GPTBot. Recoge textos para entrenar los modelos de OpenAI. Bloquearlo no te saca de ChatGPT.
Como la mayoría de rastreadores de IA, lee el HTML tal como lo manda tu servidor: lo que tu web pinta con JavaScript puede no llegarle nunca.
Cómo se identifica
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)
Es lo que manda en la cabecera User-Agent. En robots.txt se usa solo el nombre corto: GPTBot.
Las líneas para tu robots.txt
Dejarlo entrar
User-agent: GPTBot Allow: /
Bloquearlo
User-agent: GPTBot Disallow: /