Solo entrena
Applebot-Extended: qué es y cómo dejarlo entrar o bloquearlo
Bloquearlo deja tus textos fuera del entrenamiento de modelos futuros, pero no te quita de las respuestas: de eso se encargan otros bots. Es una decisión legítima en cualquiera de los dos sentidos.
Qué es
Apple Intelligence. No rastrea: decide si lo que ya leyó Applebot sirve para entrenar la IA de Apple. Siri y Spotlight siguen igual.
Como la mayoría de rastreadores de IA, lee el HTML tal como lo manda tu servidor: lo que tu web pinta con JavaScript puede no llegarle nunca.
Cómo se identifica
Mozilla/5.0 (compatible; Applebot/0.1; +http://www.apple.com/go/applebot)
Es lo que manda en la cabecera User-Agent. En robots.txt se usa solo el nombre corto: Applebot-Extended.
Las líneas para tu robots.txt
Dejarlo entrar
User-agent: Applebot-Extended Allow: /
Bloquearlo
User-agent: Applebot-Extended Disallow: /