Te cita en respuestas

Bingbot: qué es y cómo dejarlo entrar o bloquearlo

Si lo bloqueas, Copilot / Bing (fuente de muchas IAs) no puede leer tu web cuando alguien pregunta por lo que haces, y no te citará. Para aparecer en respuestas, déjalo entrar.

Comprueba si Bingbot puede leer tu web

Tarsier prueba tu web con este y otros rastreadores de IA y te dice quién entra, quién no y por qué.

Qué es

Copilot / Bing (fuente de muchas IAs).

Como la mayoría de rastreadores de IA, lee el HTML tal como lo manda tu servidor: lo que tu web pinta con JavaScript puede no llegarle nunca.

Cómo se identifica

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Es lo que manda en la cabecera User-Agent. En robots.txt se usa solo el nombre corto: Bingbot.

Las líneas para tu robots.txt

Dejarlo entrar

User-agent: Bingbot
Allow: /

Bloquearlo

User-agent: Bingbot
Disallow: /
Montar el robots.txt completo

Otros rastreadores