Si addestra e risponde
meta-externalagent: cos’è e come consentirlo o bloccarlo
Lo stesso nome decide due cose: se si addestrano sui tuoi testi e se ti usano per rispondere. Bloccarlo chiude entrambe le porte.
Cos’è
Meta AI. Raccoglie testi per addestrare i modelli di Meta e per le risposte di Meta AI.
Come la maggior parte dei crawler di IA, legge l’HTML così come lo invia il tuo server: ciò che il tuo sito disegna con JavaScript potrebbe non arrivargli mai.
Come si identifica
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)
È ciò che invia nell’intestazione User-Agent. In robots.txt si usa solo il nome breve: meta-externalagent.
Le righe per il tuo robots.txt
Consentirlo
User-agent: meta-externalagent Allow: /
Bloccarlo
User-agent: meta-externalagent Disallow: /