Nur Training
Applebot-Extended: was es ist und wie du es erlaubst oder blockierst
Ihn zu blockieren hält deine Texte aus dem Training künftiger Modelle heraus, nimmt dich aber nicht aus den Antworten: Dafür sind andere Bots zuständig. Beides ist eine legitime Entscheidung.
Was es ist
Apple Intelligence. Crawlt nicht selbst: Er entscheidet, ob das, was Applebot schon gelesen hat, die KI von Apple trainieren darf. Siri und Spotlight bleiben davon unberührt.
Wie die meisten KI-Crawler liest er das HTML genau so, wie dein Server es schickt: Was deine Website per JavaScript zeichnet, erreicht ihn womöglich nie.
Wie er sich ausweist
Mozilla/5.0 (compatible; Applebot/0.1; +http://www.apple.com/go/applebot)
Das schickt er im User-Agent-Header. In robots.txt nutzt du nur den Kurznamen: Applebot-Extended.
Die Zeilen für deine robots.txt
Erlauben
User-agent: Applebot-Extended Allow: /
Blockieren
User-agent: Applebot-Extended Disallow: /