Tools

Kann die KI
deine Website lesen?

Wir lesen deine robots.txt Bot für Bot und rufen deine Website mit dem Namen jedes Crawlers auf, so wie er es täte. So sieht man auch, was robots.txt nicht verrät: eine Firewall oder ein CDN, das sie abweist.

Das ist ein Teil. Die Analyse prüft alle.

In 30 Sekunden vergleichen wir, was ein Mensch auf deiner Website sieht, mit dem, was ein KI-Crawler bekommt, geben dir eine Note und sagen dir, was du zuerst beheben solltest. Die Analyse ist kostenlos.

Meine Website kostenlos analysieren

Fragen

  1. Was ist der Unterschied zwischen einer Sperre in robots.txt und dem „Abweisen“ durch den Server?

    robots.txt ist eine höfliche Bitte: Der Bot liest sie und entscheidet, sich daran zu halten. Abweisen ist etwas anderes: deine Firewall, dein CDN (zum Beispiel Cloudflare) oder ein Sicherheits-Plugin antwortet mit 403 oder 429, obwohl robots.txt ihn reinlässt. Das sieht man nicht, wenn man robots.txt liest, und es ist sehr häufig.

  2. Wenn ich GPTBot sperre, verschwinde ich dann aus ChatGPT?

    Nein. GPTBot sammelt nur Texte zum Trainieren von Modellen. Die Suchen von ChatGPT laufen über OAI-SearchBot und ChatGPT-User. Du kannst GPTBot sperren und trotzdem in Antworten erscheinen.

  3. Warum erscheint Google-Extended, obwohl es kein echter Bot ist?

    Google-Extended stellt keine eigenen Anfragen: Es ist ein Name, der nur in robots.txt existiert, um zu entscheiden, ob Gemini deine Website nutzt. Wir prüfen ihn in robots.txt und mit dem, was dein Server Googlebot antwortet.

  4. Speichert ihr die Website, die ich prüfe?

    Nein. Diese Prüfung wird nicht gespeichert und erstellt keinen Bericht. Die Anfragen an deine Website laufen nur, während du wartest.

Weitere Tools