Über IndexIntelligenceBot
IndexIntelligenceBot ist der Webcrawler, den die Cworc GmbH für Index Intelligence (whyindexed.me) betreibt. Diese Seite erklärt, was der Crawler tut, warum er Ihre Website besucht hat, wie er sich verhält und wie Sie ihn stoppen.
Wer diesen Crawler betreibt
Er wird von der Cworc GmbH, Hubertusweg 47, 14552 Michendorf, Deutschland, als Teil von Index Intelligence betrieben — einem Dienst, der Website-Betreibern hilft zu verstehen, warum ihre Seiten von Google indexiert werden oder nicht.
Er identifiziert sich mit dem User-Agent IndexIntelligenceBot/1.0 (+https://whyindexed.me/bot).
Warum der Crawler Ihre Website besucht hat
Jemand mit Zugriff auf Ihre Domain hat sie mit Index Intelligence verbunden und einen Scan gestartet. Der Crawler ruft dafür Ihre robots.txt, Ihre Sitemaps und eine begrenzte Anzahl von Seiten ab, um technische SEO- und Indexierbarkeitsprüfungen durchzuführen.
Er liest ausschließlich öffentlich erreichbare URLs per GET-Anfrage. Er sendet keine Formulare ab, meldet sich nicht an, kommentiert nicht und schreibt nichts auf Ihre Website.
Wie sich der Crawler verhält
Er befolgt die robots.txt — sowohl Regeln für IndexIntelligenceBot als auch Regeln für alle Crawler (*).
Er sendet pro Host nur eine Anfrage gleichzeitig, mit einer Pause von etwa 0,7 Sekunden zwischen den Seitenabrufen.
Jeder Seitenabruf ist auf etwa 3 MB und 15 Sekunden begrenzt, Sitemap-Abrufe auf 20 Sekunden. Er folgt nur wenigen Weiterleitungen.
Er fordert nur HTML-Seiten und Sitemap-Dateien an, läuft nur, wenn ein Website-Betreiber einen Scan anfordert, und lädt keine Assets in großen Mengen herunter.
Den Crawler verifizieren
Echte Anfragen tragen den exakten User-Agent IndexIntelligenceBot/1.0 (+https://whyindexed.me/bot), der auf diese Seite verweist.
Er läuft über gemeinsam genutzte, dynamische Cloud-IP-Adressen. Wir veröffentlichen daher keine IP-Liste — prüfen Sie stattdessen den User-Agent.
So blockieren Sie den Crawler
Fügen Sie Folgendes zur robots.txt Ihrer Website hinzu. IndexIntelligenceBot liest die robots.txt beim nächsten Besuch neu ein und stellt das Crawlen ein.
User-agent: IndexIntelligenceBot
Disallow: /Das Blockieren dieses Crawlers hat keinen Einfluss darauf, wie Google Ihre Website indexiert. Index Intelligence liest Ihre Google-Search-Console-Daten separat über die autorisierte Google-API — nicht durch Crawlen. Das Blockieren deaktiviert nur die technischen SEO-Prüfungen.
Kontakt
Fragen zum Crawler? E-Mail an remzi.aru@shlau.com.