Den GoogleBot kennt wohl jeder Webseiten-Betreiber – er ist dafür zuständig quasi das gesamte Web abzugrasen und zu indexieren, der Datenlieferant für die Websuche. Was aber kaum jemand weiß: Er hat noch 15 Brüder!
Insgesamt 16 Bots aus dem Hause Google hat SEO-United aufgelistet, darunter befinden sich auch der FeedFetcher, der AdSense-Bot und der Video-Bot. Aufgelistet werden sie mit ihren jeweiligen Homepages, dem ungefähren Intervall in dem sie vorbeischauen und ob sie angestoßen werden müssen oder Webseiten automatisch aufrufen.
Natürlich durchforstet nicht jeder Bot das ganze Web, dies ist einzig und allein dem GoogleBot vorbehalten. Alle anderen werden nur bei Bedarf bzw. im „Auftrag“ des GoogleBots oder von AdSense & co losgeschickt. Andere, wie z.B. Translate oder Site Verification werden auch direkt im Auftrag des Users auf den Weg gebracht.