Googles Webmaster Tools bieten schon seit langer Zeit eine umfangreiche robots.txt-Analyse mit der jeder die Auswirkungen der eigenen robots.txt überprüfen und fehlerhafte Einträge anzeigen lassen kann. Da manche Webmaster es aber selbst damit nicht hinbekommen eine standardmäßige robots.txt zu basteln, kann diese jetzt direkt in den Webmaster Tools erstellt werden.
Unter dem Menüpunkt Tools->Generate robots.txt kann in 3 Schritten die eigene robots.txt erstellt werden. Als erstes kann ausgewählt werden ob Robots standardmäßig zugelassen oder blockiert werden sollen. Danach kann das ganze spezifischer für einzelne Verzeichnisse eingestellt werden. Als Bot-Auswahl stehen alle offiziellen Google-Bots zur Verfügung – die Bots der Konkurrenz muss man selbst eintragen. Als 3. und letzten Schritt kann die fertige Datei dann kopiert und auf dem Server abgespeichert werden.
Wirklich nutzerfreundlich ist es natürlich nicht dass nur die eigenen 5 Bots zur Auswahl stehen. Wenigstens die Bots der anderen großen 4 (Yahoo!, MSN, AOL, Ask) hätte Google mit einbauen können – aber vielleicht wollte das die Konkurrenz auch garnicht und nimmt das basteln lieber selbst in die Hand. Ansonsten ist das Tool wirklich sehr nützlich, schade nur dass es nicht außerhalb der Webmaster Tools zugänglich ist.