Um den Zugriff von Crawling-Bots auf bestimmte Bereiche einer Webseite zu kontrollieren, ist es immer noch der einfachste Weg eine robots.txt einzusetzen und dort entsprechende Regeln zu hinterlegen. Trotz des eigentlich sehr simplen Aufbaus dieser Datei kann diese doch sehr fehleranfällig sein und die Bots sich unvorgesehen verhalten. Jetzt hat Google ein neues Tool zum testen dieser Datei veröffentlicht.