
Nahezu jede Webseite setzt zur Steuerung von Suchmaschinen auf die
robots.txt-Datei, mit der den Bots mitgeteilt wird, welche Webseiten gecrawlt und indexiert werden dürfen und welche nicht - und alle großen Suchmaschinen halten sich auch an diese Standard-Angaben. Zum 20-jährigen Jubiläum dieser Datei sorgt Google nun für die Zukunft vor und verfügt seit einigen Tagen auch über eine
killer-robots.txt.