robots.txt
In Googles robots.txt gibt es schon wieder einen neuen Eintrag: Diesmal für die Movie-Suche. Unter dieser Adresse gibt es schon lange eine Suche nach Kinofilmen + Spielzeiten und seit neuestem auch Trailer. Ein neues Feature gab es noch nicht, wahrscheinlich möchte Google nur alle Spider aussperren die diese Angaben benutzt hatten - aber ob die sich an die robots.txt halten?... [ZDnet-Blog]
GWB-Dossier robots.txt