Ich weiß nicht ob es neu ist, aber zumindest mir war es auch noch nicht bekannt: Seit einiger Zeit besitzt jeder Blogger-Blog eine eigene robots.txt in der das durchsuchen des „search“-Verzeichnisses verboten und der Pfad zur Sitemap des jeweiligen Blogs angegeben wird.
[thx to: Heiner Otterstedt]