Fast jede Webpräsenz besitzt eine robots.txt-Datei, die für die Nutzer bzw. Besucher der Webseite nicht relevant oder interessant ist, aber von Suchmaschinen bzw. dessen Crawlern beachtet werden sollte. Eine Pflicht zum Beachten gibt es nicht, aber es gehört zum guten Ton und wird auch von allen bekannten Suchmaschinen umgesetzt. Auch Google beachtet die Datei natürlich, wird aber nun schon bald im Zuge der angestrebten Standardisierung nicht mehr alle Regeln befolgen - und das kann große Auswirkungen haben.
Das Internet hat sich in den vergangenen zwei Jahrzehnten wahnsinnig verändert und wird auch heute noch immer wieder um neue Technologien und Möglichkeiten erweitert. Ein sehr grundlegender Teil der Crawler-Infrastruktur hingegen hat sich ewig nicht mehr geändert, ist aber dennoch bis heute nicht standardisiert: Die robots.txt. Jetzt will Google die Standardisierung vorantreiben und hat zugleich einen robots.txt-Parser veröffentlicht.
Um den Zugriff von Crawling-Bots auf bestimmte Bereiche einer Webseite zu kontrollieren, ist es immer noch der einfachste Weg eine robots.txt einzusetzen und dort entsprechende Regeln zu hinterlegen. Trotz des eigentlich sehr simplen Aufbaus dieser Datei kann diese doch sehr fehleranfällig sein und die Bots sich unvorgesehen verhalten. Jetzt hat Google ein neues Tool zum testen dieser Datei veröffentlicht.
Nahezu jede Webseite setzt zur Steuerung von Suchmaschinen auf die robots.txt-Datei, mit der den Bots mitgeteilt wird, welche Webseiten gecrawlt und indexiert werden dürfen und welche nicht - und alle großen Suchmaschinen halten sich auch an diese Standard-Angaben. Zum 20-jährigen Jubiläum dieser Datei sorgt Google nun für die Zukunft vor und verfügt seit einigen Tagen auch über eine killer-robots.txt.
Jedem Webmaster dürfte wohl die robots.txt bekannt sein. Mit dieser kann man verhindern, dass bestimmte Seiten oder Verzeichnisse des Servers in den Index der Suche aufgenommen werden. Eigentlich alle großen Suchmaschinen halten sich daran. Vor einigen Wochen gab es eine Idee eine humans.txt einzuführen.
News

Google reagiert auf das Vorhaben von einigen Verlegern, die Google blockieren wollen, sodass sie nicht mehr über die Google News zu finden. Zum einen wird der Inhalt für die Google News nun über einen neuen Bot gecrawelt, zum anderen können die Publisher festlegen wie viele kostenpflichtige Artikel ein Nutzer pro Tag maximal anschauen kann.

Mit dem  Programm "First Click Free" kann festgelegt werden, dass ein Nutzer bspw. maximal 5 Artikel via Google Search bzw. Google News anschauen kann, bevor er dafür beim Verleger bezahlen muss.  

Wer nicht möchte, dass seine Artikel in den Google News laden, kann dies nun über die robots.txt festlegen. Google News wird ab sofort von von Googlebot-News gecrawelt. So lässt sich festlegen, dass bspw. das Archiv nicht aufgenommen werden darf oder die neusten Artikel nicht sofort in den News laden. Weitere Beispiele gibt es hier.

Der user agent lautet Googlebot-News. 
Google Bisher waren die Seiten von Google Profile nur eher sporadisch von Suchmaschinen indiziert worden - einfach aus dem Grund das sie nirgendwo öffentlich verlinkt sind, es sei denn der User verlinkt sich selbst irgendwo. In einigen Stunden wird sich das allerdings ändern, denn Google teilt allen Suchmaschinen nun per Sitemap die URLs von 150.000 öffentlichen Profilen mit. Seit wenigen Stunden findet sich in Googles robots.txt ein Link zu einer Profiles Sitemap in dem wiederum 30 Textdateien verlinkt sind. Jeder dieser Textdateien enthält 5.000 URLs die allesamt auf gut gefüllte Profile verlinken. Es ist also nur noch eine Frage von Stunden bis die großen Suchmaschinen die Profile indiziert und gelistet haben. Hervorgegangen ist das Google Profile damals aus Google Shared Stuff und wurde seitdem kontinuierlich erweitert und in verschiedene Dienste wie Maps, Reader und Knol integriert. Wirklich selbstständig war der Dienst bisher aber nicht, das wird sich nun ändern und das Profile wird quasi die Web-Visitenkarte hosted by Google. Da die Visitenkarten direkt auf google.com gehostet werden, dürfte diese bei sehr vielen Namen jetzt direkt auf Platz 1 in den Suchergebnissen stehen. Ich denke Google hätte einige Wochen vor dieser Öffnung eine Möglichkeit anbieten sollen das Profil aus Suchmaschinen entfernen zu dürfen bzw. gar nicht erst listen lassen zu dürfen. Was haltet ihr von dieser direkten Verlinkung der Profile? P.S. Es scheinen 150.000 Profile verlinkt zu sein. Hat jemand eine Ahnung ob diese Zahl realistisch ist oder ob es noch mehr Profile gibt? Ist eure Seite gelistet? » Profile-Sitemaps [ZDNet-Blog]