Einer der wichtigsten Grundsätze jeder Suchmaschine ist, dass sich der Spider gefälligst an die robots.txt zu halten hat und die darin verbotenen Links/Verzeichnisse/Regeln garnicht erst aufruft bzw. beachtet. Microsofts Live-Suchmaschine tut dies eigentlich relativ zuverlässig, hat aber ausgerechnet beim Konkurrenten Google dabei geschlampt. Und so finden sich jetzt Millionen AdWords-Links in Microsofts Suchindex… das kann teuer werden!
Eine Suche nach site:www.google.com/pagead bei Live.com gibt derzeit über 4 Millionen Suchergebnisse zurück. Google hat das spidern dieser Links in seiner robots.txt ausdrücklich verboten und das aus gutem Grund. Klickt jetzt jemand auf eines dieser Links bei live.com wird dies bei Googles AdServer als Klick auf einen Werbebanner gewertet und der Inserent muss blechen. Leider kann man in der Suchergebnisseite nicht sehen wohin man geleitet wird und von daher dürfte die beworbene Seite für 99% uninteressant sein – was dem Inserenten der dafür Teuer Geld (sic!) bezahlt wohl garnicht gefallen dürfte.
Jetzt ist es natürlich interessant wie Microsoft dieses Malheur passieren könnte. Hat man die Google robots.txt manuell einfach aus dem eigenen Spider ausgefiltert und die gesamte Website mal eben abgeklappert? Will Microsoft Googles Suchergebnisseiten spidern und diese Daten eventuell für sich selbst nutzen? Rein zufällig wird das sicherlich nicht passiert sein, aber den genauen Grund wird MS wohl nicht rausrücken.
Außerdem wird sich die Frage stellen wer den Schaden jetzt zu bezahlen hat: Variante 1: Die Inserenten können sich jetzt nicht sicher sein ob der Klick tatsächlich von google.com kommt und der User überhaupt weiß auf welcher Seite er landen wird. In diesem Fall könnten die Inserenten Geld von Google zurückfordern – und Google wird sich das Geld sicherlich bei Microsoft eintreiben.
Variante 2 wäre, dass Google auf seinem AdWords-Server nur Klicks wertet die von Google.com ausgeführt werden und so dem Inserenten nichts in Rechnung gestellt wird. Dann allerdings hätte Google den Inserenten kostenlos Besucher verschafft, was natürlich auch nicht ganz im Sinne von Google sein kann. In dem Falle hat nur der Google den Schaden und der Inserent freut sich über die zusätzliche Promotion.
Mal schauen wie lange Microsoft diese Links in seiner Suchmaschine listen wird…
[infopirat, thx to: seekXL, raven SEO Tools]