Wenn wir über Anfragen bei Google sprechen verwenden wir eckige Klammern [ ], um den Anfang und das Ende der Suche zu markieren. Eine Schreibweise die ich in diesem Post verwenden werde. (Seiten und Suchergebnisse verändern sich regelmäßig, daher kann es sein, dass sich einige Beispiele hier nicht so verhalten wie erklärt) Seiten verstehen: Über die Jahren haben wir viel in unser Crawl und Index System investiert. Als Resultat haben wir einen großen und aktuellen Index. Im Bezug auf Größe und Aktualität haben wir unseren Indes auf andere Wege verbessert. Eine der Schlüsseltechnologien, die wir entwickelt haben um Webseiten zu verstehen ist das Assoziieren von Konzepten einer Seite, auch wenn sie nicht offensichtlich sind. Wir finden die offizielle Webseiten der Sprovieri Gallery in London für eine italienische Suchanfrage [galleria sprovieri londra], obwohl die Webseite weder London noch Londra enhält. Ein Amerikaner, der nach [cool tech pc vancouver, wa] sucht, findet die Homepage von cooltechpc.com, obwohl die Seite nicht erwähnt, das sich in Vancouver, WA, sind. Andere Techniken lassen uns die Wichtigkeit von Worten unterscheiden und sagen uns die Aktualität der Webseite Anfragen verstehen: Es ist schwer, dass wir das verstehen was unsere Nutzer suchen, neben den wenigen Worten in ihrer Anfrage. Daher haben wir einige bemerkenswerte Fortschritte auf diesem Gebiet gemacht: Rechtschreibkontrolle, Vorschläge, Synonyme und ein starkes Analyse Konzept. Die meisten Nutzer haben unser Rechtschreibsystem schon das ein oder andere Mal genutzt. Es erkennt, wenn jemand nach [kofee annan] googlet, dass er in Wirklichkeit nach Mr. Kofi Annan sucht, und Vorschlägte: Meinten Sie: kofi annan; sucht jemand hingegen für [kofee beans], dann meint er coffee beans. Das ganze international mit einer hohen Genauigkeit anzuwenden ist sehr schwierig, aber wir machen es gut. Synonyme sind die Grundlage für unsere Arbeit mit dem Verstehen von Anfragen. Das ist eines der schwierigsten Probleme, dass wir bei Google lösen wollen. Obwohl für die Nutzer manchmal offensichtlich, ist des ein ungelöstes Problem beim der automatischen Sprachverarbeitung. Als Nutzer denke ich nicht darüber nach welche Worte ich für meine Suche nutze. Oft weiß ich nicht welche die richtigen Worte sind. Genau da kommt unser Synonymesystem in Aktion. Es kann unterscheiden für was eine Abkürzung in einer Suche heißt. zum Beispiel steht das "Dr" bei der Suche [Dr Zhivago] für Doctor, bei [Rodeo Dr] meint es Drive. Googlet jemand nach [back bumper repair] bekommt er Ergebnisse über die Reparatur der hinteren Stoßstange. [Ramstein ab] liefert Resultate für die Ramstein Air Base, mit [b&b ab] Bed and Breakfasts in Alberta, Canada gemeint. Dieses Level des Verstehens von Suchen haben wir für fast 100 Sprachen entwickelt, und darauf sind wir sehr stolz. Eine weitere Technik, die wir in unserem Ranking System Nutzen ist die Identifikation von Konzepten. Das verarbeiten von schwierigen Konzepten erlaubt uns mehr relevante Suchergebnisse wiederzugeben. Zum Beispiel versteht unser Algorithmus, dass bei [new york times square church] nach einer bekannten Kirche im Times Square gesucht wird und nicht nach Artikeln der New York Times. Wir hören aber nicht mit dem Identifikation von Konzepten auf; Wir nutzen weitere Konzepte um die Suchanfrage zu verbessern, zum Beispiel, wenn jemand nach [PC and its impact on people] schaut und sucht tatsächlich nach den Auswirkungen von Computern auf die Gesellschaft oder einer schaut nach [rainforest instructional activities for vocabulary] schaut aber nach Regenwald Lehrplänen. Unser Anfragen Analyse Algorithmus hat viele State of the art Techniken in sich eingebaut, und nochmals wir machen das international für fast jede Sprache in der wir Google anbieten. Die Nutzer bestehen: Unsere Arbeit die Nutzerabsicht zu interpretieren, hat das Ziel dem User die Resultate zu liefern die er wirklich will, nicht nur das was sie in der Suchanfrage gestellt haben. Diese Arbeit beginnt mit einem Weltklasse-Lokalisierungs-System und macht mit einigen weiteren unserer Personalisierungstechnik weiter, zum Beispiel Universal Search. Unser Fokus liegt darin "die besten lokalrelevanten Ergebnisse global zu servieren" und wird in unserer Lokalisierungsarbeit ausgedrückt. Die gleiche Suchanfrage bei unterschiedlichen Ländern getippt, kann ganz andere Resultate liefern. Sucht man in den USA nach [bank] sollte man Amerikanische Banken bekommen, anderes in Großbritannien: Dort sucht der Nutzer entweder nach Bank Fashion oder eben britischen Banken. Gleiches gilt auch für die vielen anderen englischsprachigen Ländern.[...]Sucht man in Australien, England und den USA nach football, ist jeweils etwas anderes gemeint. Diese Beispiele zeigen wie wir die lokalisierten Konzepte richtig hinbekommen haben. Die gleiche Suche kann in verschiedenen Ländern entscheidet unterschiedliche Dinge bedeuten. Zum Beispiel ist [Côte d'Or] eine Region in Frankreich - aber es ist auch ein großer Schokoladenhersteller im benachbarten französischsprachigen Belgien; und auch das bekommen wir richtig hin :-). Personalisierung ist ein weiteres starkes Feature unserer Suche mit maßgeschneiderten Suchergebnissen für den individuellen Nutzer. So bekommen angemeldete Nutzer, die das Webprotokoll aktiviert haben Ergebnisse die sich an den Aufzeichnungen orientieren. Wenn jemand beispielsweise häufig nach Fußball Relevantem gesucht hat, bekommt er bei [giants] mehr Ergebnisse die mit Fußball zu tun haben, ein anderen bekommt vielleicht das Baseball Team. Ähnlich ist es wenn Sie Ergebnisse einer bestimmten Shoppingseite vorziehen. Sie bekommen dann erst Ergebnisse dieser Webseite, wenn Sie nach Produkten suchen. Durch Auswertungen wissen wir, dass die Nutzer mit der Personalisierung der Suche besser Ergebnissen bekommen. Ein weiterer Fall von Nutzerabsicht ist die Suche [chevrolet magnum]. Magnum ist eine Auto von Dodge und nicht von Chevrolet. Daher zeigen wir Ergebnisse zu Dodge Magnum, aber mit einem Hinweis. Unsere Arbeit an Universal Search ist ein weiteres Beispiel wie wir die Unserabsicht interpretieren, um ihnen das zugeben was sie (manchmal) wollen. Jemand der nach [bangalore] sucht, bekommt nicht nur wichtige Webseiten, er bekommt auch eine Karte, ein Video, das das Straßenleben in Bangalore. Auch aktuelle Nachrichten und Blogs über Bangalore werden gezeigt

Eine kleine Seite: Eine einfache Seite ist schneller heruntergeladen und allgemein schneller vom Browser aufgebaut. Jeder extra Inhalt des Interfaces bremst das Laden der Seite ohne, dass die Nutzer davon profitieren können. Komplexe Algorithmen mit einem einfachen Präsentation: Viele Suchfeatures benötigen einen Deal zwischen der Komplexität des Algorithmus und einer großen Analyse an Daten, um das möglichst flüssig zu gestalten. Der Trick: Alles komplexe hinter einem einfachen, intuitiven User Interface zu verstecken. Rechtschreibkontrolle, Auszüge, Sitelinks und Abfragenverfeinerung sind Beispiele für Funktionen die ausgefeilte Algorithmen benötigen und ständig verbessert werden. Für Nutzer unsichtbar, aber besser. Features, die überall arbeiten Features müssen so gestalten sein, dass sie in allen Sprachen und Ländern funktionieren. Zum Beispiel das Problem mit der Rechtschreibkorrektur auf Chinesisch, wo die Anfragen oft nicht als Worte aufgebrochen sind oder Hebräisch/Arabisch, wo der Text von rechts nach links geschrieben ist. Experiment, Experiment, Experiment. Durch Experimente versuchen wir, das was wir gemacht haben, zu bestätigen. We try to verify that we've done the right thing by running experiments. Design, das viel versprochen hat, letztlich aber doch nicht sinnvoll war.

Search Quality ist der Name unseres Teams, das für das Ranking der Google Ergebnisse verantwortlich ist. Unser Ziel ist klar: Einige hundert millionenmal am Tag geben Menschen bei Google einen Suche auf. Innerhalb von Bruchteilen einer Sekunde muss Google entscheiden welche der Milliarden Webseiten die richtigen sind und in welcher Reihenfolge sie dargestellt werden müssen. Wir machen aber noch mehr - dazu später mehr. Obwohl sehr viele Menschen die Google Suche nutzen, ist nur sehr wenig über das Ranking bei Google bekannt. Und das ist unserer Absicht. Wir sind recht schweigsam über das was wir tun. Das hat zwei Gründe: Die Konkurrenz und Missbrauch. Der Wettbewerb ist ziemlich eindeutig. Kein Unternehmen will seine Geheimrezepte und Firmengeheimnisse mit der Konkurrenz teilen. Zum Missbrauch: Wenn wir unsere Bewertungsformel öffentlich machen würden, wäre das Spielen mit unsere System leichter. Sicherheit durch Dunkelheit ist nicht die beste Maßnahme, und wir beziehen uns nicht darauf, aber es beugt Missbrauch vor. Die Details zum Suchalgorithmus sind in vielen Dingen Googles Kronjuwelen. Wir sind sehr stolz auf sie. Schätzungen zufolge waren an der Entwicklung dieser tausende Entwickler und Wissenschafter beteiligt die jahrelang daran gearbeitet haben. Die Frequenz von Innovationen wurde nicht verlangsamt. Die komplette Geheimhaltung ist nicht ideal und dieser Blogpost ist Teil einer neuen Bemühung sich mehr zu öffnen als in der Vergangenheit. Wir wollen versuchen in der Zukunft Sie regelmäßig über neue Dinge zu informieren und alte Sachen zu erklären, Tipps zu geben, Nachrichten zu teilen und Gespräche zu eröffnen. Lassen Sie mich mit einigen Allgemeinen Informationen über unserer Gruppe anfangen. Mehr erscheint in weiteren Postings. Ich sollte mir die Zeit nehmen und mich selbst vorstellen: Mein Name ist Udi Manber und ich bin ein VP of Engineering bei Google, genauer gesagt bei Search Quality. Ich arbeite seit über 2 Jahren für Google und schon seit fast 20 Jahren mit den Suchtechnologien. Das Herz der Gruppe ist das Team das am innersten arbeitet. Das Ranking ist hart, härter als die meisten Menschen denken. Der Grund: Die Sprache ist schon immer mehrdeutig und wird auch immer mehrdeutig bleiben und Dokumente folgen keinen Regeln. Es gibt keine Standards wie man Informationen vermittelt und daher müssen wir in der Lage sein alle Webseiten zu verstehen - egal wer sie geschrieben hat und aus welchem Grund. Aber auch die Suchanfragen wollen erst einmal verstanden werden. Die meisten habe weniger als 3 Worte. Nicht zu erwähnen, dass es verschiedene Menschen mit verschiedenen Interessen gibt. All das müssen wir in wenigen Millisekunden tun. Der bekannteste Teil des Suchalgorithmus ist der PageRank, ein Algorithmus der von den Google Gründern Larry Page and Sergey Brin entwickelt wurde. PageRank wird noch heute verwendet, aber er ist heute der Teil eines großen Systems. Die andere Teile: Sprachmodelle (der Umgang mit Phrasen, Synonymen usw.), Fragemodelle (es ist nicht nur die Sprache, es kommt drauf an wie die Leute sie nutzen), Zeitmodelle (manche Anfragen beantwortet eine 30 Minuten alten Seite besser als eine die schon vor langer Zeit geschrieben wurde und sich bewährt hat), persönliche Modelle (nicht alle Menschen wollen die selben Sachen). Ein weiteres Team in unserer Grunde ist für die Qualitätsmessung zuständig. Dies erfolgt in vielen verschiedenen Arten, aber das Ziel ist das selbe: Der Verbesserung der Benutzererfahrungen. Das ist nicht das Hauptziel - es ist das einzige Ziel. Jede Minute erfolgen automatische Qualitätskontrollen (um sicherzustellen, dass nichts falsch läuft), regelmäßige Kontrollen unserer gesamten Qualität und, wohl am wichtigsten, die Kontrolle unserer Verbesserungen am Algorithmus. Wenn ein Entwickler eine neue Idee hat und einen neuen Algorithmus bastelt, wird diese Idee gründlich getestet. Statistiker verarbeiten die Daten und beziffern wie hoch die Verbesserung ist. Wir treffen uns einmal in der Woche (manchmal auch zweimal) um über solche Ideen zu sprechen und die Veröffentlichung vorzubereiten. 2007 haben über 450 Verbesserungen veröffentlicht - im Schnitt 9 in der Woche. Einige dieser Updates sind einfach und klar - zum Beispiel kommen wir mit hebräische Abkürzung zurecht (im Hebräischen werden werden Abkürzung durch ein " vor dem letzten Buchstaben gekennzeichen (IBM -> IB"M). Andere sind sehr kompliziert - bswp. das Update am PageRank aus dem Januar. Die meiste Zeit versuchen wir die Relevanz zu verbessern, aber wir arbeiten auch an der Vereinfachung von Algorithmen. Simple is good. Die internationale Suche stand in den letzten zwei Jahren im Mittelpunkt. Das bedeutet alle gesprochenen Sprachen, nicht nur die Großen. Letztes Jahr haben wir bspw. große Verbesserungen in Aserbaidschanisch, eine Sprache, die von 8 Millionen Menschen gesprochen wird, gemacht. In den letzten Monaten veröffentlichten wird Rechtschreibprüfungen für Estnisch, Katalanisch, Serbisch, Serbo-Kroatisch, Ukrainisch, Bosnisch, Kroatisch, Lettisch, Tagalog, Slowenisch und Persisch. Durch ein weltweites Netzwerk von Menschen erhalten wir viel Feedback und können so weitere Verbesserungen vornehmen. Ein anderes Team ist für neue Funktionen und neue User Interfaces zuständig. Ein großartiger Motor ist für ein tolles Auto notwendig, aber nicht ausreichend. Das Auto muss komfortabel und leicht fahrbar sein. Das Google Design ist sehr einfach. Nur sehr wenige unserer Nutzer haben jemals die Google Hilfe zur Suche gelesen und können Google trotzdem nutzen. (Wobei auch die Hilfe ständig verbessert wird und leicht lesbar ist.) Wenn ein neues Feature eingebaut wird, wollen wir sicherstellen, dass es intuitiv wird und von allen genutzt einfach werden kann. Eine der sichtbarsten Änderungen war die universelle Suche im letzten Jahr. Und natürlich am Google Notebook, Custom Search Engines und an iGoogle. Das UI Team wird von Experten unterstützt, die Anwenderstudien durchgeführt haben und neue Features bewerten. Sie reisen durch die Welt und machen sogar Hausbesuche um den Nutzer in seiner gewohnten Umgebung zu studieren (Keine Sorge sie kommen nicht unangemeldet!) Ein ganzes Team kämpft gegen Webspaming und anderen Missbrauch (Versteckte Texten, Kauderwelsch und anderen Methoden für ein höheres Ranking). Das Team bemerkt SPAM Trends und versucht durch skalierbaren Art und Weisen diese zu bekämpfen, wie alle Teams, erfolgt auch diese Arbeit international. Die Webspam Gruppe tauscht sich mit dem Google Webmaster Central Team aus und erhalten so Erkenntnisse. Auch gibt es andere Teams für bestimmte Projekte. Unsere Struktur ist aber sehr informell. Neue Projekte starten ständig. Eines der wichtigsten Dinge zur Suche ist, dass die Nutzer Erwartungen rapide ansteigen. Die Suchanfragen von morgen sich viel schwerer als die von heute. Genau wie das Moore's Law alle 18 Monate die Verdoppelung der Rechengeschwindigkeit regelt, gibt es ein ungeschriebenes Gesetz, das die Komplexität unserer schwierigsten Anfragen in kurzer Zeit verdoppelt. Das ist zwar unmöglich messbar, aber wir alle fühlen es. Wir wissen, dass wir uns nicht auf den Lorbeeren ausruhen dürfen und weiter hart mit der Herausforderung arbeiten müssen. Wie schon vorhin erwähnt, wollen wir Ihnen auch in den nächsten Monaten weitere Updates an der Suchqualität liefern.