Hintergrund: Wie YouTube Videos verarbeitet & ausliefert
In jeder einzelnen Minute werden mehr als 72 Stunden Videomaterial zu YouTube hochgeladen – Tendenz steigend. Einen kleinen Einblick darin, Wie YouTube diese Datenmassen bewältigt, gibt jetzt der YouTube-Entwickler Rushabh Doshi. YouTube nutzt dafür Googles Rechenzentren rund um die Welt.
YouTube ist die drittgrößte Website weltweit und wird derzeit nur von Google (#1) und Facebook (#2) in der Traffic-Wertung überboten. Allein den Traffic den YouTube jeden Tag bewältigen muss, würde jede andere Website gnadenlos in einem DDos untergehen lassen. Doch mit dem einfachen ausliefern von Videos ist es noch lange nicht getan.
Sehr viel schwieriger als das reine streamen des Videos, ist der Upload-Prozess: Die User laden Videos in vielen verschiedenen Dateiformaten mit hunderten Audio- und Video-Codecs in diversen Abmessungen und Längen hoch. Noch vor wenigen Jahren war die Suche nach einem passenden Codec für ein bestimmtes Video eine Mammut-Aufgabe für jeden PC-User, YouTube hingegen erkennt und wandelt all diese Daten im Hintergrund um – der User bekommt davon nichts mit.
Videos werden gestückelt verarbeitet
Schon wenige Augenblicke nach dem Upload der Datei steht das Video zur Verfügung und kann weltweit angesehen werden. Um die Daten in dieser Geschwindigkeit verarbeiten zu können, wird das Video noch während des Uploadprozesses in mehrere Teile gestückelt und an unterschiedlichen Rechenzentren rund um die Welt verarbeitet.
Je nach geographischer Nähe zum User oder Auslastung der einzelnen Rechenzentren entscheidet das Upload-Script an welches Rechenzentrum der Teil gesendet wird. Das fertig verarbeitete Videomaterial wird dann wieder von allen Servern eingesammelt und zu einem kompletten Video zusammengefügt. All das geschieht in wenigen Sekunden und stellt die YouTube-Techniker immer wieder vor Herausforderungen.
Suchfunktion basiert auf dem GoogleRank
Da viele User keine passende Beschreibung für ihre Videos angeben, oder sich dabei sehr kurz & knapp halten, kann sich YouTube nicht auf eben diese verlassen. Zwar ist der Titel und die Beliebtheit eines Videos immer noch ausschlaggebend für die Suchergebnisse – doch es laufen auch viele andere Faktoren mit rein, viele davon stammen aus der Google Websuche.
Derzeit wendet YouTube noch keine Videoerkennung an, um den Inhalt eines Videos zu bestimmen, obwohl Google mittlerweile Technologien zur Erkennung von einfachen Objekten entwickelt hat. Ein Großteil der User sucht bei YouTube übrigens nach aktuellen Videos, ältere werden im Vergleich dazu kaum abgerufen.
Unbeliebte Videos wandern auf schwächere Server
Bekommt ein Video für lange, lange Zeit keinen einzigen Aufruf, wird dieses von YouTube automatisch auf Server verschoben die eventuell längere Antwortzeiten haben. Virale Videos mit mehreren tausend Klicks pro Tag hingegen werden auf Leistungsstarke Server mit sehr guter Anbindung verschoben um diese nahezu ohne Wartezeit abspielen zu können.
Aber auch wer ein angestaubtes Video aufruft, muss keine langen Wartezeiten in Kauf nehmen: Google erlaubt auch bei unbeliebten Videos nur eine Latenz von höchstens 1 Sekunde.
» Artikel bei Popular Mechanics
GoogleWatchBlog bei Google News abonnieren | GoogleWatchBlog-Newsletter
Teile diesen Artikel:
YouTube ist so ziemlich das Faszinierendste, das das Internet zu bieten hat. Gerne hätte ich mal gewusst, wie groß das Videoarchiv insgesamt ist.
Das wird vor allem interessant, wenn man mal die noch vor 5 Jahren verufene „youtubequalität“ mit der jetzigen vergleicht…
HD und FullHD, 3D mit Cyan-Magenta-Brille und Shutterbrille.
Das alles brauch noch mal einiges an Speicher…
Und mit der Berechnung ist das auch krass, sind es ja nicht nur die Codecs, sondern auch Entwacklungen und dergleichen, die man anwenden kann.
Wow, ganz schön krass, wenn man mal weiter darüber nachdenkt.