Facebook construit son nouveau réseau de données sur mesure
Publié par Christophe Lagane le | Mis à jour le
Avec Express Backbone, Facebook sépare le réseau des utilisateurs de celui de ses données internes dont le volume explose.
Avec près de 2 milliards d'utilisateurs dans le monde (1,86 milliard au 31 décembre dont 1,23 milliard actifs quotidiennement et pour 85,2% en dehors des Etats-Unis), Facebook doit gérer une quantité phénoménale de données. Celles mises en ligne par les utilisateurs mais aussi, et surtout, les données générées par ses propres équipements et échangées entre les serveurs de ses 9 datacenters aujourd'hui aux États-Unis et en Europe (sans négliger ses différents bureaux dans le monde).
Jusqu'à récemment, les trafics des utilisateurs et interne circulaient sur un seul et même réseau baptisé classic backbone (CBB). Mais, ces dernières années, la plate-forme sociale a été confrontée à une explosion des échanges de serveurs à serveurs essentiellement due à la réplication des contenus riches tels que les photos et vidéo (voir image ci-contre). Une croissance exponentielle qui menaçait l'efficacité des échanges publics et, donc, la qualité du service.
Open/R à l'échelle mondiale
Pour résoudre le problème, Facebook a décidé de séparer les deux réseaux en construisant une nouvelle infrastructure dédiée au trafic interne, l'Express Backbone (EBB). Une solution développée en moins d'un an pour sa première version qui entend s'affranchir des contraintes du CBB. Le projet visait ainsi à trouver un moyen de supporter les déploiements incrémentaux de nouvelles fonctionnalités et mises à jour du code, de préférence dans des unités fractionnées du réseau pour assurer la célérité des itérations. Mais aussi à éviter les chausse-trappes du trafic distribué comme l'utilisation inefficace des ressources réseau ou des modèles de convergence complexes lors des pannes. Et, enfin, maintenir l'efficacité du réseau en exploitant le routage du segment MPLS en périphérie de domaine réseau.
Pour y parvenir, les ingénieurs de Menlo Park se sont inspirés de leur propre fabric interne aux datacenters pour établir quatre typologies parallèles (les « plans ») de réseau (image ci-contre). Ils ont notamment introduit Open/R, la plate-forme modulaire de routage maison. « Notre première itération du nouveau réseau a été construite à l'aide d'une combinaison bien comprise d'une IGP (Interior Gateway Protocol chargé des règles de routage au sein d'un système autonome, AS, NDLR) et d'une topologie iBGP (Border Gateway Protocol qui assure le routage entre les AS, NDLR) maillée complète pour implémenter le routage des paquets de base, expliquent Mikel Jimenez et Henry Kwok dans un billet de blog plutôt technique. La prochaine étape consiste à ajouter un estimateur de matrice de trafic et un contrôleur central pour effectuer des fonctions d'ingénierie de trafic en supposant une topologie «?statique?». L'itération finale a remplacé l'IGP « classique » par une plate-forme de réseau distribuée interne appelée Open/R, intégrant le composant distribué avec le contrôleur central. A chaque itération, nous avons eu l'option de revenir au modèle précédent, ce qui a fourni un bon coussin de sécurité pour l'expérimentation. »
Expérimenter massivement
En d'autres termes, Facebook a construit un système qui permet d'expérimenter massivement sans impacter de manière dommageable le fonctionnement du réseau. Et de mettre en place de nouvelles fonctionnalités comme un système de réservation de bande passante par service. « Cette fonctionnalité rendrait le contrat d'allocation de bande passante explicite entre le réseau et les services, et permettrait aux services d'accélérer leur propre trafic lors d'encombrements », illustrent les deux ingénieurs réseau. Qui travaillent aussi à un planificateur (scheduler) pour transférer de grands volumes de données afin de gérer pro-activement les risques de congestion et non plus après coup. Bref, la plate-forme sociale construit visiblement sa propre solution de gestion d'un réseau à échelle mondiale.
Lire également
Facebook franchit les 36 Gbit/s sur une liaison sans fil point-à-point
Nokia et Facebook améliorent les transmissions sous-marines
Les leçons d'intelligence artificielle de Facebook