Stockage froid : la réponse de Facebook à l’explosion de ses données

Quotidiennement, les utilisateurs de Facebook déposent 300 millions de photos sur leurs comptes. Et certains jours exceptionnels, comme le prochain Halloween, les téléchargements sur le réseau peuvent dépasser le milliard de photos. Au final, Facebook se retrouve dans l’obligation d’ajouter tous les mois 7 Po de capacité de stockage…

Pour Jay Parikh, vice-président Infrastructure Engineering de Facebook, qui a présenté la problématique lors de la conférence Structure Europe qui vient de se tenir à Amsterdam, il est temps de réagir. Car le réseau social se trouve confronté à une double problématique : les volumes de photos stockées augmentent, mais il ne peut les supprimer.

Revoir l’architecture matérielle du datacenter

Une solution pourrait consister à adopter la même stratégie qu’Amazon, qui, avec son offre d’archivage Glacier, propose à ses clients de placer les données les moins chaudes sur une infrastructure de stockage moins réactive (jusqu’à plusieurs heures pour obtenir un accès à une donnée), mais en contrepartie moins chère. Intéressant, pour peu que l’utilisateur en accepte les contraintes.

Facebook, qui veut réduire ses coûts de stockage, ne peut adopter cette approche. Ni supprimer des photos, même s’il s’agit de documents qui n’ont pas été consultés depuis 10 ans. Le risque de mécontenter ses utilisateurs est trop grand, l’accès à un photo doit pouvoir se faire à n’importe quel moment et très rapidement.

Pour Jay Parikh, la solution consiste tout d’abord à revoir l’architecture des datacenters de Facebook. Il faut non plus raisonner en optimisation de la consommation en fonction des tâches à accomplir, mais à l’inverse en espaces de plus en plus importants, sans y associer autant de puissance énergétique.

Open Compute Project

C’est pourquoi Facebook a lancé un projet qui vise à traiter cette problématique en s’appuyant sur un logiciel qui va gérer la migration des données d’un modèle d’architecture de datacenter à un autre en fonction de l’évolution de la données du ‘chaud’ vers le ‘froid’.

Ce projet s’appuie sur Open Compute Project (OCP), lancé en avril 2011, qui ambitionne de créer des designs de matériels open source dédiés au datacenter.

En mais dernier, Facebook a ouvert son projet et a été rejoint par AMD, Canonical, Fidelity, HP, Quanta, Salesforce.com, Supermicro, Tencent, et VMware. Les serveurs (et donc les serveurs de stockage) répondent également à la spécification Open Rack originaire de HP et de Dell.

L’ensemble du projet OCP, avec le design optimisé de certains matériels, vise à optimiser l’architecture du datacenter afin de réduire sa consommation énergétique.

À suivre en page 2 : Open Compute Project et le logiciel façon Facebook