Pour gérer vos consentements :

Stockage froid : la réponse de Facebook à l’explosion de ses données

Quotidiennement, les utilisateurs de Facebook déposent 300 millions de photos sur leurs comptes. Et certains jours exceptionnels, comme le prochain Halloween, les téléchargements sur le réseau peuvent dépasser le milliard de photos. Au final, Facebook se retrouve dans l’obligation d’ajouter tous les mois 7 Po de capacité de stockage…

Pour Jay Parikh, vice-président Infrastructure Engineering de Facebook, qui a présenté la problématique lors de la conférence Structure Europe qui vient de se tenir à Amsterdam, il est temps de réagir. Car le réseau social se trouve confronté à une double problématique : les volumes de photos stockées augmentent, mais il ne peut les supprimer.

Jay Parikh, vice-président Infrastructure Engineering de Facebook

Revoir l’architecture matérielle du datacenter

Une solution pourrait consister à adopter la même stratégie qu’Amazon, qui, avec son offre d’archivage Glacier, propose à ses clients de placer les données les moins chaudes sur une infrastructure de stockage moins réactive (jusqu’à plusieurs heures pour obtenir un accès à une donnée), mais en contrepartie moins chère. Intéressant, pour peu que l’utilisateur en accepte les contraintes.

Facebook, qui veut réduire ses coûts de stockage, ne peut adopter cette approche. Ni supprimer des photos, même s’il s’agit de documents qui n’ont pas été consultés depuis 10 ans. Le risque de mécontenter ses utilisateurs est trop grand, l’accès à un photo doit pouvoir se faire à n’importe quel moment et très rapidement.

Pour Jay Parikh, la solution consiste tout d’abord à revoir l’architecture des datacenters de Facebook. Il faut non plus raisonner en optimisation de la consommation en fonction des tâches à accomplir, mais à l’inverse en espaces de plus en plus importants, sans y associer autant de puissance énergétique.

Exemple de design Open Compute

Open Compute Project

C’est pourquoi Facebook a lancé un projet qui vise à traiter cette problématique en s’appuyant sur un logiciel qui va gérer la migration des données d’un modèle d’architecture de datacenter à un autre en fonction de l’évolution de la données du ‘chaud’ vers le ‘froid’.

Ce projet s’appuie sur Open Compute Project (OCP), lancé en avril 2011, qui ambitionne de créer des designs de matériels open source dédiés au datacenter.

En mais dernier, Facebook a ouvert son projet et a été rejoint par AMD, Canonical, Fidelity, HP, Quanta, Salesforce.com, Supermicro, Tencent, et VMware. Les serveurs (et donc les serveurs de stockage) répondent également à la spécification Open Rack originaire de HP et de Dell.

L’ensemble du projet OCP, avec le design optimisé de certains matériels, vise à optimiser l’architecture du datacenter afin de réduire sa consommation énergétique.

À suivre en page 2 : Open Compute Project et le logiciel façon Facebook

Page: 1 2

Recent Posts

Les choix d’OpenAI pour GPT-4o mini

Un modèle GPT-4o mini rejoint le catalogue d'OpenAI. De la conception à l'évaluation, il a…

3 heures ago

Le Réseau interministériel de l’État, sujet à dépendance

La Cour des comptes appelle à formaliser et à professionnaliser certains aspects du RIE, tout…

23 heures ago

Etalab en position de faiblesse au sein de la Dinum

La Cour des comptes attire l'attention sur le risque d'affaiblissement d'Etalab, privé, ces dernières années,…

1 jour ago

Une Dinum « balbutiante » sur l’open data et les logiciels libres

Missions historiques de la Dinum, l'ouverture des données publiques et la promotion des logiciels libres…

1 jour ago

Pour son premier LLM codeur ouvert, Mistral AI choisit une architecture alternative

Pour développer une version 7B de son modèle Codestral, Mistral AI n'a pas utilisé de…

2 jours ago

Microsoft x Inflection AI : l’autorité de la concurrence britannique lance son enquête

L’Autorité de la concurrence et des marchés (CMA) britannique ouvre une enquête sur les conditions…

2 jours ago