Meta : les dessous d'une (vaste) migration de données

Meta, maison mère de Facebook et Instagram, a levé le voile sur une vaste opération de modernisation de sa plateforme de données.

Les nécessaires mises à niveau techniques et des résistances internes ont freiné le processus. Sans le bloquer, toutefois.

C'est ce qu'expliquent des ingénieurs de Meta dans une note technique sur la migration vers un nouveau format de jeux de données à l'échelle de l'exaoctet.

Les migrations de cette ampleur, comme d'autres, sont « difficiles ».

Elles le sont d'autant plus du fait de :

- la dette technique

« Les systèmes ont été construits au fil des ans et présentent différents niveaux de dépendances et d'intégrations profondes avec d'autres systèmes », ont souligné les ingénieurs. Le partage de responsabilités entre IT et Métiers permet d'aller de l'avant.

- les aspects non techniques

Ils ne doivent pas être négligés. « Guider les utilisateurs tout au long du processus de migration avec un minimum de friction est un art qui doit être perfectionné au fil du temps et qui est unique à chaque migration », ont ajouté les chercheurs.

Meta migre vers « Tulip »

Pourquoi Meta a choisi de migrer ses données vers le format Tulip ?

« Au fil du temps, la plateforme de données s'est transformée en diverses strates alors que les besoins de l'entreprise augmentaient. Ce qui était une modeste plateforme de données au début est devenue une plateforme à l'échelle de l'exaoctet », indiquent-ils.

Et d'ajouter : « le format de données pour la journalisation était Hive Text Delimited ou JSON, du fait [des systèmes] hérités. » Mais les limitations de ces formats étaient trop importantes.

L'amélioration de la sérialisation des données était la solution.

Pour ce faire, Meta a conçu un système nommé « Tulip ».

L'utilisation de plus de 30 000 schémas de journalisation a rendu l'exercice plus complexe.

Quatre années d'efforts ont donc été nécessaires pour adopter Tulip.

Quant à la formation d'utilisateurs, elle a impliqué d'autres outils et ressources, dont une équipe de support et un guide de migration.

« Faire d'énormes paris comme la transformation de formats de sérialisation sur l'ensemble de la plateforme de données est un défi à court terme, mais cela offre des avantages à long terme et conduit à une évolution au fil du temps », ont ajouté les ingénieurs de Meta.

Les données seraient ingérées ou converties par différentes applications plus efficacement.

_{(crédit photo © Adobe Stock)}