Retex : Deezer opte pour une gouvernance FinOps distribuée

Créé en 2007, Deezer a bâti son service de streaming en s’appuyant sur ses propres serveurs pour porter son ascension. Une position qui s’est un peu assouplie ces dernières années, puisque son infrastructure devient de plus en plus hybride.

La plateforme française a entrepris la migration de sa plateforme big data vers le Cloud public en 2019.

En charge du volet data de Deezer, Arthur De Kimpe détaille une migration initiée mi-2019 et qui s’est achevée début 2022 : « Nous avons migré un large cluster Hadoop de plus d’une centaine de machines vers Dataproc, le service Hadoop de Google Cloud. Il s’agissait d’une migration de type lift-and-shift, même si nous avons aussi migrés des données sur BigQuery. »

Une montée en compétence Finops en interne

Logiquement, alors que les volumes de données migrées grossissaient, la facture Google augmentait en conséquence.  Mais cela a fini par évoluer au-delà des estimations initiales : « Les équipes étaient très satisfaites du basculement dans le Cloud, avaient beaucoup gagné en efficacité et en conséquence sollicitent de plus en plus les capacités du Cloud. Le coût a commencé à dépasser nos prévisions, ce qui nous a poussés à cadrer les usages pour rester en contrôle et faire un usage responsable de notre budget. » précise Arthur De Kimpe.

Son équipe est rapidement montée en compétence sur le sujet FinOps. Dès la phase de migration, celle-ci a mis en place une architecture de projet adaptée dans Google Cloud : chaque équipe dispose de ses propres projets de développement et de production afin de simplifier le reporting. En parallèle, un système de surveillance à différents niveaux et d’alerte est mis en place pour détecter les augmentations ou les baisses de consommation.

Responsabiliser les équipes sur le contrôle des coûts

Arthur De Kimpe – Head of Engineering & Data Operations chez Deezer

Arthur De Kimpe a instauré une gouvernance distribuée : « Je gère une équipe centrale qui met à disposition la plateforme et les données permettant aux équipes de travailler. Je suis responsable du budget total de la plateforme, mais je ne dispose pas d’une connaissance détaillée de ce que font les équipes qui ont accès à la plateforme. Les équipes doivent être maître de leur budget et pouvoir expliquer d’éventuelles augmentations, et prendre des actions.
Tout le monde doit prendre conscience de l’importance du contrôle des coûts, ce que notre approche on-premise ne permettait pas, puisque l’on ajoutait des machines en fonction de la hausse des consommations des ressources. Les aspects financiers et d’usage des ressources étaient masqués pour les équipes. »

Aujourd’hui, si une équipe commence à dépasser le budget alloué, alors elle doit prendre des actions pour recoller au budget annuel. Chaque mois, les responsables FinOps des équipes remontent un rapport de dépense et vont agir proactivement avec la direction data pour prendre des mesures adaptées. Cela permet une montée en compétence progressive sur les aspects FinOps, avec pour but de rendre les équipes responsables.

Arthur De Kimpe a présenté cette démarche à toutes les équipes techniques. C’est ce type d’approche qui devrait être mis en place lors du basculement de la plateforme Deezer dans le Cloud, avec une granularité fine dans la gestion des budgets et une plus grande autonomie des équipes techniques en matière de coût.