Pourquoi avoir un catalogue de données est devenu essentiel

Quel Data Scientist ou Responsable de Traitement métier ne s'est pas interrogé sur la source d'une donnée à utiliser pour son cas d'usage ? Comment connaître son origine et son cycle de vie et s'assurer de sa qualité ? Comment savoir, au sein d'une entreprise, qui est le Data Owner sur une donnée en particulier ? Ou trouver le glossaire des termes métier associés à cette donnée ? Comment montrer à un RSSI, un DPO ou un Régulateurque les mesures de sécurité liées à une réglementation ont été associées à une donnée et mises en oeuvre ?

C'est là où une solution de Data Catalog (ou catalogue de données) devient essentielle et peut vous aider à répondre à ces différentes questions. Celui-ci deviendra la base d'information centrale, un peu comme une bibliothèque, qui vous permettra de rechercher, trouver et connaître les bonnes sources de données pour vos cas d'usages Big Data ou vos traitements métiers. Ceci permet de regrouper les données au sein d'un même référentiel, de collecter, d'enrichir et de partager toutes les métadonnées associées.

Figure 1 - Exemple de métadonnées

Mais comment faire pour s'y retrouver ? Les différentes offres du marché se vantent toutes de pouvoir gérer et maîtriser votre patrimoine de données, générant, ainsi, de la valeur. Il faudra d'abord définir le périmètre de la gouvernance de données à mettre en oeuvre et recueillir les exigences fonctionnelles et techniques. Ce qui suit vous aidera ensuite à comprendre ce que pourra couvrir une solution « Data Catalog ».

La fonctionnalité de base est déjà de pouvoir récupérer automatiquement les métadonnées techniques, c'est-à-dire les informations décrivant vos données d'un point de vue infrastructure (fichier, base de données, table, colonne, etc). Les éléments différenciant pour le choix de la solution vont dépendre de votre écosystème et des connecteurs nécessaires. Est-ce que vos données sont structurées, non structurées ou sont-elles sous format document ? Est-ce que vos données sont contenues dans des bases de données SQL ou noSQL ? Quel socle technologique Big Data utilisez-vous ? Avez-vous des données dans des Cloud Public ? Comment transporter ou partager vos données ? Via des traitements spécifiques, un ETL, un ESB ou via une API Gateway ?

Ces métadonnées décrivant vos données techniques comme un dictionnaire devraient être reliées à une donnée logique et une donnée métier qui sera elle-même à l'aide d'un glossaire métier.

Figure 2 - Architecture de Donnée

Un cadre de gouvernance des données avec une organisation, des acteurs, des processus et des livrables documentaires doit aussi pouvoir être décrit et déployé via un métamodèle opérationnel .

Parmi les autres fonctionnalités attendues pour cet outil il y a également la capacité de générer des états de Data Lineage.

Figure 3 - Exemple de Data Lineage

Cette fonctionnalité est majeure et permettra de traduire visuellement la vision 360° de vos données. Ceci vous habilitera par exemple à réaliser des analyses d'impact en cas de changement sur un système aval vous fournissant la donnée. Ces états peuvent vous aider également à analyser l'écart entre deux KPIs ou de répondre à une exigence réglementaire demandant de documenter de bout en bout comment tel indicateur aura été généré. L'outil vous permettra aussi d'avoir une vision sur la qualité de ces données via par exemple du data profiling ou des indicateurs. Ceci permettra de faire gagner du temps à vos Data Scientist pour sélectionner l'algorithme le plus approprié ou motivera votre Data Steward à sélectionner le jeu de données le plus approprié pour votre cas d'usage ou traitement métier.

Enfin pour terminer, cet outil devra être accessible via une application web, fournir un moteur de recherche et proposer un référentiel de cas d'usages avec les sources de données associés. Ceci activera le partage de la connaissance de ce patrimoine au travers de votre organisation et l'identification des sources de données critiques à vos traitements métiers. A terme, ce patrimoine permettra plus facilement aux métiers de générer de la valeur pour votre entreprise tout en maitrisant les règles de sécurité et accessibilité de cette donnée.

Voilà pourquoi le Data Management ne peut plus se faire via un tableau Excel et qu'un catalogue de donnée devient essentiel.

_{(Crédit photo : Snowlake)}

Sébastien Grenier-Fontaine, Manager Architectures Innovantes - Rhapsodies Conseil.