Entre idéal et réalité : l'élégance discrète du data engineer

Ce n'est plus une surprise pour personne aujourd'hui : nous vivons dans un monde data driven où les entreprises cherchent à recueillir le maximum de données afin de les exploiter pour améliorer leurs offres et mieux cibler leurs clients. Au sein de l'organisation, les équipes data sont les moteurs permettant d'avancer sur leur stratégie data, en récupérant, triant et analysant la donnée.
Mais travailler au coeur même de la data permet-elles aux professionnels de la donnée d'être valorisés et mis en avant ? Rien n'est moins sûr, quand on sait que plus de la moitié de leur temps est consacré aux tâches répétitives et machinales de la collecte de données.

Et si nous commencions enfin à prendre soin des data engineers et à faire évoluer faire des vraies tâches à valeur ajoutée ? Car celui-ci n'a pas tant pour vocation de collecter la donnée qu'a leur trouver une signification et à les utiliser pour créer des « histoires ».

Le quotidien d'un data engineer : « A la recherche du temps perdu »

L'ère du Big Data a mis une pression considérable, non seulement auprès des entreprises pour rester compétitives, mais également à leurs équipes data pour réussir à collecter le maximum de données. Cependant, la réalité des métiers est moins rayonnante que l'on pourrait croire aux premiers abords : les ingénieurs doivent notamment composer avec des flux de data qui se sont complexifiés avec la multiplication des sources de données.

D'après une étude d'IDG Research réalisée pour le compte de l'éditeur d'ELT, Matillon, plus de 20% des 200 professionnels américains de la donnée (IT, Data Scientists ou encore Data Engineers, d'entreprises de plus de 1000 employés) interrogés assurent devoir prendre en compte plus de 1000 sources. Un volume considérable qui augmente de manière exponentielle, pouvant aller jusqu'à doubler à un rythme mensuel.

Mais les sources de données ne sont pas les seules à se complexifier : les technologies de stockage se multiplient au sein des entreprises, obligeant les data engineers à adapter sans cesse leurs chaine de BI et analytique. Sans compter la popularité toujours grandissante du cloud qui ajoute de nouvelles pièces au puzzle que les professionnels de la data doivent réussir à résoudre au quotidien.

Conséquence directe de cette complexité : les data engineers passent la majorité de leur temps sur la préparation de données qui est, ne nous le cachons pas, une tâche chronophage, répétitive et peu enrichissante. Une étude de la TMMData et de the Digital Analytics Association révèle que 44% des dirigeants interrogés affirment que leurs équipes analytiques passent plus de la moitié de leur temps à préparer la donnée qu'à l'analyser. Pire, pour 3 professionnels de la data sur 5, obtenir les bonnes données peut prendre des jours, voire des semaines.

Avec une augmentation croissante de la complexité des systèmes et un temps considérable à passer sur des tâches rébarbatives, interrogeons-nous sur la valeur que nous souhaitons donner au travail de nos data engineers. L'enjeu actuel est important non seulement pour l'attractivité des jeunes professionnels sur le marché mais également pour la rétention et le développement des équipes déjà en place.

Entre automatisation et storytelling : « Les androïdes rêvent-ils de data analytique ? »

80% des tâches répétitives et à faible valeur ajoutée étant effectuées par des data engineers, peuvent désormais être exécutables par une intelligence artificielle. Les solutions pour faire de la BI de manière automatisée existent déjà et ont fait leur preuve.

Citons le succès de DataRobot dont la promesse est de simplifier les algorithmes de data science et donc de faciliter grandement la vie des data engineers. Nous vivons encore trop souvent dans la peur de voir les machines remplacer l'homme, mais devrions-nous vraiment continuer à voir des équipes passer leur temps sur de la préparation de données quand elle peut être faite automatiquement ?

Amazon Web Services poursuit actuellement ce raisonnement et a d'ores et déjà automatiser ces actions pour valoriser davantage ses équipes. Laissons les professionnels de la donnée s'occuper des tâches réellement intéressantes car leur véritable valeur n'est pas de préparer les données mais d'en tirer des histoires.

Et oui, les data engineers sont des conteurs d'histoire modernes, capables de corréler des données entre elles, d'en chercher un sens et d'en tirer des conclusions, des hypothèses et des prévisions. Mais leur rôle va encore au-delà aujourd'hui : la donnée est bien plus qu'une ressource stratégique pour l'entreprise, elle est devenue un produit. Ils ne sont plus simplement ingénieurs de la donnée, ils sont également des chefs de projets ou encore des Product Data Managers. Il n'est plus question d'être un simple exécutant mais bien d'apporter un axe stratégique.

Si ces décisions sont à prendre au niveau de l'entreprise, les professionnels de la data ont également leur épingle du jeu à tirer pour reprendre en main la vision de leur valeur.

Valoriser la donnée autant que le métier : « On ne badine pas avec la data »

Que peuvent faire les data engineers aujourd'hui pour redonner du sens et de la valeur à leur métier ? Il y a aujourd'hui deux principaux changements à apporter :

- un changement de vision : il existe une double question essentielle que tout professionnel devrait pouvoir se poser : dois-je faire mon travail d'exécution au risque d'être un maillon dispensable de la chaîne ? Ou puis-je monter en compétence pour montrer ma vraie valeur ? Il est indispensable que les data engineers changent leur propre perception de leur métier afin de pouvoir ensuite imposer leur vrai savoir-faire.

- une transformation culturelle : contrairement à nos confrères américains qui préfèrent souvent se reposer sur une solution externe pour leur faciliter la vie, nos ingénieurs français ont tendance à préférer faire les choses eux-mêmes, motivés par l'envie de transformer les outils ou les process existants. Cette approche reste encore très ancrée dans notre héritage culturel mais elle risque de les empêcher de passer du temps sur un travail plus valorisant.
Sans doute devrions-nous nous inspirer des ingénieurs outre-Atlantique, utiliser des ressources externes et nous concentrer sur le travail d'analyse plus motivant et impactant. Au fameux choix cornélien du « make or buy », il est temps de considérer la deuxième proposition pour avancer.

L'avenir des métiers de la data dépendra de la transformation que nous serons prêts à apporter pour valoriser ces professions à la hauteur de la valeur des données. Nous pourrons y parvenir si les entreprises et les ingénieurs changent leur perception et investissent enfin pleinement dans les ressources inestimables des équipes. Car, comme le dit un proverbe indien, « ceux qui racontent les histoires dirigent le monde ».

Nicolas Korchia, directeur général des opérations et co-fondateur - Indexima.