Comment Voyages-SNCF a mis le Big Data sur les rails

Voyages-SNCF.com n'en est plus à ses premiers tests avec les architectures NoSQL. Ces derniers remontent déjà à quatre ans et la filiale de la SNCF est passée en production depuis plus de trois ans. « Le premier usage est interne. Nous avons utilisé ces architectures pour centraliser les logs, explique aujourd'hui Philippe Martin (ci-contre), le directeur technique de VSCT (Voyages-SNCF Technologies, la DSI du e-commerçant). Et cela a complétement changé notre façon de déboguer et a profondément modifié notre compréhension du SI ». Soit 13 couches logicielles hébergées sur environ 1 500 serveurs.

Cette architecture Big Data, basée sur Hadoop pour le reporting et ElasticSearch pour adresser des requêtes temps réel utiles en suivi de production, permet à partir de sources uniquement internes (logs applicatifs ou techniques) de produire des tableaux de bord. Certains, très fonctionnels, sont distribués à toutes les équipes, tandis que d'autres sont réservés aux spécialistes du suivi de production (voir ci-dessous). « Ils permettent de visualiser en temps réel le comportement de nos applications et la tenue en charge de notre infrastructure », précise Philippe Martin. L'architecture Hadoop, basée sur plusieurs centaines de nouds, emmagasine 1 To de logs par jour, soit 25 millions de lignes de logs environ. Pour l'instant, l'application en question ne génère pas d'alertes. Le directeur technique explique que si cette possibilité existe, VSCT a préféré s'en tenir, pour l'instant en tout cas, à son processus existant, basé sur Nagios.

Selon le dossier de presse de Voyages-SNCF, cette application Big Data aurait déjà produit ses effets : le taux d'erreur sur le Web est tombé à 0,14 % en 2013, contre 0,17 % en 2012 et 0,26 % en 2011.

Demain, s'adapter au contexte du voyageur

Si VSCT s'est familiarisé aux architectures NoSQL pour améliorer ce qui reste une priorité en interne, la qualité de service, le e-commerçant voit aujourd'hui plus loin. « Il faut produire des données en masse car, un jour, on saura ce qu'il faut en faire », explique même Gilles de Richemond, le président exécutif de VSCT. Et ce jour approche à grands pas. Car, Voyages-SNCF travaille déjà sur des tests liés aux petits prix ou aux suggestions d'idées de voyages. « Sur notre carte des bons plans, nous n'affichons aujourd'hui que 300 origines / destinations. Si on veut absorber toutes les origines / destinations de la SNCF et proposer un calendrier de prix complets, avec les multiples réductions, les combinatoires deviennent bien trop nombreuses pour une technologie SQL », explique Gilles de Richemond. Sans oublier le rôle que pourraient jouer des données externes. « La météo ou des informations relatives au tourisme pourraient aussi influencer nos offres », note Gilles de Richemond.

La personnalisation des offres en fonction des profils et du contexte démarrera début 2015 notamment sur l'application mobile de l'agence de voyages. « Les besoins des voyageurs fréquents n'ont rien à voir avec ceux d'une famille qui achètent une fois par an des billets pour partir en vacances », illustre le président exécutif. Mais ce nouveau mode de fonctionnement temps réel masque quelques défis techniques. Car « pousser une information pertinente à un client au bon moment s'avère technologiquement plus complexe que d'attendre qu'il sollicite l'application », relève le dirigeant. Voyages-SNCF imagine, par exemple, apporter de nouveaux services facilitant l'accès aux trains ou la gestion des situations de trafic perturbé.

En complément :

Voyages-SNCF envoie ses développeurs à l'usine (logicielle)