LinkedIn rend Open Source Pinot, son outil d’analyse en temps réel

LinkedIn multiplie les initiatives dans le Big Data. Huit mois après avoir dévoilé son framework d’analyse de données en temps réel Pinot (en réference au cépage du même nom), le réseau social professionnel américain a annoncé, mercredi 10 juin, rendre sa solution Open Source. Le but : ouvrir Pinot aux contributions de développeurs tiers et élargir son adoption.

Pour collecter des évènements en temps réel et réagir à l’activité de l’utilisateur en quelques secondes, LinkedIn s’est détourné de solutions propriétaires et d’alternatives comme Druid, le data store Open Source qui se rapproche le plus de Pinot. Cet outil maison a été conçu pour traiter « des milliards d’évènements en temps réel par jour ». Hautement évolutif et tolérant aux pannes, selon ses promoteurs, Pinot offre un faible temps de latence et dispose d’une interface de type SQL.

Pinot en téléchargement sur Github

En interne, LinkedIn utilise Pinot depuis plus de deux ans avec 30 de ses produits, dont XLNT, plateforme de test A/B, indique dans un billet de blog Kishore Gopalakrishna, responsable technique logiciels chez LinkedIn. Parallèlement, Pinot sert de backend à plus de 25 produits d’analyse destinés aux clients et aux membres du réseau (Qui a consulté votre profil ou vos nouvelles ? Quel est l’impact des offres d’emploi et des annonces publicitaires diffusées via LinkedIn…).

Le code source de Pinot est disponible sous licence Apache 2.0 sur Github. En plus de Pinot, LinkedIn a « ouvert » d’autres solutions d’infrastructure data, parmi lesquelles : Azkaban, Kafka, Samza et Voldemort. Il n’est pas le seul. D’autres grands noms du numérique ont rendu Open Source leurs propres outils d’analyse et traitement de flux, dont eBay avec Pulsar et Twitter avec Storm.