Pourquoi Hortonworks rachète-t-elle Sequence IQ ?

Hortonworks a profité de son Hadoop Summit européen à Bruxelles pour annoncer l'acquisition de Sequence IQ. Cet éditeur hongrois de Budapest a développé des solutions de déploiements automatisés de clusters Hadoop.

Un seul code automatiquement traduit vers de multiples environnements

Et si les nuages poussaient sans effort ?
L'un des freins à l'essor d'Hadoop tient dans la complexité des infrastructures à mettre en place et à optimiser. C'est pourquoi des projets comme Ambari rencontrent un succès croissant (voir plus loin dans le texte). C'est justement sur ce créneau que travaille depuis plus d'un an Sequence IQ.

Créée en février 2014, cette société hongroise collabore avec Hortonworks pour automatiser les déploiements Hadoop. Selon une approche devops, ces spécialistes conçoivent des frameworks automatisant le déploiement d'environnements Hadoop MapReduce 2, Tez ou Spark à partir d'un socle Ambari (projet open source de gestion et supervision Hadoop).
En juillet 2014, le projet open source Cloudbreak est lancé, et une démonstration d'un container Docker provisionnant un environnement Hadoop (avec gestion et supervision) est réalisée au Hadoop Summit de San José. Le succès est immédiat et de grandes entreprises lancent des Poc (proof of concepts, ou prototypes) sur cette solution open source.
Via un container Docker ou directement sur serveur (bare metal), Cloudbreak est une API « Hadoop as a Service » pour déployer automatiquement, gérer et superviser, des clusters Hadoop. Agnostique, Cloudbreak fonctionne avec divers clouds sur lesquels déployer des clusters Hadoop : Amazon Web Services, Google Cloud Platform, Microsoft Azure, et Openstack -donc tout environnement cloud compatible. Bien entendu, cela vaut aussi pour des environnements sur site, via déploiement de librairies.

Après avoir choisi son modèle (blueprint) ou en avoir défini un, l'entreprise sélectionne son fournisseur cloud (et les tarifs associés) vers lequel l'API traduit automatiquement les fonctions et appels. Cloudbreak peut alors déployer un nombre de noeuds prédéfini et configurer automatiquement les services demandés (selon le blueprint). L'utilisateur peut ensuite modifier dynamiquement le nombre de noeuds et autres éléments depuis l'interface. Ainsi, le travail le plus fastidieux (et sans réelle valeur ajoutée) est réalisé et supervisé en temps réel ! A noter : Cloudbreak fonctionne pour d'autres distributions Hadoop que celle d'Hortonworks.

Ajuster automatiquement Hadoop aux attentes des utilisateurs

Periscope pour y voir plus clair dans la tempête Hadoop

Pour optimiser ces processus et rendre possible la qualité de service en environnement Hadoop, Sequence IQ a conçu Periscope. L'utilisateur définit des politiques de qualité de services : priorités de tâches ou application et ordonnancement, règles d'ajout ou suppression de noeuds, temps d'exécution attendu, etc. Alors, Periscope assure la mise à l'échelle de l'infrastructure (élasticité automatisée selon les règles), allouant toutes les ressources nécessaires. Il supporte même plusieurs environnements cloud, atout de taille pour les fournisseurs de services ou les grands datacenters.

Reposant sur Yarn et Ambari, Periscope utilise ses fonctions, la gestion de VM et de clouds ainsi que les diverses mesures, auxquelles peuvent être associées des politiques de qualité de service (SLA) dans le cadre de clusters multitenant Hadoop Yarn.
Directement connecté à un cluster Hadoop (sans pré-installation), il détecte et agrège les ressources disponibles et les "redistribue" en imposant les politiques définies.
Intégrant Ambari, Périscope bénéficie de facto de tous les avantages de cette plateforme open source ASF (Apache Software Foundation) : provisioning, gestion, supervision, et optimisation de clusters et applications Hadoop. Cependant, Ambari va désormais bien au-delà, et sait réaliser des mises à jour automatiques (ou non) et les défaire pour revenir à l'état précédent, gérer des alertes de mesure et de "bonne santé" de l'infrastructure, visualiser et donc permettre d'optimiser des requêtes Hive ou des jobs Tez, etc.

Ecosystème et modèle économique garantis open source

Avec ce type de solutions (open source qui plus est), il devient aisé de réaliser rapidement des prototypes, ou pour les fournisseurs de services cloud de déployer des environnements Hadoop préconfigurés pour des traitements spécifiques. De même, les partenaires pourront définir des blueprints et des extensions pour verticaliser des offres. On peut compter sur l'écosystème Hadoop pour inventer de nouveaux modèles simplifiant la vie des utilisateurs.
Sequence IQ partage avec Hortonwroks la vision que tout développement de ce type d'outil doit rester 100% open source (précisément Apache Software License V2). «Qu'aurions-nous réalisé sans Ambari ou les autres projets open source,» revendique-t-on logiquement chez Sequence IQ. Une philosophie qui a sans doute plaidé en faveur du rachat.

Après la période (actuelle) de tests et l'étude des retours des utilisateurs, Cloudbreak et Periscope seront disponibles en version finalisée. Fidèle à son positionnement 100% open source, Hortonworks ne tirera aucun revenu de quelque licence logicielle que ce soit. Il sera possible aux clients d'étendre le contrat de support annuel (essentiel des revenus de l'éditeur) pour intégrer le support de Cloudbreak et Periscope. La souscription au support de ces deux solutions open source sera intégrée au support Enterprise+, et représentera un surcoût d'environ 40% pour les souscriptions Enterprise.

Quant aux certifications dispensées aux partenaires, les dirigeants affirment qu'elles ne seront pas facturées, puisqu'elles participeront au modèle de partage de revenus avec les partenaires sur les souscriptions des entreprises au support.

Quand on vous dit que les modèles économiques sont franchement bousculés !

A lire aussi :
Hadoop Summit 2015 : le socle commun ODP entre en piste

Big Data : IBM, GE, SAS, Hortonworks. forment une alliance autour de Hadoop