Le RING de stockage cloud Scality embrasse Hadoop (2/2)

L'architecture de stockage scale-out Scality RING Organic Storage s'affiche désormais avec Hadoop, le Big Data analytique. Après avoir évoqué l'adhésion de la start-up à OpenStack, nous évoquons sa stratégie Hadoop, commentée par Philippe Nicolas, directeur de la stratégie produits de Scality.

Scality et Hadoop

Répondant à une attente forte du marché, Scality a annoncé son adoption de Hadoop, la plateforme de Big Data destinée à la consolidation, au traitement et à l'analytique des très gros volumes de données.

L'éditeur ne prend cependant pas le risque de proposer une nouvelle distribution de Hadoop. Il se contente intelligemment de supporter les deux principales distributions du marché, Hortonworks HDP 1.0 et Cloudera CDH4, validées sur le RING. Les autres suivront probablement, plus tard.

Scality va cependant plus loin que le seul support de ces distributions. Sa proposition porte également sur l'apport d'autres technologies dans Hadoop. C'est en particulier HDFS, le file sytem de Hadoop qui est visé, remplacé par SOFS, le file system scale-out de Scality.

Silicon.fr : Pourquoi supporter Hadoop ?

Philippe Nicolas : Nous prenons des serveurs standards auxquels nous ajoutons notre couche logicielle. Cette unification d'un pool de machines devient le RING de stockage. Mais comme nous restons sur des machines standards, pourquoi ne pas ajouter du traitement, avec le candidat le plus séreux, Hadoop ?

Notre idée est simple, mais unique : exploiter Hadoop en utilisant les données issues du Ring, mais sans avoir à les déplacer. Notre approche est de ne pas avoir à installer une distribution Hadoop sur les données issues du Ring. Donc sans nécessiter un cluster de calcul et un cluster de stockage, les deux se chevauchant en étant sur le même cluster.

Notre message est celui d'une plateforme unique, un même cluster, avec les économies d'acquisitions, de machines et énergétiques, obtenu en introduisant des briques technologiques Scality dans des couches Hadoop. La couche Scale-out File Système (SOFS) vient en particulier remplacer la couche HDFS. Nous remplaçons une brique par une autre, plus avantageuse.

Silicon.fr : Justement, pourquoi remplacez-vous le file système de Hadoop par votre SOFS ?

Pour lever certaines limitations de HDFS, en particulier le serveur de métadonnées (name node) supprimé pour être distribué sur le RING, ce qui le rend transparent pour le traitement Hadoop. Pour également supprimer la limitation de la taille du cluster, jusqu'à présent limitée à la taille du name node.

Si les distributions Hadoop sont gratuites, elles imposent la présence de 3 copies des fichiers. L'acquisition d'une baie de 1 Po impose donc l'acquisition de racks supplémentaires pour 2 Po en plus.

Avec Scality, le RING fait de la réplication et nous avons introduit ARC (Advanced Resiliance Configuration) pour faire des codes de correction avec un surcoût réduit de 30 %, soit 300 To supplémentaires seulement pour l'acquisition de 1 Po. Dans notre exemple, entre 3 Po imposés et 1,3 Po avec Scality, nous contribuons au facteur économique.

Silicon.fr : Hadoop reste complexe. Alors ajouter une couche Scality n'est-ce pas ajouter une couche de complexité supplémentaire ?

La présence d'un élément supplémentaire n'ajoute finalement pas de complexité, puisqu'il prend la place d'un autre élément.

Pour l'expert Hadoop, cela ne changera rien à la complexité de ses programmes d'analyse des données, puisque l'on ne change qu'une couche basse. Cela reste un élément de plus à déployer, mais c'est tout.

Silicon.fr : Y a-t-il une vraie demande sur Hadoop ?

L'opportunité de marché est colossale. Nos gros clients, qui stockent des volumes de données très importants, ont cette réflexion : comment faire tourner des jobs Hadoop sur le RING sans avoir à doubler le stockage ?

Nous répondons simplement à cette question : nous ne sommes pas une appliance, comme les fabricants de stockage. Sur le RING, rien ne change, ni dans la partie investissement, ni dans Hadoop.

Notre annonce porte sur une stratégie et la disponibilité d'un produit, le package Scality for Hadoop. Celui-ci est composé du support des deux distributions et des éléments qui les complètent.

Autour de cela, nous réalisons des prestations liées au RING, mais pas de prestations Hadoop qui relèvent des experts de nos clients et de nos intégrateurs.

Voir aussi

Silicon.fr étend son site dédié à l'emploi IT
Silicon.fr en direct sur les smartphones et tablettes