Spark sur Kubernetes : Data Mechanics tape dans l'oil de NetApp

Avec sa version managée de Spark sur Kubernetes, Data Mechanics a séduit NetApp, qui s'en est emparé.

Spot et Data Mechanics, une alliance idéale ? Les deux entreprises vont en tout cas fusionner - et leurs technologies avec. La première, à l'origine d'outils de gestion d'infrastructure cloud, était tombée dans l'escarcelle de NetApp il y a un an. La seconde vient d'annoncer qu'elle allait suivre le même chemin. Avec, dans ses bagages, une version managée de Spark sur Kubernetes.

Cette offre concurrence notamment celle de Databricks. dont provient Jean-Yves Stéphan, le principal dirigeant de Data Mechanics. Elle se positionne aussi face aux solutions des hyperscalers : Dataproc (Google), EMR (Amazon) et HDInsight (Microsoft). C'est d'ailleurs sur leurs plates-formes qu'elle se déploie - il n'existe pas encore de version on-prem.

Spark sur Kubernetes est considéré comme stable depuis la version 3.1 du framework, sortie il y a quelques semaines. En plus de l'aspect managé (création des clusters, autoscaling avec gestion des instances spot, monitoring, sécurité.), Data Mechanics ajoute :

La prise en charge native des conteneurs Docker

La collecte et la conservation des logs et des métriques

Un mode autopilote qui s'appuie sur l'historique des pipelines Spark pour ajuster les configurations

Diverses intégrations ; par exemple avec Jupyter et Airflow pour soumettre des tâches

La start-up a par ailleurs développé une UI alternative pour Spark. Elle en a fait un projet open source, sous la marque Delight. Sa tarification se fonde non pas sur le temps de fonctionnement, mais sur le temps de calcul effectif.

Illustration principale © Markus Spiske - Unsplash

La rédaction vous recommande

Heroku devient un PaaS Kubernetes

Intégration de données : quand les CSP reconfigurent le marché

Platform engineering : l'expérience de Believe pour le développement Kubernetes