Machine learning : Databricks confie MLflow à la Fondation Linux

MLflow est désormais hébergé par la Fondation Linux. L’entreprise Databricks, qui en est à l’origine, a annoncé la nouvelle dans le cadre de son Spark + AI Summit*.

Voilà deux ans que MLflow est ouvert à la communauté. Avec une promesse : aider à industrialiser les projets de machine learning.

Quatre briques fondamentales le composent :

MLflow Tracking
Cette API consigne les paramètres des modèles, les versions de code et les résultats obtenus à l’exécution.
MLflow Projects
Il s’agit d’un format d’encapsulage du code assorti d’outils destinés à assembler des projets IA en workflows.
MLflow Models
Ce format d’empaquetage des modèles doit faciliter leur réutilisation sur les différents outils de déploiement.
MLflow Model Registry
L’ensemble comprend un répertoire centralisé de modèles associé à des API et à une interface graphique pour gérer le cycle de vie des modèles.

L’alternative Kubeflow

Le projet réunit environ 200 contributeurs. Databricks en distribue une version « as a service » (Managed MLflow). La version 1.9, sortie la semaine dernière, a notamment ajouté :

La sauvegarde des signatures de modèles avec les API log_model et save_model
Une interface par plug-in pour exécuter des modèles sur des back-ends personnalisés
Une option pour définir un serveur de logs alternatifs pour les projets fondés sur Kubernetes
La possibilité de transmettre des certificats clients dans le cadre de requêtes REST lorsqu’on utilise les API de Tracking ou de Model Registry

https://twitter.com/matei_zaharia/status/1276196425999585280?ref_src=twsrc%5Etfw » rel= »nofollow

Google porte une initiative concurrente : Kubeflow. La principale différence étant que ce dernier s’appuie exclusivement sur Kubernetes.

* Parmi les autres annonces, Databricks a confirmé l’acquisition de Redash (gestion de data lakes). Et officialisé la disponibilité générale de Delta Engine. Ce moteur exploite la technologie Delta Lake. Laquelle rend les transactions compatibles ACID (atomicité, cohérence, isolation, durabilité).

Photo d’illustration © agsandrew – shutterstock.com