L’Apache Software Foundation a annoncé que Hadoop 2.0 (en réalité la version technique 2.2.0) est disponible sous la désignation GA (General Availability).
Cette nouvelle version intègre des fonctionnalités très attendues, dont certaines déjà remarquées au sein de distributions commerciales. La communauté qui privilégie l’approche open source de la plateforme de big data analytique appréciera.
La plus significative est l’intégration de YARN (Yet Another Ressource Negociator) – aussi appelé MapReduce 2.0 (MRv2) – qui prend la place de MapReduce. YARN vient se placer au dessus de HDFS (Hadoop Destributed File System) afin d’offrir des fonctionnalités de système d’exploitation pour les applications analytiques Big Data.
Cette disposition permet l’exécution simultanée de multiples applications tout en offrant un meilleur suivi de la donnée tout au long de son cycle de vie. Elle permet également de mixer des workloads en batch, interactif et en temps réel. YARN conserve également la compatibilité avec les API (Application Programming Interface) de MapReduce, ne nécessitant qu’une recompilation des applications développées pour celui-ci.
La principale différence apportée par YARN provient de la séparation en deux daemons de la gestion des ressources (RessourceManager – RM) et du pilotage des tâches ou applications (ApplicationMaster – AM). AM est un framework disposant d’une librairie spécifique qui négocie les ressources RM avec le NodeManager (NM) afin d’exécuter et de monitorer les tâches.
Voir aussi
Silicon.fr étend son site dédié à l’emploi IT
Silicon.fr en direct sur les smartphones et tablettes
La Cour des comptes appelle à formaliser et à professionnaliser certains aspects du RIE, tout…
La Cour des comptes attire l'attention sur le risque d'affaiblissement d'Etalab, privé, ces dernières années,…
Missions historiques de la Dinum, l'ouverture des données publiques et la promotion des logiciels libres…
Pour développer une version 7B de son modèle Codestral, Mistral AI n'a pas utilisé de…
L’Autorité de la concurrence et des marchés (CMA) britannique ouvre une enquête sur les conditions…
Thomas Gourand est nommé Directeur Général pour la France. Il est chargé du développement de…
