Netflix nettoie AWS en mode open source

Netflix a ouvert le code de Janitor Monkey, sa solution de nettoyage des ressources du cloud Amazon non exploitées.

L'un des avantages du cloud public, la facilité d'ouverture des instances compute ou stockage, peut également se révéler être un inconvénient. Administrateurs et développeurs peuvent très facilement lancer ces instances, mais oublient de les refermer lorsqu'elles ne sont plus exploitées. Amazon Web Service (AWS), en revanche, n'oublie pas de facturer !

Avec ses services de télévision et vidéo en ligne, Netflix figure parmi les grands utilisateurs du cloud Amazon. Certaines périodes entrainent des pics de consommation de la vidéo sur le Net, la souplesse d'AWS et la répartition des datacenters sur la surface du globe apportent une réponse adaptée aux besoins des fournisseurs de contenu.

Les ingénieurs de Netflix ont développé au fil des années des outils pour simplifier la gestion d'AWS. D'abord pour accompagner les process manuels de déploiement et de fermeture des instances cloud, puis pour automatiser ces fonctionnalités. Netflix dispose ainsi d'une ensemble d'outils, regroupés sous l'appellation Simian Army, dont la philosophie est d'améliorer la disponibilité et la fiabilité des composants de l'architecture cloud.

Janitor Monkey

Dans cette gamme de solutions, Netflix vient d'ouvrir le code de son application Janitor Monkey, sous licence open source. Cet outil détecte et nettoie automatiquement les ressources AWS non utilisées. Il apporte une réponse à l'aspect 'placard' du cloud, qui multiplie les ressources non utilisées ou sous-exploitées, et simplifie leur suppression.

À partir de l'application de règles, la solution détermine si une ressource ou un ensemble de ressources ou applications est éligible au nettoyage. Janitor Monkey est adapté à quatre types de ressources AWS, avec chacune leurs règles : Instances, EBS Volumes, EBS Volume Snapshots, et Auto Scaling Groups.

Les ressources candidates sont marquées, et donc visibles pour l'administrateur. Le nettoyage - en trois étapes : « mark, notify, delete » - s'exécute à un moment programmé dans la journée et hors des périodes de fermeture de l'entreprise. Les règles retenues par Netflix figurent dans la version open source du code.

Les outils Netflix Simian Army

Chaos Monkey est un outil d'interruption des instances en production qui s'assure que cette opération ne va pas entrainer d'autres interruptions.

Latency Monkey introduit artificiellement des délais dans la couche RESTful de communication client-serveur afin de mesurer les temps de dégradation.

Conformity Monkey repère les instances qui ne respectent pas les best-practices et les ferme.

Doctor Monkey lance des tests sur les instances qui s'exécutent afin de détecter celles qui présentent des dysfonctionnements.

Janitor Monkey recherche les ressources non exploitées et les ferme.

Security Monkey est une extension de Conformity Monkey pour repérer les violations de sécurité et les vulnérabilités liées à de mauvaises configurations d'AWS, et de contrôle de la validité des certificats SSL et DRM.

10-18 Monkey (Localization-Internationalization, l10n-i18n) détecte les configurations des instances qui s'exécutent dans de multiples régions géographiques différentes, avec leurs jeux de caractères, afin d'aider la résolution de certains problèmes.

Chaos Gorilla est proche de Chaos Monkey mais pour simuler une menace sur une région Amazon.

Voir aussi

Silicon.fr étend son site dédié à l'emploi IT
Silicon.fr en direct sur les smartphones et tablettes

La rédaction vous recommande

Le FinOps, en filigrane de l'AWS re:Invent 2024

re:Invent 2024 : des annonces IA d'AWS, ce qui est vraiment disponible

Finalement, AWS va revendre du VMware