Linkedin met en Open Source, Ambry, sa solution de stockage Objet

Les sites Internet et, qui plus est, les réseaux sociaux sont confrontés à la montée en puissance de l’interactivité dans les échanges. Plus de photos, de vidéos, des documents partagés. Linkedin n’échappe pas à la règle et cela a eu un impact non négligeable en matière de stockage. Dans un blog, Sriram Subramaniam, directeur de l’ingénierie chez Linkedin, a présenté la solution Ambry que le réseau social a décidé de mettre en Open Source sur GitHub sous licence Apache.

Il explique que ce projet de stockage objet distribué est né de l’incapacité pour l’architecture précédente de gérer l’évolutivité, la disponibilité. Elle était par ailleurs inefficace pour gérer les petites et les grandes tailles d’objet (en Ko et Mo) et en plus elle se révélait onéreuse. Cette architecture était composée d’un filer pour le stockage des fichiers média, d’une base de données Oracle pour stocker les métadonnées, de machines fonctionnant sous Solaris qui orientent les requêtes vers le filer ou la base de données, du cache pour baisser la latence, etc.

Un projet interne

Mais cette architecture a vite trouvé ses limites avec des quantités de données de plus en plus importantes. « Cela nous a convaincu que nous avions besoin d’une meilleure approche », explique le responsable. Et d’ajouter : « Nous avons regardé différentes solutions disponibles y compris les systèmes de fichiers distribués, des appliances de stockage, du Cloud et un projet en interne ». Finalement c’est la solution en interne a été privilégiée et mise en production depuis 1 an.

Ambry se définit comme un ensemble de noeuds de données qui gèrent le stockage et la collecte des données, les équipements front end qui routent les requêtes après un pré-traitement dans un node. La solution comprend également un gestionnaire de cluster. Pour plus de détails, Sriram Subramaniam entre en profondeur dans les éléments d’Ambry au sein du blog.

D’autres grands du web comme Facebook et Google travaillent aussi sur leur propre projet de stockage objet. Par contre, des sociétés comme Airbnb, Pinterest ou Spotify se tournent vers les services Cloud comme AWS S3 pour le stockage objet.