Silo AI, point d’ancrage européen pour Mistral AI
Mistral AI formalise ses travaux communs avec l’entreprise finlandaise Silo AI, qui publie elle aussi des LLM sous licence Apache 2.0.
Une entreprise européenne qui publie des LLM sous licence Apache 2.0 ? La France a sa tête de pont, nommée Mistral AI. Son équivalent dans les pays nordiques s’appelle Silo AI.
Les deux sociétés viennent de formaliser un partenariat. Elles évoquent leurs « forces complémentaires »… sans en dire beaucoup plus. Sinon qu’elles entendent « livrer conjointement des modèles d’IA aux entreprises » et « pousser l’innovation dans les implémentations GenAI complexes ».
Quand bien même il est question de la « construction de l’IA en Europe », l’un et l’autre se gardent de parler de souveraineté. Silo AI avait été plus explicite en la matière lorsqu’il avait annoncé, mi-juin, un autre partenariat avec un acteur des LLM. En l’occurrence, la start-up allemande Aleph Alpha.
Silo AI, déjà associé à Aleph Alpha (Allemagne)
Né en 2017, Silo AI se présente comme « le plus gros labo d’IA privée en Europe » avec ses 300 employés. Allianz, Philips, T-Mobile et Unilever figurent parmi ses clients. Il a déjà réalisé une acquisition (Machine2Learn : déploiement/gestion de ML, axé sur la vision et le contrôle de qualité des processus).
À l’été 2023, Silo AI avait lancé une initiative avec l’université de Turku pour développer de LLM ouverts multilingues. Il en avait résulté, début 2024, le modèle Poro (34B), décliné quelques semaines plus tard en version chat. Depuis lors, une deuxième lignée a émergé, sous la marque Viking. Chez les CSP, Google a l’exclusivité de l’hébergement. Au dernier pointage, l’entraînement est terminé pour les versions 7B et 13B. Il est encore en cours pour le 33B (Silo AI publie néanmoins des checkpoints).
Qu’il s’agisse de Poro ou de Viking, l’architecture est similaire à celle de Llama 2 (attention flash, rotation vectorielle, attention de requête groupée…). L’entraînement se fait sur le supercalculateur LUMI, à base de matériel AMD. Il se concentre sur la maîtrise des langues nordiques (danois, finlandais, islandais, norvégien, suédois) en plus de l’anglais et du code. Cadre de conception : le projet HPLT (High Performance Language Technologies), financé par Horizon Europe.
Illustration © Eisenhans – Adobe Stock
