Mistral AI ouvre la porte aux LLM embarqués

Puisque ce modèle se destine à un usage local, pourquoi ne pas en publier les poids ? Mistral AI n'a pas échappé à la question après l'officialisation de Ministral 3B.

À date, c'est son plus petit modèle. Il n'arrive pas seul : Ministral 8B l'accompagne. L'un et l'autre sont déclinés en version Instruct (affinée pour le suivi d'instructions).

Présenté comme le successeur de Mistral 7B (premier modèle de Mistral AI, présenté il y a un an), Ministral 8B utilise un mécanisme d'attention de type fenêtre glissante interlacée. Ce qui, pour le moment, le limite à 32k de contexte sur vLLM (alors que sa fenêtre est de 128k). L'inférence exige au minimum 24 Go de VRAM.

Tandis que les poids de Ministral 8B sont disponibles (pour un usage non commercial), Ministral 3B est un modèle fermé. Outre les débouchés dans l'informatique embarquée, Mistral AI suggère de l'intégrer dans des flux de travail agentiques en tant qu'intermédiaire pour l'appel de fonctions. Il le met aussi en avant pour la quantification sans perte.

Sur l'API, il en coûte, par million de tokens (en entrée comme en sortie), 0,04 € pour Ministral 3B. Et 0,09 € pour Ministral 8B. À comparer, notamment, aux 0,20 € facturés pour Mistral 7B et aux 0,13 € pour Mistral NeMo.

Parmi les modèles concurrents du même ordre de grandeur, Gemini Flash-8B (Google) est facturé 0,0375 € par million de tokens en entrée et 0,15 € en sortie. Mistral AI ne l'inclut pas dans ses benchmarks, lui préférant Gemma 2 (2B et 9B), ainsi que Llama (3.2 3B et 3.1 8B). Pas non plus de comparaison à GPT-4o mini ou aux modèles Qwen d'Alibaba Cloud.

À consulter en complément :

Qu'est-ce que le projet EuroLLM, qui a publié son premier modèle ?
Coder avec l'IA : les lignes directrices de l'ANSSI
Définir l'IA open source : avec l'AI Act, ça presse ?
Ce que contient le pacte européen pour l'IA

Illustration générée par IA