Meta se refuse à lancer ses LLM multimodaux en Europe

Le PIB mondial va-t-il augmenter de 10 % grâce à l'IA générative ?

En début d'année, JP Morgan avait évoqué cette possibilité. La banque d'affaires avait plus précisément déclaré tabler sur une croissance de 7000 à 10 000 milliards de dollars. Soit 7 à 10 %, ledit PIB s'étant élevé à environ 105 000 Md$ en 2023 (données de la Banque mondiale). Elle n'avait cependant pas donné de cadre temporel à ces prévisions.

Meta a retenu la fourchette haute. Il la met en avant sur un site web qui vient de sortir : euneedsai.com. On y trouve une lettre ouverte. Le sujet : "L'Europe a besoin de certitude réglementaire sur l'IA". Parmi la trentaine de signataires figurent les patrons de Criteo, d'Ericsson, de Publicis, de SAP et de Spotify. On trouve aussi le directeur de Kyutai... et Yann Le Cun, directeur scientifique de l'IA chez Meta.

Grandes lignes de cette lettre ouverte : ces derniers temps, la régulation est devenue "fragmentée et imprévisible". Tandis que les interventions des CNIL* ont "créé de l'incertitude quant aux données utilisables pour entraîner des modèles". Dans ce contexte, l'Europe risque de manquer sa chance autant sur les modèles "ouverts" (définis comme "mis à disposition sans frais"...) que sur les modèles multimodaux ("la différence entre être doué des 5 sens ou d'un seul"...). Elle peut encore "proposer une interprétation moderne du RGPD respectant les valeurs sous-jacentes. Ou continuer à rejeter le progrès, contredire les ambitions du marché unique numérique et regarder le reste du monde se construire sur des technologies auxquelles les Européens n'ont pas accès."

Parmi ces technologies, il y a donc, en l'état, les modèles multimodaux de Meta. Ils sont deux (11B et 90B), qui viennent d'être officialisés, dans le cadre de la génération Llama 3.2. En plus du texte, ils gèrent la modalité vision (images en entrée).
Pour entraîner ces modèles, Meta a utilisé des adaptateurs (technique de type LoRA : on ne touche pas aux poids des LLM). Il en fournit une démonstration sous la forme d'une application d'assistance au design d'intérieur.

La famille Llama 3.2 comprend aussi des modèles 1B et 3B ciblant les appareils mobiles. Pour les développer, Meta à mêlé pruning (à partir de Llama 3.1 8B ; suppression de certaines parties du réseau de neurones + ajustement de la magnitude des poids et des gradients) et distillation (utilisation des logits de Llama 3.1 8B et 70B). Il a ensuite élargi la fenêtre de contexte à 128k.
Ces deux modèles sont actuellement proposés en bfloat16. Des variantes quantisées sont prévues. En guide de démo, il existe une application iOS qui résume une retranscription de réunion et planifie en conséquence les réus suivantes, en faisant appel à des outils externes.

Les modèles Llama 3.2 ne sont pas disponibles pour les personnes physiques domiciliées dans l'UE. Et pour les entreprises dont l'activité principale est localisée dans cette même zone géographique. Tout du moins, Meta ne leur concède pas de licence d'utilisation.

* Notamment de la CNIL irlandaise. En juin, celle-ci a freiné Meta dans ses ambitions d'entraîner des LLM avec du contenu public partagé sur Facebook et Instagram dans l'Espace économique européen (UE + Islande, Liechtenstein et Norvège).

Illustration © Meta