Code Llama : un modèle spécial Python au menu de Meta

Qui peut le plus peut le moins ? Dans l'univers des LLM, pas forcément. Les équipes de Meta AI l'ont constaté lors du développement de Code Llama.

Il aura fallu 400 000 heures GPU (sur des A100-80) pour entraîner les trois types de modèles qui composent cette famille. En l'occurrence :

> Code Llama, le plus « générique », conçu pour la synthèse et l'interprétation de code. Il se fonde sur le modèle Llama 2, affiné avec un dataset de code puis entraîné sur une grande fenêtre de contexte (jusqu'à 16 384 tokens).

> Code Llama - Python, auquel on a appliqué le même traitement, en y ajoutant un entraînement spécifique sur ce langage.

> Code Llama - Instruct, adapté quant à lui au traitement d'instructions en langage naturel.

Chacun se décline en trois versions, à 7, 13 et 34 milliards de paramètres. Certaines - auxquelles on a accolé des doubles flèches sur le schéma ci-dessous - ont, en complément, bénéficié d'un entraînement de type FIM (fill-in-the-middle = insertion de code).

Le dataset d'entraînement de Llama 2 contient lui-même 80 milliards de tokens de code.

Une fenêtre de contexte grande ouverte

Les modèles sont sous la même licence « maison » que Llama 2. Celle-ci autorise l'usage commercial, mais il faut remplir un formulaire pour télécharger les poids.

Les versions à 7 milliards de paramètres peuvent tourner sur un seul GPU, nous affirme-t-on.

Dans le domaine des « IA qui codent », le nombre de paramètres a une incidence importante sur les performances, note Meta, benchmarks à l'appui.

L'élargissement de la fenêtre de contexte permet quant à lui d'envisager de travailler à l'échelle d'un dépôt plutôt que d'un simple fichier. Meta considère que ses modèles peuvent monter jusqu'à 100 000 tokens. Mais reconnaît aussi que cet élargissement a tendance à les rendre moins performants quand la fenêtre n'est pas pleinement exploitée (prompts de moins de 4000 tokens en particulier)...

Illustration principale © maciek905 - Adobe Stock