Quel LLM pour coder en cobol ? Un benchmark spécifique émerge

Comment créer un benchmark spécifique à la génération de code cobol ? En adaptant un dataset existant.

Une start-up américaine a choisi cette option. Elle s’est appuyée sur la référence HumanEval. Il en résulte… COBOLEval.

Des 164 problèmes Python que contient HumanEval, 146 ont effectivement été traduits. Ont notamment été ignorés ceux acceptant ou retournant des types difficilement représentables en cobol, comme Any et Dict.

Les fonctions n’existant pas en cobol, il a fallu utiliser les sous-programmes (définition des arguments et des variables de retour dans la section de liaison).

Autre contrariété : en cobol, pas de chaînes, d’entiers ou de tableaux à longueur variable. Il faut spécifier, dans la clause PICTURE, le nombre de caractères occupés en mémoire. Un problème résolu par la mise en place d’un plafond : COBOLEval n’accepte ni ne retourne d’éléments de longueur supérieure à 100.

Cobol n’a, pas ailleurs, pas de variables locales. Il faut les déclarer par avance, dans la section dite de stockage de travail. Concilier cette structure stricte avec le fonctionnement des LLM a impliqué des techniques de décomposition et d’infilling.

Chaque problème s’assortit, en moyenne, de six tests. Une réponse doit les réussir tous pour qu’on la considère comme correcte. COBOLEval utilise le compilateur GnuCOBOL, récemment entré, en France, au Socle interministériel de logiciels libres.

Les auteurs de COBOLEval ont aussi développé un LLM « spécial cobol » : mAInframer-1, avec Code Llama comme socle. Ils en communiquent les performances dans des conditions bien précises : génération d’une seule solution (pass@1) avec température à 0.

Illustration © Quardia Inc. – Adobe Stock