Les modèles Llama expérimentés pour la gestion d’incidents

Les LLM, une option pour la gestion d’incident ?

Fin 2023, nous avions relayé une étude à ce sujet, signée de six chercheurs – pour l’essentiel de Microsoft. Leur démarche s’est concentrée sur l’identification des causes racines et l’élaboration de plans de remédiation.

Meta a récemment rendu compte de ses usages sur le premier axe.

En amont de sa chaîne, il y a un récupérateur heuristique. En contrôlant des éléments comme le graphe d’exécution du code et les propriétaires des fichiers, cette brique réduit l’espace de recherche à quelques centaines de changements (contre des milliers sinon).

Ensuite intervient un LLM classifieur, fondé sur Llama 2 (7B). Pour composer avec la fenêtre de contexte, on lui envoie au maximum 20 changements par prompt. À chaque fois, on lui demande de retenir les 5 causes racines les plus probables. Les résultats obtenus sont alors agrégés et le processus recommence jusqu’à ce qu’il ne reste plus que 5 candidats.

Lors des tests, la cause racine est effectivement apparue dans ce top 5 pour 42 % des investigations, affirme Meta.

Entraînement continu, puis ajustement supervisé

La première étape de formation du modèle a consisté en un entraînement continu sur des ressources internes (wikis, Q&A code). L’idée était de le familiariser à l’environnement dans lequel il allait évoluer.

Deuxième étape : un ajustement supervisé, à partir de contexte supplémentaire (paires question-réponse) et d’un dataset spécifique d’instructions.

Ce dataset contient environ 5000 exemples. Avec dans chacun, des détails sur un certain nombre de changements (parmi lesquels la cause racine, connue) et des informations sur l’investigation à son démarrage (nom + impact observé).

Sur cette base, on a soumis au modèle des prompts de type « Étant donné un incident x et n changements, donne la cause racine la plus probable ». Les logprobs ont permis d’enrichir le dataset, pour finalement obtenir un modèle capable de donner un top 5 des causes racines les plus probables dans le contexte d’une investigation.

Illustration Deenanath – Adobe Stock