Pour mieux raisonner, les LLM doivent-ils se passer du langage ?

Le langage, pas indispensable au raisonnement ? Ce constat, diverses études l'ont établi pour ce qui est du cerveau humain.

Les équipes de Facebook AI Research s'en sont emparées... pour l'appliquer aux LLM. Il en résulte une méthode dite COCONUT (Chain of Continuous Thought).

Cette méthode adapte le principe de la chaîne de pensée (CoT, chain of thought) en écartant la modalité langage*. Dans les grandes lignes, au lieu de traduire en tokens le dernier état caché du modèle, on renvoie directement cet état en tant qu'input pour la prédiction suivante. On travaille donc dans un espace latent continu.

Une tel système - optimisable par descente de gradient et permettant la rétropropagation - permet d'encoder simultanément plusieurs next steps potentiels. Et donc à un LLM d'explorer, à chaque étape, plusieurs solutions, plutôt que de s'engager sur une voie déterminée. Un fonctionnement assimilable à de la recherche BFS (algorithme de parcours en largeur)**.

Une variante hybride de COCONUT

D'après des expériences effectuées avec un modèle GPT-2, la méthode COCONUT peut passer à l'échelle, au sens où elle conserve des propriétés clés de la CoT : augmenter la profondeur des LLM et améliorer leur expressivité. Elle se révèle par ailleurs effectivement adaptée aux tâches qui demandent beaucoup de planification.

Les chercheurs ont développé une variante "hybride" de COCONUT pouvant interlacer les deux types de raisonnement : soit un paramètre k tel qu'à partir de l'étape k+1, le reste de la chaîne est produit sous forme de langage. Une solution qui procure une forme d'interprétabilité.

Entre autres défis, il s'agit désormais de travailler sur des stratégies d'apprentissage de ce mécanisme de raisonnement, sans supervision sur la base de chaînes traditionnelles.

* Dans les chaînes de pensée, la plupart des tokens servent essentiellement la cohérence textuelle, sans être fondamentaux pour le raisonnement, constatent notamment les chercheurs.

** Sauf qu'au contraire de l'algo BFS, les "LLM COCONUT" démontrent une capacité à prioriser les noeuds prometteurs au seins des arbres ou des graphes.

Illustration générée par IA