Les LLM en 2023 : quelques articles scientifiques

Quelle empreinte écologique pour les LLM ? Comment leur apprendre à s'autocorriger ? Risquent-ils d'accaparer la connaissance ? Et si on les concevait sur le modèle des systèmes d'exploitation ?

Cette année, nous nous sommes fait l'écho d'études sur ces sujets, entre autres.

En voici quelques-unes, dans l'ordre antéchronologique de publication des articles en rendant compte sur Silicon.fr.

>> Gestion d'incidents : le potentiel des LLM mis à l'épreuve (13 décembre)
Six chercheurs - essentiellement de la maison Microsoft - se sont intéressés à l'usage de LLM pour l'identification de causes racines et l'élaboration de plans de remédiation.

>> LLM généraliste ou spécialisé ? La question sous l'angle environnemental (4 décembre)
Des chercheurs de Hugging Face et de l'Institut Allen ont effectué une comparaison sur la phase d'inférence. Ils abordent aussi, entre autres, l'influence de certains choix d'architecture et l'« empreinte carbone » de la multimodalité.

>> Pour s'autocorriger, les LLM ont-ils besoin d'un compagnon ? (22 novembre)
Des chercheurs de l'université de Cambridge et de Google Research proposent d'améliorer les capacités d'autocorrection des LLM par une méthode de retour sur trace (backtracking) fondée sur un modèle auxiliaire.

>> MemGPT : l'esquisse de LLM inspirés des systèmes d'exploitation (21 novembre)
Des chercheurs de UC Berkeley proposent d'élargir la fenêtre de contexte des LLM en les dotant d'une gestion mémoire et d'un contrôle de flux inspirés des OS.

>> A=B donc B=A ? Pour les LLM, ça ne coule pas de source (26 septembre)
Des chercheurs universitaires américains mettent en jeu le principe des fonctions dites « influentes » pour évaluer la capacité des grands modèles de langage à généraliser.

>> ChatGPT risque-t-il de « privatiser » la connaissance ? (18 juillet)
Trois chercheurs universitaires européens se penchent sur l'accaparement de la connaissance par les LLM. Leur principal support d'étude : l'évolution des publications sur Stack Overflow après le lancement de ChatGPT.

>> PoisonGPT : des LLM détournés à la racine (10 juillet)
Une start-up française fait la démonstration du détournement d'un modèle à partir d'une méthode de modification « unitaire » de ses connaissances.

>> Vers une pénurie de données d'entraînement pour l'IA ? (30 mai)
Six chercheurs ont modélisé, à partir de l'évolution de la taille des datasets, l'amoindrissement du stock disponible de données non étiquetées pour les modèles de langage et ceux de vision.

>> Toolformer : une IA qui se cultive par API (17 février)
Les équipes de Meta ont développé un modèle GPT-J capable de décider quand et comment s'appuyer sur des outils externes.

Illustration © Tada Images - Adobe Stock