Comment rendre moins coûteux l’apprentissage par renforcement ? En permettant aux algorithmes d’exploiter plus efficacement les ressources à leur disposition.
Google aborde la problématique à travers le projet SEED RL, dont il vient d’officialiser la mise en open source.
À la base de ces travaux, un modèle (ou agent) d’apprentissage par renforcement que sa filiale DeepMind avait dévoilé voilà deux ans : IMPALA.
Ce dernier repose sur une architecture dite « acteur-critique ».
Divisé en une multitude de sous-agents déployés en parallèle sur des milliers de machines, l’acteur a pour rôle d’explorer un environnement et d’en tirer des expériences à partir d’une politique.
Ces séquences d’états, d’actions et de récompenses, il les transmet à un apprenant centralié (le critique) qui traite les expériences et améliore la politique.
Traditionnellement, on fait tourner les acteurs sur des CPU. Les critiques, moins nombreux, s’exécutent sur des GPU.
Une telle architecture présente, d’après Google, des inconvénients :
SEED RL remodèle cette architecture avec deux points principaux :
Comme IMPALA, SEED RL exploite V-trace. Cet algorithme de correction hors politique permet de normaliser l’apprentissage des agents pour éviter la décohérence temporelle.
Sur l’environnement DeepMind Lab, Google annonce 2,4 millions de trames traitées par seconde avec 64 cœurs TPU (du nom de ses puces dédiées à l’IA). IMPALA requiert trois à quatre fois plus de ressources pour atteindre la même vitesse.
Photo d’illustration © mikemacmarketingviaVisualHunt / CC BY
La Cour des comptes appelle à formaliser et à professionnaliser certains aspects du RIE, tout…
La Cour des comptes attire l'attention sur le risque d'affaiblissement d'Etalab, privé, ces dernières années,…
Missions historiques de la Dinum, l'ouverture des données publiques et la promotion des logiciels libres…
Pour développer une version 7B de son modèle Codestral, Mistral AI n'a pas utilisé de…
L’Autorité de la concurrence et des marchés (CMA) britannique ouvre une enquête sur les conditions…
Thomas Gourand est nommé Directeur Général pour la France. Il est chargé du développement de…