Assistants de codage : des offres qui manquent encore de souplesse

Est-il trop tôt pour exiger d'un assistant IA de codage qu'il soit déployable sur site ou en cloud privé ?

Gartner considère qu'il s'agit désormais d'une option commune, mais n'en a pas pour autant fait un critère obligatoire pour figurer au Magic Quadrant consacré à ce segment de marché. Même chose pour, entre autres, la disponibilité de tableaux de bord analytiques, l'intégration de filtres de modération et la personnalisation sur des codebases internes.

Dans les grandes lignes, les éléments à respecter impérativement étaient les suivants :

• Complétion à partir de langage naturel (exemple : commentaire)
• Gestion de la complétion multiligne et intermédiaire (fill-in-the-middle) avec intégration dans plusieurs éditeurs de code
• Fonctionnement dans plus d'un écosystème
• Garantie de non-exploitation du code ou de la documentation des clients à des fins d'entraînement de modèles
• Interface conversationnelle embarquée dans l'environnement de développement

La photographie que donne Gartner correspond à la situation au 30 septembre 2024. Il en ressort un marché plutôt dense (beaucoup d'offreurs autour du centre de gravité du Quadrant), avec quatre fournisseurs dans le carré des "leaders" : AWS, GitHub, GitLab et Google Cloud.

Sur l'axe "exécution", qui traduit la capacité à répondre effectivement à la demande (expérience client, performance avant-vente, qualité des produits/services...), la situation est la suivante :

Sur l'axe "vision", qui reflète les stratégies (sectorielle, géographique, commerciale/marketing, produit...) :

Du déploiement à la personnalisation, des offres encore très inégales

S'il n'a pas imposé d'options de déploiement spécifiques, Gartner souligne tout de même que GitHub Copilot n'est disponible qu'en SaaS et qu'AWS ne propose que de déployer sur son propre cloud. GitLab est allé plus loin, mais ne propose pas encore l'autohébergement de modèles. La personnalisation est par ailleurs limitée à sa plate-forme, soulevant d'éventuels risques de lock-in.
Du côté de Google, on fournit peu de détails sur la prise en charge des diverses méthodes de déploiement et on ne propose pas au client d'apporter ses propres modèles. Gartner note aussi l'absence d'un niveau d'offre gratuit, ainsi que d'un modèle de tarification à l'usage. Cette dernière remarque vaut aussi pour GitHub et AWS. Le premier ne gère pas, en outre, le recours à plusieurs fournisseurs de LLM. Le second se montre moins transparent que d'autres sur les opportunités de remises tarifaires et n'est pas, en termes de prix, le plus adapté au cas d'usage "transformation de code".

Intégrateurs, comités clients, usages avancés... Des éléments à clarifier

AWS se montre moins exhaustif que les autres "leaders" sur le nombre d'IDE pris en charge. Google Cloud a droit à la même remarque, en plus du manque de capacités "avancées" telles que l'épinglage de contexte et la gestion de multiples dépôts.
GitLab donne quant à lui moins de détails que ses principaux concurrents sur d'autres technos que Gartner qualifie d'"avancées", comme les compilateurs neuronaux et les modèles à raisonnement automatisé.

Chez GitHub, le retard sur la concurrence se mesure notamment au niveau des solutions codéveloppées avec les partenaires intégrateurs - dont les rôles apparaissent globalement moins bien définis que chez d'autres. Gartner estime, en parallèle, que le cas d'usage "modernisation de code" n'est pas mis en avant comme il devrait l'être.
GitLab manque quant à lui d'une marketplace et ne participe pas à autant de projets open source que d'autres. Ses canaux de feedback reçoivent moins d'engagement "temps réel" que chez les concurrents. L'UI comme la documentation sont essentiellement en anglais), tandis que le comité de consultation clients est largement focalisé sur le marché américain.

AWS et sa "couverture exhaustive" du SDLC

AWS, au contraire, se distingue positivement sur la consultation des clients. Même chose sur l'innovation, avec l'exemple des compilateurs neuronaux et des modèles à raisonnement automatique. Gartner souligne plus globalement la capacité de son offre Amazon Q Developer à couvrir de manière exhaustive le cycle de développement logiciel. Et à automatiser des tâches complexes. Bons points également pour la stratégie marketing et son exécution, entre hackathons, conférences référentes (re:Invent, AWS Summit), chaînes Twitch et programme Executive Briefing Center.

GitHub porté par sa communauté de développeurs et son réseau d'intégrateurs

En plus de la viabilité que lui confère son statut de filiale de Microsoft, GitHub a pour lui sa communauté de développeurs et le niveau d'engagement qui va avec. Gartner souligne aussi la robustesse de son réseau d'intégrateurs, qui accompagne des initiatives sectorielles "bien définies". Autres points positifs : la variété des canaux de feedback et le lancement de GitHub Copilot Extensions, qui élargir le terrain de jeu de son assistant de codage.

GitLab salué pour la transparence et la flexibilité de sa tarification

Gartner salue, chez GitLab, la stratégie marketing et la visibilité ainsi que l'engagement qui en résultent. Le cabinet américain apprécie aussi la stratégie de prix "transparente et flexible", avec une tarification cohérente entre modèles de déploiement, un essai gratuit de 60 jours sur l'offre complète et pas de minimum de sièges pour les modules complémentaires. Il souligne également le volume de ressources consacrées au développement et au support, ainsi que l'absence de restrictions de performances entre les niveaux de l'offre.

Google Cloud sait mettre en avant ses différences

Google Cloud se distingue pour l'exhaustivité de ses intégrations (Elastic, HashiCorp, MongoDB) et la diversité de ses canaux de feedback. Gartner évoque aussi une mise en avant efficace d'éléments uniques tels que la fenêtre de contexte à 2 millions de tokens et l'indemnisation en cas d'infraction à la propriété intellectuelle sur les outputs. Autre avantage : un onboarding accéléré pour les développeurs, avec une expérience relativement homogène (limitation des changements de contexte).

À consulter en complément :

GitHub rejoint GitLab sur la localisation des données dans l'UE
Agentforce, Copilot... et les autres ? Une matrice des assistants IA
Services IA : les fabricants de PC voient plus loin que Copilot+
La GenAI s'affirme dans les stratégies data

Illustration générée par IA