JetBrains pousse un LLM local pour la saisie semi-automatique

Cloud ou locale ? Chez JetBrains, les deux options existent désormais pour l’assistance à la saisie semi-automatique de code par IA.

La première est disponible depuis fin 2023. Elle implique la souscription d’un abonnement complémentaire aux licences commerciales. JetBrains la suggère « lorsque vous avez un objectif mais n’êtes pas exactement sûr de comment l’implémenter ».

L’option locale vient de faire son entrée, dans le cadre de la version 2024.1 des produits JetBrains. Elle est, pour le moment, incluse sans surcoût dans IntelliJ IDEA Ultimate, PyCharm Professional, WebStorm, PhpStorm, GoLand et RubyMine. Il est question de l’intégrer, « dans les prochains mois », à Rider, RustRover et CLion.

Un modèle 100M pour les IDE JetBrains

Contexte d’usage recommandé : « quand vous savez exactement ce que vous voulez écrire et que vous souhaitez économiser environ 20 % de la frappe clavier requise ». On n’est donc pas sur le même niveau d’assistance qu’avec l’option cloud. Il faut dire que le modèle de langage sous-jacent est plus petit : 100 millions de paramètres, avec une fenêtre de contexte de 1536 tokens – environ 170 lignes de code. JetBrains dit l’avoir entraîné sur des datasets de code open source sous licence permissive.

L’option cloud se prête à la génération de blocs de code. L’option locale se limite à compléter des lignes. Essentiellement à partir de ce qui figure avant le pointeur, mais parfois aussi en s’appuyant sur le contenu de fichiers liés. L’inférence a son processus dédié, optimisé pour l’architecture cible (utilisation du CPU sur x86-64, du GPU sur ARM64…).

L’assistant cloud a la priorité s’il est activé. En l’état, il se fonde essentiellement sur des modèles OpenAI. Il est question de le connecter, notamment, à Codey et Vertex AI de Google.

À consulter en complément :

GitHub Copilot & Cie, créateurs de dette technologique ?
Stable Code, un poids léger chez les LLM codeurs
Quel LLM pour développer en cobol ? Un benchmark spécifique émerge
Les LLM locaux expérimentés sur le navigateur Opera One