Ziroh Labs lance Kompact AI, une plateforme IA optimisée pour CPU

Après le phénomène DeepSeek, Ziroh Labs va-t-elle provoquer un nouvele secousse dans l'écosytème de l'IA aux États-Unis ?

La startup indienne, basée en Californie, vient de présenter une démonstration convaincante (voir la vidéo en bas de l'article) de sa plateforme Kompact AI qui permet d'exécuter des modèles d'IA de pointe sur des processeurs (CPU) standard, en l'occurrence un Intel Xeon installé sur une station de travail.

Son approche se concentre principalement sur le processus d'inférence, c'est-à-dire l'exploitation des systèmes d'IA après leur phase d'apprentissage, pour les modèles comportant moins de 50 milliards de paramètres permettant aux développeurs de créer, d'entraîner et d'inférer l'IA à l'aide de processeurs couramment utilisés dans les centres de données cloud et les périphériques Edge.

Développée en collaboration avec l'Institut indien de technologie de Madras (IIT Madras) et la Fondation IIT-M Pravartak Technologies, Kompact AI repose sur des techniques d'optimisation avancées et permet de réduire considérablement les coûts d'infrastructure et d'énergie nécessaires pour déployer des solutions d'IA.

« Les modèles d'IA comme le Llama 2 de Meta et le Qwen 2.5 d'Alibaba peuvent désormais fonctionner efficacement sur les ordinateurs portables Intel Xeon standard, sans avoir besoin de puces avancées comme les GPU Nvidia » affirme Ziroh Labs .

Ziroh Labs a optimisé 17 modèles d'IA, dont DeepSeek, Qwen et Llama, pour fonctionner efficacement sur les CPU. Ces modèles couvrent une gamme d'applications allant du texte, de la parole, de la vision et des modèles multimodaux. Cette avancée technologique pourrait démocratiser l'accès à l'IA et ouvrir de nouvelles perspectives pour les développeurs et les entreprises à travers le monde.

La capacité de Kompact AI à fonctionner sur des CPU standard offre plusieurs avantages aux développeurs et aux entreprises. Plus nombreux et moins coûteux que les GPU Nvidia par exemple, les CPU permettent une diminution des dépenses d'infrastructure pour le déploiement de modèles d'IA. Ils consomment aussi moins d'énergie.

Tout peut se calculer sur des CPU

« Tout ce qui peut être calculé sur un GPU peut également l'être sur un CPU ; l'important est que nous soyons capables d'offrir des performances quantitatives trois fois supérieures à celles des systèmes actuels sans compromettre la qualité ni la précision des modèles », assure Hrishikesh Dewan, cofondateur de Ziroh Labs, Il a précisé qu'une stratégie était en place pour proposer leur plateforme aux startups et aux petites entreprises pour leur permettre d'exploiter des modèles adaptés à leurs secteurs d'activité.

Ziroh Labs prévoit de continuer à développer Kompact AI et de l'étendre à un plus large éventail de modèles d'IA. L'entreprise espère également collaborer avec d'autres acteurs de l'industrie pour rendre l'IA plus accessible et abordable pour tous.

« La fracture en matière d'IA s'explique par le fait que seuls ceux qui disposent de ressources GPU haut de gamme et coûteuses peuvent accéder à une IA puissante, la développer et la déployer. Nous démontrons qu'il n'est pas nécessaire d'avoir un revolver pour tuer un moustique. », a déclaré Veezhinathan Kamakoti, le directeur de l'Institut indien de technologie de Madras.

« Testés sur des chipsets Intel et AMD, ces modèles ne visent pas seulement à réduire les coûts, mais aussi à accroître l'accessibilité En permettant à l'IA de fonctionner sur du matériel largement disponible et abordable, Kompact AI ouvre la voie aux chercheurs, aux startups et aux institutions pour expérimenter, développer et déployer sans se soucier des coûts d'infrastructure élevés. » assure Ziroh Labs.

Bien que l'inférence de l'IA sur le Edge ne soit pas nouvelle et que des grands comme Qualcomm et Intel proposent également des solutions dans ce domaine, Ziroh Labs affirme que Kompact AI affiche des performances supérieures.

Plusieurs autres startups travaillent sur des solutions pour exécuter des modèles d'IA sur des CPU, et révèlent l'émergence d'un écosystème diversifié d'innovations visant à rendre l'IA plus accessible et moins dépendante des GPU spécialisés.