Connexion établie entre PyTorch et l’API Android Neural Networks (NNAPI). La jonction n’est encore que partielle. Elle s’inscrit dans une série de fonctionnalités expérimentales destinées à tirer parti de l’accélération matérielle pour l’inférence sur les terminaux mobiles.
Sur la partie GPU, les API Vulkan (Android) et Metal (iOS) sont mises à contribution. La passerelle avec la NNAPI vise les autres accélérateurs – essentiellement les NPU et les DSP. Facebook – créateur de PyTorch – a mené des tests avec un modèle intégré dans l’application Messenger. En l’occurrence, celui qui gère les arrière-plans immersifs (voir ci-dessous).
Sur un smartphone Google Pixel 5, le recours à la NNAPI a réduit de moitié la latence mesurée avec un cœur CPU. Sur un Pixel 4, il l’a divisée par près de quatre. Moyennant une sollicitation plus importante du processeur.
Le différentiel est plus significatif sur l’architecture MobileNetV2 (vision par ordinateur).
L’utilisation de ce modèle avec la NNAPI a requis quelques étapes de préparation, listées dans ce tutoriel. De manière générale, quelques adaptations sont nécessaires. PyTorch présente effectivement des différences sémantiques avec la NNAPI. Par exemple sur l’organisation des poids synaptiques en mémoire. Ou sur la représentation des opérations de suréchantillonnage.
Pour ce « premier jet », le tandem PyTorch-NNAPI ne fonctionne qu’à partir d’Android 10. La prise en charge d’Android 8 et d’Android 9 est sur la feuille de route, sans échéance définie. Même chose pour les modèles qui exploitent le contrôle de flux ou encore le fallback automatique sur CPU.
Illustration principale © ProStokStudio – shutterstock.com
Un an après son lancement, Threads reste en construction. En particulier au niveau de l'intégration…
Le Cesin s'inquiète du rachat d'importants éditeurs de solutions de cybersécurité par le fonds américain…
Dans son rapport sur l'état de l'internet en France, l'Arcep a inclus une section sur…
Les performances évolutives et les mécanismes de protection de la donnée offrent aux 335 médecins…
Salesforce a entrepris un benchmark des LLM sur des cas d'usage CRM. Comment l'a-t-il orchestré…
Kyutai a officialisé son IA vocale Moshi et en a ouvert une démo au public.…