Face à la demande croissante pour apporter l’IA sur les PC, smartphones ou systèmes embarqués, Meta a présenté un framework d’inférence nommé ExecuTorch. Il permet de déployer des modèles PyTorch sur ces terminaux.
Présenté le 22 octobre par les équipes de Meta le framework d’inférence ExecTorch 1.0 donne la capacité aux développeurs de déployer des modèles PyTorch directement sur des terminaux (PC ou smartphone) ou des systèmes embarqués sans avoir besoin de les convertir ou de les réécrire. Le cadre offre une prise en charge matérielle pour les CPU, ; GPU et NPU et support des plateformes telles qu’iOS et Android, … « Le déploiement de l’IA sur les appareils apporte des capacités d’apprentissage machine directement sur les terminaux des utilisateurs, et donc la possibilité d’obtenir des réponses rapides et en temps réel sans dépendre du cloud », a déclaré Meta.
« L’approche d’ExecuTorch améliore également la confidentialité en conservant les données localement et prend en charge des fonctionnalités personnalisées utilisables même sans accès à Internet », a précisé l’équipe de Meta. Avec ce framework, les développeurs peuvent prendre n’importe quel modèle basé sur PyTorch, quel que soit son domaine (grands modèles de langage (LLM), modèles vision-langage (VLM), segmentation d’images, détection d’images, audio, etc.) et le déployer directement sur des terminaux sans avoir à le convertir dans d’autres formats ou à le réécrire. L’équipe a rappelé qu’ExecuTorch alimentait déjà des applications concrètes, notamment Instagram, WhatsApp, Messenger et Facebook, accélérant ainsi l’innovation et l’adoption de l’IA sur appareil pour des milliards d’utilisateurs.
Gagner du temps
Les exemples traditionnels d’IA sur des terminaux comprennent l’exécution d’algorithmes d’analyse d’images sur les smartphones pour l’édition et le traitement de photos. Mais récemment, grâce aux progrès réalisés dans le domaine du matériel et des modèles d’IA, notamment les agents locaux alimentés par des LLM et les applications d’IA dans les lunettes connectées et les mobiles, le nombre de nouveaux cas d’usage a augmenté rapidement », a ajouté l’équipe PyTorch. Cependant, lors du déploiement de ces modèles dans des environnements sur des systèmes embarqués et des smartphones, une phase de conversion et de format est nécessaire.
Cette étape prend beaucoup de temps aux ingénieurs en apprentissage machine et constituent souvent des goulots d’étranglement dans le processus de déploiement en production en raison, par exemple, de problèmes d’incompatibilités et de perte d’informations de débogage pendant la conversion. Grâce à ExecuTorch, les développeurs vont pouvoir créer ces applications d’IA à l’aide d’outils PyTorch familiers, optimisés pour les appareils périphériques, sans avoir besoin de conversions. La version bêta d’ExecuTorch a été annoncée il y a un an. Le code ExecuTorch est disponible sur GitHub.