Dans la famille des modèles de fondation Granite, IBM a dévoilé des versions Nano capable de fonctionner en mode edge, sur des PC ou mobile ainsi que dans les navigateurs.
Quelques semaines après la présentation des modèles Granite 4.0, IBM annonce les déclinaisons SLM (small language model) baptisés Nano. Ils ont été pensés pour marcher sur des terminaux (PC ou smartphone) et dans les navigateurs en garantissant des performances importantes tout en réduisant les coûts.
Comme leurs aînés, les Granite 4.0 Nano sont publiés sous licence open source Apache 2.0 et sont compatibles avec plusieurs environnements d’exécution populaires, dont vLLM, llama.cpp et MLX. Selon IBM, ces modèles ont été entraînés sur plus de 15 000 milliards de tokens via des pipelines améliorés, assurant qualité et cohérence.
Quatre modèles Nano
Cette génération comprend quatre modèles instruct et leurs versions de base. Granite 4.0 H 1B est un modèle dense d’environ 1,5 milliard de paramètres basé sur une architecture hybride SSM (state space model, un algorithme de machine learning). La version H 350M repose sur la même architecture avec un corpus de 350 millions de paramètres. A noter que deux autres déclinaisons existent, Nano 1B et 350M en s’appuyant sur des transfomeurs classiques pour des environnements où les architectures hybrides ne sont pas encore pleinement optimisées.
Malgré leur taille réduite, ces modèles surpassent plusieurs SLM concurrents, comme ceux de Qwen d’Alibaba, LFM de LiquidAI ou Gemma de Google, sur des benchmarks couvrant le raisonnement général, le code, les mathématiques et la sécurité. Ils brillent particulièrement dans les workflows agents, comme le suivi d’instructions ou l’appel d’outils.
Tableau comparatif des performances des différentes versions de Granite (Crédit Photo: IBM)