Pour intégrer le contexte métier aux LLM, AWS propose Nova Forge pour aider les entreprises à personnaliser leurs modèles. Un service qui vient concurrence IQ de Microsoft.
Les entreprises ne se demandent plus si elles doivent adopter l’IA, mais plutôt pourquoi l’IA qu’elles ont déjà déployée ne parvient toujours pas à raisonner comme l’exige leur activité. Souvent, ces systèmes ne tiennent pas compte du contexte métier spécifique d’une entreprise, car ils sont entraînés à partir de données publiques génériques, et leur affinement ou leur réentraînement à partir de données propriétaires est fastidieux et coûte cher, si tant est que cela soit possible. Matt Garman, CEO d’AWS a fait le même constat lors de l’évènement Re :Invent qui se tient à Las Vegas du 1er au 5 décembre. « Les modèles tiers n’ont pas accès aux données des entreprises et il n’est pas pratique de créer des modèles à partir de zéro avec ces données. De même, l’ajout à un modèle existant par le biais du RAG, de la recherche vectorielle ou du fine tuning présente des limites », indique-t-il. « Mais qu’en serait-il, si l’on pouvait intégrer ses données au bon moment pendant la formation d’un modèle hautement avancé, et créer ensuite un modèle propriétaire juste pour soi ? » se demande-t-il.
Le service Nova Forge d’AWS répond à cette question. Les entreprises peuvent l’utiliser pour personnaliser un LLM en fonction de leur contexte métier en combinant leurs données métier propriétaires avec les données d’entraînement sélectionnées par AWS. Ainsi, le modèle peut internaliser la logique métier plutôt que d’avoir à la référencer en externe à plusieurs reprises pour l’inférence. Le service rentre en concurrence directe avec Fabric et Work IQ dévoilés par Microsoft lors de la conférence Ignite qui a eu lieu fin novembre. L’approche consiste à intégrer le contexte métier et l’analyse sémantique aux applications et aux agents IA. AWS préfère lui apporter le contexte métier directement dans les LLM.
Une stratégie défendue par les analystes
Les analystes sont d’accord avec l’évaluation de Matt Garman concernant les limites des méthodes existantes que Nova Forge vise à contourner. « L’ingénierie de prompt, le RAG et même le réglage fin supervisé standard sont puissants, mais ils reposent sur un modèle entièrement formé et sont intrinsèquement limités. Les entreprises sont confrontées à des fenêtres contextuelles, à la latence et à la complexité de l’orchestration. Il est très difficile et source d’erreurs de « greffer » en permanence une expertise dans un domaine », a expliqué Stephanie Walter, responsable des recherches sur l’IA chez HyperFRAME Research. En revanche, selon David Menninger, directeur exécutif de la recherche logicielle chez ISG, l’approche de Nova Forge peut simplifier les choses : « S’il devient possible de modifier le LLM pour intégrer les informations pertinentes, cela facilite grandement la gestion et la maintenance du processus d’inférence. »
De son côté, Akshat Tyagi, directeur adjoint chez HFS Research, a analysé les stratégies d’AWS et de Microsoft. Ce dernier « souhaite s’approprier l’expérience de l’IA. AWS souhaite s’approprier la fabrique de l’IA. Microsoft intègre l’intelligence dans son écosystème. AWS fournit les outils nécessaires pour créer sa propre intelligence et l’exploiter en toute confidentialité », a-t-il expliqué. Il ajoute, « alors que dans son message sur IQ, Microsoft soutient essentiellement que les entreprises n’ont pas besoin de modèles de pointe tentaculaires et qu’elles peuvent travailler avec des modèles compacts, adaptés à leur activité, qui restent en toute sécurité au sein de leur instance et stimulent la productivité, AWS suggère plutôt aux entreprises de ne pas se contenter d’ajuster un modèle existant, mais d’utiliser ses outils pour créer un modèle proche du niveau hautement avancé, adapté à leur activité », a-t-il ajouté. Selon lui, le sous-entendu est clair : « AWS sait qu’il a peu de chances de dominer le marché des assistants ou de la productivité, c’est pourquoi il mise davantage sur ses atouts fondamentaux, à savoir une infrastructure solide, tandis que Microsoft joue le jeu inverse. » Selon Mme Walter, « Nova Forge est clairement un pari sur l’infrastructure. AWS peut ainsi promouvoir Trainium, Bedrock et SageMaker en tant que plateforme unifiée de modèles avancés, tout en offrant aux entreprises une solution moins coûteuse que les laboratoires d’IA sur mesure. » Elle ajoute que « l’approche adoptée par AWS avec Nova Forge séduira les entreprises qui travaillent sur des cas d’usage nécessitant précision et nuance, notamment la découverte de médicaments, la santé, le contrôle industriel, les flux financiers hautement réglementés et les assistants de code à l’échelle de l’entreprise. »
Coûts de formation des LLM personnalisés
Dans son discours, Matt Garman a affirmé que Nova Forge supprimait les coûts prohibitifs, le temps et les contraintes techniques liés à la conception et à l’entraînement d’un LLM à partir de zéro, autant d’obstacles qui ont empêché la plupart des entreprises, et même des concurrents comme Microsoft, d’essayer de fournir une solution à ce niveau. Pour ce faire, Nova Forge propose un modèle pré-entraîné et divers points de contrôle ou instantanés de formation du modèle afin de lancer rapidement l’activité de création de modèles personnalisés, au lieu d’avoir à pré-entraîner le modèle à partir de zéro ou à le ré-entraîner encore et encore pour l’adapter au contexte, ce qui, selon AWS, représenterait un coût de l’ordre du milliard de dollars.
Robert Kramer, analyste principal chez Moor Strategy and Insights pense que « en choisissant de démarrer à partir d’un point de contrôle au début de la préformation, au milieu ou après la formation, les entreprises peuvent définir le degré d’implication de leur domaine dans la conception du modèle ». AWS prévoit de proposer ce service sous forme d’abonnement plutôt que sous forme de modèle de consommation illimité. Le fournisseur n’a divulgué aucun tarif publiquement, renvoyant les clients vers un tableau de bord en ligne, mais CNBC a rapporté que le prix de Nova Forge commençait à 100 000 dollars par an. « Les entreprises peuvent commencer à créer un modèle personnalisé via SageMaker Studio et l’exporter ensuite vers Bedrock pour le consommer », a indiqué AWS. La disponibilité de Nova Forge est actuellement limitée à la région Est des États-Unis (Virginie du Nord).