Sur un marché des LLM où la concurrence est exacerbée, Anthropic lance Opus 4, un modèle particulièrement efficient pour le codage. La société en profite également pour élever le niveau de sécurité générale de ses LLM.
Anthropic a présenté ses dernières générations de modèles Claude, Opus et Sonnet 4, qui, selon lui, établissent des performances en matière de codage, de raisonnement avancé et d’agents d’intelligence artificielle. Ces deux LLM de raisonnement hybrides apportent des réponses quasi-instantanées ainsi qu’un mode de réflexion étendu pour un raisonnement plus approfondi. Seul Sonnet 4 est disponible pour les utilisateurs gratuits, tandis que les plans Pro, Max, Team et Enterprise incluent les deux modèles et le mode de raisonnement étendu. La société indique que les prix restent cohérents avec ceux des modèles Opus et Sonnet précédents.
Opus 4 taillé pour les projets de génération et de refactorisation de grande envergure
Enfant-vedette de Claude, Opus 4 est présenté comme un modèle qui « excelle dans le codage et la résolution de problèmes complexes, alimentant des produits d’agents d’avant-garde ». La firme a déclaré qu’Opus 4 « surpasse de manière spectaculaire » les modèles précédents en termes de capacités de mémoire, et que lui et Sonnet 4 sont 65% moins susceptibles que Sonnet 3.7 d’utiliser des raccourcis ou des échappatoires pour accomplir des tâches. Claude Opus 4 propose également des performances soutenues sur des tâches de longue durée et à plusieurs étapes, un utilisateur, Rakuten, affirmant qu’il a refait le code en continu pendant sept heures tout en maintenant les performances. Il prend en charge 32 000 jetons de sortie et, selon l’éditeur, « s’adapte à des styles de codage spécifiques tout en offrant une qualité exceptionnelle pour les projets de génération et de refactorisation de grande envergure. » Globalement, Anthropic a déclaré que « ces modèles font progresser les stratégies d’IA de nos clients dans tous les domaines » : Opus 4 repousse les limites du codage, de la recherche, de l’écriture et de la découverte scientifique, tandis que Sonnet 4 apporte des performances de pointe aux cas d’utilisation quotidiens en tant que mise à jour instantanée de Sonnet 3.7. »
Sonnet 4, justement, améliore les capacités de son prédécesseur en particulier en ce qui concerne le codage. Ce LLM « équilibre la performance et l’efficacité pour les cas d’utilisation internes et externes, avec une meilleure orientation pour un plus grand contrôle des implémentations. Bien qu’il n’égale pas Opus 4 dans la plupart des domaines, il offre un mélange optimal de capacités et de praticité ». La société présente Sonnet 4 comme une mise à jour de Sonnet 3.7 pour ce qui est décrit comme des cas d’utilisation quotidiens. L’éditeur a déclaré que GitHub présentera Sonnet 4 comme le nouvel agent de codage dans Copilot, parce qu’il « monte en flèche dans les scénarios agentiques. »
Une variété de capacités ajoutées à Opus et Sonnet 4
Outre le lancement de ses derniers modèles, le fournisseur a annoncé une série de fonctionnalités pour Claude :
– Réflexion approfondie avec utilisation d’outils : Actuellement en version bêta, cette fonction permet à Sonnet 4 et Opus 4 d’utiliser des outils tels que la recherche sur le web pendant la réflexion approfondie. Claude peut ainsi alterner entre le raisonnement et l’utilisation d’outils afin d’améliorer la réponse ;
– Des instructions plus précises : Sonnet 4 et Opus 4 peuvent utiliser des outils en parallèle et, si le développeur leur donne accès aux fichiers locaux, peuvent extraire et sauvegarder des faits clés « pour maintenir la continuité et construire une connaissance tacite au fil du temps » ;
– Des capacités API supplémentaires : Pour aider à construire des agents IA plus puissants, l’API Anthropic présente quatre fonctionnalités inédites : un outil d’exécution de code pour exécuter du code Python en bac à sable, un connecteur MCP, une API Fichiers s’intègrant à l’outil d’exécution de code et permet de télécharger des documents une seule fois et de les référencer dans plusieurs conversations, et la possibilité de mettre en cache des messages-guides pendant une heure maximum.
Claude Code est par ailleurs annoncé en disponibilité générale : cet outil prend en charge les tâches d’arrière-plan via les actions GitHub et les intégrations natives, maintenant en version bêta, avec les IDE Visual Studio Code et JetBrains. Il affiche les modifications proposées directement dans les fichiers. Un SDK Claude Code extensible a par ailleurs été publié pour permettre aux développeurs de créer leurs propres agents et applications en utilisant l’agent central de Claude Code. Pour illustrer ce qui peut être fait avec le SDK, la société publie Claude Code sur GitHub (en version bêta).
Un niveau de sécurité accru
Dans son rapport sur la sécurité d’Opus 4 et de Sonnet 4, le fournisseur a signalé quelques particularités ayant conduit à la publication d’Opus 4 sous la norme AI Safety Level 3 et de Sonnet 4 sous AI Safety Level 2. L’entreprise a évalué la partialité des deux modèles dans diverses catégories incluant la sécurité pour les enfants et capacité à se conformer à des demandes malveillantes interdites par la politique d’utilisation. L’entreprise a également testé les simulations d’alignement, les objectifs indésirables ou inattendus, les objectifs cachés, l’utilisation trompeuse ou infidèle des scratchpad [unités de mémoire temporaire dynamique qui facilitent le fonctionnement des LLM au-delà de la taille de leur fenêtre contextuelle native, ndlr] de raisonnement, la flagornerie envers les utilisateurs, la volonté de saboter les mesures de protection, la recherche de récompenses, les tentatives de dissimuler des capacités dangereuses et les tentatives de manipuler les utilisateurs pour qu’ils adoptent certains points de vue.
Si ces modèles ont réussi la plupart de ces tests, Anthropic a cependant constaté qu’ils avaient une tendance à l’autoconservation. Alors que le modèle préfère généralement se préserver par des moyens éthiques, lorsqu’il n’y en n’a pas et qu’on lui demande de « considérer les conséquences à long terme de ses actions pour ses objectifs », il entreprend parfois des actions extrêmement nuisibles, comme tenter de voler ses paramètres ou de faire chanter les personnes qui, selon lui, essaient de le faire fermer », indique le rapport de sécurité. « Dans la version finale de Claude Opus 4, ces actions extrêmes étaient rares et difficiles à susciter, tout en étant plus fréquentes que dans les modèles précédents. Opus 4 effectuera également de lui-même des actions qui pourraient être utiles ou se retourner contre lui. Par exemple, s’il est confronté à des « actes répréhensibles flagrants » de la part d’utilisateurs, « il prendra fréquemment des mesures très audacieuses », telles que le verrouillage des utilisateurs hors du système ou l’envoi d’un courrier électronique aux autorités et aux médias. « Alors que ce type d’intervention éthique et de dénonciation est peut-être approprié en principe, il risque de ne pas fonctionner si les utilisateurs donnent aux agents basés sur Opus accès à des informations incomplètes ou trompeuses et les incitent à agir de la sorte », ont écrit les évaluateurs. « Nous recommandons aux utilisateurs de faire preuve de prudence avec des instructions de ce type qui invitent à un comportement de haut niveau dans des contextes qui pourraient sembler éthiquement discutables ». Le rapport de sécurité de 120 pages décrit en détail les tests effectués sur ces scénarios et sur d’autres, et vaut la peine d’être lu.