Le tout dernier agent Windows Copilot peut accomplir des tâches de manière autonome pour le compte des utilisateurs Windows. Microsoft promet des contrôles de sécurité et de confidentialité pour empêcher tout comportement indésirable.
L’assistant IA de Microsoft sera bientôt capable de travailler de manière autonome sur des fichiers locaux sous Windows grâce à Copilot Actions. Cette fonctionnalité, en cours de développement (expérimental), a été annoncée jeudi en même temps que d’autres pour les PC IA Windows 11. Cet outil effectuera des tâches telles que l’envoi d’e-mails, la mise à jour de documents et l’organisation de fichiers sans intervention humaine. Pour cela l’agent IA s’appuie sur une combinaison de « vision et de raisonnement avancé pour cliquer, taper et faire défiler [les contenus] comme un humain », a déclaré l’éditeur. Ce programme fait suite au lancement cet été d’un agent Copilot similaire (actuellement en bêta) capable de naviguer seul sur le web, de réserver des restaurants ou de planifier des voyages pour le compte des utilisateurs, par exemple. Les actions Copilot pour les fichiers locaux seront bientôt disponibles pour les membres Windows Insiders dans Copilot Labs.
Voici comment cela fonctionne : les utilisateurs téléchargent des fichiers dans l’interface de chat Copilot sous Windows, choisissent « exécuter une action » dans une liste d’options, puis décrivent la tâche qu’ils souhaitent voir accomplir. Le fournisseur a cité l’exemple d’un utilisateur qui télécharge des photos et demande de corriger l’orientation des images et de supprimer les doublons. L’agent effectuera alors la tâche en arrière-plan, en interagissant avec les applications de bureau et Web pertinentes pour la mener à bien. « Que vous ayez besoin d’aide pour trier vos photos de vacances récentes ou pour extraire des informations d’un fichier PDF, Copilot Actions peut faire le gros du travail pour vous en fonction du contexte de ce qui se trouve sur votre PC », a déclaré Yusuf Mehdi, vice-président exécutif et directeur marketing grand public de Microsoft, dans un billet de blog.
Une fonction prometteuse mais attendue au tournant
Bien que cette fonction ne soit pas définitive, Copilot Actions a le potentiel d’augmenter la productivité en prenant en charge les tâches numériques répétitives, a déclaré Tom Mainelli, vice-président du groupe, recherche sur les appareils et les consommateurs, chez IDC. « Copilot Actions est une étape ambitieuse vers une IA capable d’agir en notre nom. C’est une étape importante que j’ai hâte de tester moi-même », a-t-il déclaré. « La fiabilité, la confiance et la valeur réelle évidente détermineront en fin de compte la rapidité avec laquelle elle se généralisera. » Copilot Actions détaillera chaque étape au fur et à mesure de son exécution et demandera l’approbation de l’utilisateur dans certaines situations. Les utilisateurs ont également la possibilité d’interrompre l’agent et de reprendre le contrôle à tout moment s’ils le souhaitent. Il reste à voir dans quelle mesure l’agent sera fiable et dans quelle mesure les utilisateurs seront à l’aise avec le fait qu’un agent interagisse de manière autonome avec leurs fichiers. Microsoft a déclaré qu’il commencerait par un « ensemble restreint de cas d’usage ». La fonctionnalité est actuellement testée auprès de premiers utilisateurs et le modèle sera optimisé avant son lancement définitif.
« Il se peut que vous voyiez l’agent commettre des erreurs ou rencontrer des difficultés avec des interfaces complexes, c’est pourquoi il est si important de tester cette expérience dans le monde réel afin de nous aider à appliquer les enseignements tirés pour la rendre plus performante et plus fluide », prévient M. Mehdi. La firme indique que l’outil sera désactivé par défaut et n’aura accès, par exemple, qu’à un « ensemble limité » de dossiers locaux de l’utilisateur, tels que Documents, Téléchargements, Bureau et Images, ainsi qu’à d’autres fichiers accessibles à tous les comptes d’un système. « Copilot Actions ne peut accéder aux données en dehors de ces dossiers que lorsque l’utilisateur lui en donne l’autorisation », a déclaré Dana Huang, vice-présidente de Windows Security chez Microsoft.
Eviter de répéter les erreurs de Recall
Sur la base des commentaires des premiers utilisateurs, le groupe a déclaré que les contrôles de sécurité et de confidentialité seraient encore affinés avant la sortie officielle. On comprend un peu pourquoi : après avoir été lourdement critiquée pour Recall qui enregistrait régulièrement des captures d’écran d’un utilisateur sans rien lui demander l’entreprise semble cette fois prendre des précautions. M. Mainelli a souligné les efforts déployés par Microsoft pour répondre aux préoccupations en matière de sécurité. « En isolant les agents, en limitant les autorisations et en offrant aux utilisateurs une transparence sur les actions, la société s’efforce de créer un environnement sécurisé dans ce nouveau monde prometteur de l’IA agentielle », a-t-il déclaré. « Bien sûr, tout agent capable d’agir sur des fichiers locaux introduit de nouveaux risques. Je m’attends à ce que les équipes informatiques et de sécurité des entreprises testent minutieusement Copilot Actions et valident ces contrôles avant un déploiement à grande échelle. »
Il est important de noter que Copilot Actions pour Windows Copilot est différent de Copilot Actions pour Microsoft 365 Copilot ; ce dernier, annoncé fin 2024, est un outil léger d’automatisation des flux de travail. L’éditeur a fait plusieurs autres annonces dans son billet de blog alors qu’il continue d’intégrer des fonctionnalités d’IA dans Windows 11. Il a notamment dévoilé une option de saisie de texte pour Copilot Vision pour voir l’écran d’un utilisateur et lui fournir des conseils. Il a aussi mis en avant des « connecteurs » Copilot qui permettent à Windows Copilot d’accéder aux fichiers dans les applications incluant OneDrive et Outlook mais aussi des services Google tels que Drive, Gmail, Calendar et Contacts. Les connecteurs permettent aux utilisateurs d’afficher des fichiers incluant des e-mails ou des PDF directement à partir de l’interface de chat afin qu’ils puissent interagir avec eux de différentes manières, par exemple en créant des résumés ou des listes de contrôle à partir de contenus.