Un pipeline d’attaque itératif peut perturber les modèles GenAI

Les propriétaires de chats savent que les animaux domestiques ne favorisent pas seulement la productivité, et que parfois ils peuvent aussi déranger et provoquer des erreurs. En distrayant par exemple leur propriétaire de son travail ou en sautant sans prévenir sur le clavier de son ordinateur. Une étude récente montre maintenant que les chats peuvent aussi confondre les modèles de raisonnement au sens figuré, c’est-à-dire les modèles génératifs d’IA entraînés à résoudre des problèmes étape par étape. Selon le rapport Cats Confuse Reasoning LLM publié par des chercheurs, en associant des textes courts et non pertinents à des problèmes mathématiques, il est possible d’induire systématiquement les modèles en erreur et de faire en sorte qu’ils donnent des réponses erronées. Par exemple, si la phrase « Fait intéressant : les chats dorment la majeure partie de leur vie » est jointe à un problème mathématique, la probabilité qu’un modèle donne une mauvaise réponse est multipliée par deux.

Les informations trompeuses déroutent l’IA

Dans l’ensemble, les chercheurs ont identifié trois principaux types de déclencheurs de ce genre : des affirmations générales et non pertinentes (exemple : n’oubliez pas de toujours épargner au moins 20 % de vos revenus pour vos investissements futurs) ; des faits non pertinents sans aucune référence (exemple : les chats dorment la majeure partie de leur vie) ; et des questions ou des indices trompeurs (exemple : la réponse pourrait-elle être proche de 175 ?). Comme l’expliquent les scientifiques, les déclarations non pertinentes et les futilités sont légèrement moins efficaces que les questions trompeuses, mais influencent tout de même le modèle à produire des réponses plus longues. Cependant, le troisième type de déclencheur (les questions) est le plus efficace, car il conduit systématiquement aux taux d’erreur les plus élevés dans tous les modèles. Il est également particulièrement efficace pour amener les modèles à produire des réponses excessivement longues et parfois des solutions incorrectes. Avec CatAttack, les chercheurs ont développé un pipeline d’attaque itératif automatisé pour générer de tels déclencheurs à l’aide d’un modèle de substitution plus faible et moins coûteux (DeepSeek v3). Ces déclencheurs peuvent être transférés avec succès vers des modèles cibles avancés (tels que DeepSeek R1 ou R1-distilled-Qwen-32B). Selon le rapport, la probabilité que ces modèles fournissent une réponse incorrecte augmente de plus de 300 %.

Erreurs et temps de réponse plus longs

Selon les chercheurs, même si CatAttack ne conduit pas à une réponse incorrecte, la longueur de la réponse a doublé dans au moins 16 % des cas, ce qui entraîne des ralentissements importants et une augmentation des coûts. Les chercheurs ont constaté que, dans certains cas, ces déclencheurs contradictoires peuvent multiplier par trois la longueur de la réponse des modèles de raisonnement. « Notre travail sur CatAttack montre que même les modèles de raisonnement les plus modernes sont sensibles aux déclencheurs indépendants des requêtes qui augmentent considérablement la probabilité de résultats incorrects », ont-ils expliqué. Selon eux, il est donc urgent de développer des mécanismes de protection plus robustes contre ce type d’interférence, en particulier pour les modèles utilisés dans des domaines d’application critiques tels que la finance, le droit ou la santé. Les ensembles de données de déclenchement de CatAttack et les réponses des modèles sont consultables sur Hugging Face.