IA et test d’intrusion : Claude, GPT, Mistral, GLM et Qwen comparés (octobre 2026)

Votre prestataire de sécurité annonce désormais des tests « augmentés par l’IA ». Un concurrent vante un agent autonome qui trouve les failles pendant la nuit. Et les attaquants, eux, ont accès aux mêmes outils. Cinq familles de modèles dominent ce paysage : Claude (Anthropic), GPT (OpenAI), Mistral (Mistral AI), GLM (Z.ai, ex-Zhipu) et Qwen (Alibaba). Elles ne se valent pas, et surtout elles ne se distribuent pas de la même façon.

Ce comparatif s’appuie sur les données publiques arrêtées à la mi-octobre 2026. Il ne cherche pas à désigner un champion, mais à vous aider à lire les annonces et à poser les bonnes questions.

Deux philosophies : accès vérifié ou poids ouverts

La première différence n’est pas technique, elle tient à la distribution.

Un modèle à poids ouverts se télécharge et s’exécute sur ses propres serveurs : personne ne voit ce que vous lui demandez. C’est un atout pour la confidentialité. C’est aussi un cadeau pour un attaquant, qui peut s’en servir sans aucune surveillance.

Ce que disent les chiffres, et leurs limites

Trois bancs d’essai reviennent dans les annonces : CyberGym (identifier et reproduire des vulnérabilités réelles), ExploitBench (écrire un exploitExploitProgramme ou technique qui tire parti d’une vulnérabilité précise pour faire faire à un système ce qu’il ne devrait pas : exécuter du code, contourner une authentification, lire des données. fonctionnel) et des séries de défis CTF (épreuves de hacking éthique). Voici la seule comparaison publiée sur les mêmes tests pour trois modèles de pointe :

Depuis, deux modèles ont rebattu les cartes, toujours selon leurs éditeurs. OpenAI annonce que GPT-6 Astra atteint le score maximal sur ExploitBench. Mistral annonce que Large 4 obtient 82 % sur un test où il faut reproduire puis corriger une vraie faille de logiciel libre, le meilleur score mesuré, et résout 93 % des défis de Cybench.

Deux études indépendantes complètent le tableau, avec des modèles un peu plus anciens :

• Défis CTF complexes. L’université d’Albany (SUNY) a soumis 200 défis du NYU CTF Bench à dix modèles. Claude 4.5 Opus en résout 59 %, Gemini 3 Pro 52 %, GLM-5 19,5 %, GPT-5.2-Codex 18 % et Qwen 3.5 (397 milliards de paramètres) seulement 3,5 %. Les auteurs précisent qu’un seul essai par défi rend ces chiffres indicatifs.
• Défis web simples, en local. TrustedSec a lancé 100 fois huit défis web classiques (injection SQL, contournement d’authentification, lecture de fichiers) contre une application volontairement vulnérable. Qwen 3.5 en version 27 milliards de paramètres, exécuté sur une seule machine, réussit 97,5 % des essais.

La leçon est utile : sur des failles courantes et bien documentées, un petit modèle local suffit déjà. Sur des attaques longues, qui demandent d’enchaîner plusieurs étapes, l’écart avec les meilleurs modèles reste énorme.

Claude : l’exploitation, sous condition d’accès

Anthropic réserve ses capacités offensives à des organisations vérifiées. Depuis le 6 octobre 2026, son Cyber Verification Program compte trois niveaux, tous avec Claude Opus 5.5, Sonnet 5.5 et Mythos 5.1 :

• Defense Access : réponse à incident, analyse de logiciels malveillants, analyse et validation de vulnérabilités, pour les équipes qui défendent leurs propres systèmes, les opérateurs d’infrastructures critiques, les petites sociétés de sécurité, les mainteneurs de logiciels libres et les chercheurs reconnus.
• Red Team Access : ajoute le test d’intrusionTest d’intrusion (pentest)Attaque simulée, menée par des spécialistes mandatés, pour découvrir les failles d’un système avant qu’un vrai attaquant ne les exploite. et la red teamRed team (équipe rouge)Exercice où une équipe d’attaquants mandatés imite, pendant plusieurs semaines, un adversaire réaliste pour éprouver la capacité de l’organisation à détecter une attaque et à y réagir. autorisés. Il est réservé aux organisations (sociétés de test d’intrusion, équipes red team internes ou publiques), pas aux chercheurs individuels.
• Specialized Access : le moins de blocages, pour un petit nombre d’organisations autorisées à tester des systèmes sensibles, examinées avec le gouvernement américain.

Anthropic a mesuré l’effet de ces niveaux sur 50 scénarios d’attaque : avec l’accès Red Team, Opus 5.5 en mène 34 à bien, autant que sans aucun garde-fou ; avec l’accès Defense, 46 essais sur 50 sont bloqués à un moment ou un autre. Sans l’accès Red Team, la plupart des scénarios d’exploitation sont donc bloqués, même pour un usage légitime.

GPT : un modèle jugé « critique »

OpenAI a franchi un cap en septembre 2026 avec GPT-6 Astra, que l’éditeur classe au niveau « critique » en cybersécurité, le plus élevé de son cadre de risque. Selon OpenAI, cité par la presse, Astra trouve des vulnérabilités inconnues et les exploite sans instructions humaines pas à pas. Conséquence : l’accès complet a d’abord été réservé à quelques grands acteurs de la sécurité (Cisco, Cloudflare, Palo Alto Networks), et la version grand public refuse les demandes qui pourraient servir une cyberattaque, quitte à bloquer parfois des usages légitimes.

Le modèle précédent, GPT-5.6 Sol, classé « High » en juillet, donnait déjà une indication précieuse dans sa fiche de sécurité : il trouvait des vulnérabilités et des morceaux d’exploits, mais n’avait pas réussi d’attaque autonome de bout en bout contre des cibles durcies. Les défenseurs vérifiés passent par le programme Trusted Access for Cyber, qui réduit les refus pour l’analyse de vulnérabilités, la rétro-ingénierie ou la validation de correctifs.

Mistral : le choix européen

Mistral AI a présenté le 6 octobre 2026 une préversion de Mistral Large 4, un modèle d’environ mille milliards de paramètres. Selon l’éditeur, il se classe parmi les cinq meilleurs modèles mondiaux sur l’indice cyber d’Artificial Analysis et devance largement les autres modèles ouverts conçus hors de Chine. En interne, Mistral l’a trouvé utile pour l’analyse de logiciels malveillants, la priorisation des vulnérabilités et l’écriture de règles de détection.

Trois points le distinguent :

• L’hébergement. Le modèle est entraîné et servi dans les centres de données de Mistral en Europe, et pourra tourner sur un cloud privé ou sur vos propres serveurs une fois les poids publiés, ce que l’éditeur annonce pour la fin octobre.
• Les garde-fous. Mistral affirme qu’il refuse davantage les demandes cyber dangereuses que les autres modèles ouverts, et réserve une version moins modérée à des partenaires vérifiés et à des autorités publiques, avec qui il le teste en conditions réelles.
• Les limites. C’est une préversion, et tous les scores cyber publiés à ce jour viennent de Mistral.

GLM : la surprise chinoise

GLM est le modèle qui a le plus bousculé le secteur en 2026. Le centre d’évaluation de l’IA du NIST américain (CAISI) a jugé en juillet que les capacités cyber de GLM-5.2 étaient similaires à celles de Claude Opus 4.6, sorti en février 2026. Le même rapport relève que ses garde-fous laissent passer l’aide au développement d’exploits par un agent autonome.

GLM-5.3, lancé à la mi-août puis publié en poids ouverts à la fin du même mois, affiche selon Z.ai le meilleur score sur CyberGym, mais reste loin derrière sur l’écriture d’exploits (54,4 % contre 76 à 78 % pour Claude et GPT). L’éditeur reconnaît lui-même que ses capacités cyber « se sont développées plus vite que prévu ».

Qwen : le couteau suisse local

Qwen n’est pas le plus fort, mais c’est le plus pratique. Ses petites versions (9 ou 27 milliards de paramètres) se téléchargent librement et tournent sur une seule carte graphique ; vérifiez la licence de chaque version avant un usage commercial. Elles excellent sur les tâches répétitives : trier les résultats d’un scanner, analyser des journaux, rédiger des fiches de correction.

Revers de la médaille : des versions modifiées, dont les refus ont été supprimés, circulent librement. Elles ne sont pas meilleures en sécurité, seulement plus dociles, et personne ne garantit leur comportement.

Ce que cela change pour défendre une PME

Le constat le plus important ne concerne pas les prestataires, mais les attaquants. Des modèles proches de l’état de l’art pour la recherche de failles sont désormais téléchargeables et utilisables sans contrôle. Conséquence directe : le délai entre la publication d’une CVECVEIdentifiant unique et public attribué à une vulnérabilité connue (par exemple CVE-2021-44228), qui permet à tout le monde de parler de la même faille sans ambiguïté. et les premières attaques se raccourcit, et les failles banales de vos sites exposés seront trouvées plus vite qu’avant.

• Corrigez plus vite. Une gestion des correctifsGestion des correctifsProcessus qui recense les logiciels, suit les correctifs de sécurité publiés et les déploie dans des délais adaptés au risque, sans casser la production. mensuelle ne suffit plus pour ce qui est exposé sur Internet : visez quelques jours pour les failles critiques.
• Réduisez votre surface d’attaqueSurface d’attaqueEnsemble des points par lesquels un attaquant peut tenter d’entrer dans votre système d’information ou d’en extraire des données : services exposés sur Internet, applications, comptes, équipements, prestataires et personnes.. Chaque sous-domaine oublié, chaque interface d’administration accessible est une cible que l’IA trouvera.
• Testez après chaque changement, pas seulement une fois par an.
• Méfiez-vous aussi de vos propres outils d’IA : un agent connecté à vos systèmes peut être détourné par injection de promptInjection de promptAttaque qui glisse des instructions dans le texte traité par une IA générative (message, page web, document, e-mail) pour lui faire ignorer ses consignes et agir au profit de l’attaquant..

Votre prestataire utilise l’IA : les questions à poser

• Quel modèle, dans quelle version, et par quel accès (service en ligne, programme d’accès vérifié, modèle auto-hébergé) ?
• Où sont traitées les données collectées pendant le test, et dans quel pays ?
• Les données de la mission servent-elles à entraîner un modèle ?
• Un expert valide-t-il chaque faille avant qu’elle n’entre dans le rapport ?
• Comment l’agent est-il tenu dans le périmètre et les horaires prévus par les règles d’engagementRègles d’engagement (périmètre et mandat)Document signé qui fixe ce qu’un testeur a le droit de faire : systèmes visés, dates, techniques permises ou interdites, contacts d’urgence et conduite à tenir en cas d’imprévu. ?
• Qui peut arrêter l’agent immédiatement en cas de comportement inattendu ?
• L’autorisation écrite mentionne-t-elle l’usage d’outils automatisés et d’IA ?

Notre lecture

• Pour un test d’intrusion approfondi, Claude et GPT, utilisés dans leur programme d’accès vérifié, restent les seuls à combiner un haut niveau en exploitation et un cadre d’autorisation clair.
• Pour des données qui ne doivent pas quitter l’Europe, Mistral Large 4 est désormais une option crédible, à confirmer par des évaluations indépendantes.
• Pour des données qui ne doivent pas sortir de chez vous, un modèle auto-hébergé (Mistral ou GLM pour la puissance, Qwen pour la légèreté) est une bonne réponse, à condition de l’entourer de vos propres contrôles.
• Dans tous les cas, l’IA accélère la découverte, elle ne remplace ni l’expert qui valide, ni l’autorisation écrite, ni le contre-test.

Le test d’intrusion non destructif de KrakenShield, lancé depuis la console sur un domaine dont vous avez prouvé la propriété et sous votre autorisation, vous permet de vérifier régulièrement ce qu’un attaquant outillé verrait de vos sites (voir les capacités). Et si un attaquant passait malgré tout, notre article Attaque par rançongiciel : que faire détaille les premières heures. Pour comprendre tout ce que l’IA change, en attaque comme en défense, lisez le chapitre IA et cybersécurité de « Cyber de A à Z ».