L’état du red-teaming de l’IA : des pratiques diverses en l’absence de normes

Le Center for Security and Emerging Technology (CSET) de l’Université Georgetown a publié une analyse des approches de red-teaming de l’IA, couvrant les considérations de conception, les modèles de menace et les outils. Le document décrit le red-teaming comme une méthode visant à identifier les faiblesses des systèmes d’IA, tout en observant que sa mise en œuvre diffère sensiblement selon les organisations et que les normes consensuelles demeurent rares.

Le red-teaming de l’IA est un concept emprunté à la cybersécurité traditionnelle, où des systèmes sont attaqués selon une perspective adverse afin d’identifier des vulnérabilités. Appliquée aux systèmes d’IA, cette approche sert à découvrir un éventail de problèmes, notamment les biais des modèles, les failles de sécurité, les vulnérabilités aux injections de prompt, les risques de fuite de données et les sorties inattendues. Toutefois, selon l’analyse du CSET, les méthodes d’exécution, le périmètre d’évaluation, les définitions des modèles de menace, les outils utilisés et les formats de rapport du red-teaming de l’IA varient fortement d’une organisation à l’autre, ce qui limite la cohérence et la comparabilité des résultats d’évaluation.

L’absence de normes crée plusieurs difficultés opérationnelles. Premièrement, les organisations de développement de l’IA ne disposent pas d’un cadre commun de référence pour concevoir des exercices de red-teaming, ce qui oblige chaque équipe à élaborer ses propres approches. Cela peut affecter l’exhaustivité et l’efficacité des évaluations. Deuxièmement, il est difficile de comparer ou de benchmarker les résultats de red-teaming réalisés par différentes organisations. Troisièmement, les autorités de régulation et d’audit rencontrent des difficultés à appliquer des critères cohérents lors de la vérification de la sécurité des systèmes d’IA. Quatrièmement, cela crée des obstacles à la mise en place de systèmes de formation et de certification pour les spécialistes du red-teaming.

La diversité des modèles de menace complique également la normalisation. Les menaces pesant sur les systèmes d’IA varient considérablement selon le cas d’usage, l’environnement de déploiement, la population d’utilisateurs et la sensibilité des données. Par exemple, le modèle de menace d’un chatbot de service client se concentre principalement sur les réponses inappropriées, les fuites d’informations personnelles et les atteintes à la réputation de la marque, tandis que celui d’une IA d’aide au diagnostic médical porte sur le risque de mauvais diagnostic, la sécurité des patients, la conformité réglementaire et la sécurité des données. Cette dépendance au contexte rend difficile la définition d’une norme unique de red-teaming.

La fragmentation de l’écosystème d’outils ajoute aux difficultés de normalisation. Les outils actuellement utilisés pour le red-teaming de l’IA comprennent des cadres open source, des plateformes commerciales et des scripts développés sur mesure, chacun prenant en charge des vecteurs d’attaque, des métriques d’évaluation et des formats de sortie différents. Certains outils sont spécialisés dans les tests d’injection de prompt, tandis que d’autres se concentrent sur la mesure des biais des modèles ou la génération d’exemples adversariaux. Ce manque d’interopérabilité entre les outils crée des obstacles à la conduite d’évaluations complètes de red-teaming.

Néanmoins, l’importance du red-teaming de l’IA continue de croître. Les cadres réglementaires de l’IA dans de grandes juridictions, notamment les États-Unis, l’Union européenne et le Royaume-Uni, exigent des évaluations de sécurité avant déploiement, et le red-teaming est considéré comme l’une des approches centrales pour satisfaire à ces exigences. En outre, à mesure que les capacités des grands modèles de langage (LLM) s’étendent, les risques inattendus augmentent, ce qui rend l’évaluation adversariale systématique plus nécessaire.

Des mouvements précoces vers la normalisation sont également observables. Le National Institute of Standards and Technology (NIST) des États-Unis a publié un AI Risk Management Framework, et certains consortiums industriels ainsi que des institutions de recherche élaborent des lignes directrices de red-teaming. Toutefois, ces efforts en sont encore à un stade précoce, et leur adoption à grande échelle ainsi que leur intégration pratique nécessiteront probablement du temps.

Les organisations de développement de l’IA ne devraient pas attendre l’établissement de normes, mais adopter activement les meilleures pratiques actuellement disponibles et renforcer leurs capacités internes de red-teaming. Cela inclut la définition des modèles de menace, la conception de scénarios d’attaque diversifiés, la combinaison d’outils automatisés avec une évaluation manuelle, la documentation systématique des résultats d’évaluation et la mise en place de processus de priorisation et de remédiation des vulnérabilités découvertes. Les organisations peuvent également garantir l’indépendance et la diversité de l’évaluation par la collaboration avec des experts externes du red-teaming, l’exploitation de programmes de bug bounty et la participation à des évaluations fondées sur la communauté.

L’analyse du CSET met en lumière une lacune critique dans l’écosystème de la sécurité de l’IA. Alors que le red-teaming est de plus en plus reconnu comme essentiel au déploiement responsable de l’IA, l’absence d’approches normalisées crée de l’incertitude pour les concepteurs, les opérateurs et les régulateurs. Les organisations qui investissent dès maintenant dans des processus de red-teaming robustes, même en l’absence de normes formelles, seront mieux placées pour répondre à l’évolution des exigences réglementaires et maintenir la confiance des utilisateurs. Le développement de cadres communs, d’outils partagés et de méthodes d’évaluation interopérables sera essentiel pour étendre les pratiques de sécurité de l’IA à l’ensemble du secteur.

La variabilité des pratiques de red-teaming reflète également le caractère encore naissant de la sécurité de l’IA en tant que discipline. Contrairement à la sécurité logicielle traditionnelle, où des décennies d’expérience ont produit des approches de test et des classifications de vulnérabilités établies, la sécurité de l’IA est encore en train de développer ses concepts fondamentaux. Le red-teaming des systèmes d’IA doit traiter non seulement les vulnérabilités techniques, mais aussi les risques comportementaux, les défaillances d’alignement et les capacités émergentes qui peuvent ne pas être prévisibles à partir des seules données d’entraînement ou de l’architecture du modèle. Cette complexité exige des approches d’évaluation à la fois rigoureuses et adaptables.

Pour les organisations qui construisent des systèmes d’IA, le paysage actuel présente à la fois des défis et des opportunités. L’absence de normes prescriptives permet une certaine flexibilité pour adapter les approches de red-teaming à des cas d’usage et à des profils de risque spécifiques. Toutefois, cette flexibilité impose également aux concepteurs la responsabilité de veiller à ce que leurs méthodes d’évaluation soient complètes et défendables. La documentation des processus de red-teaming, des modèles de menace et des actions de remédiation sera essentielle pour démontrer la diligence raisonnable auprès des régulateurs, des clients et des autres parties prenantes.

La maturité des approches d’évaluation devrait évoluer au fil du temps. Les premiers efforts de red-teaming se concentraient principalement sur les défaillances de sécurité les plus évidentes et sur les sorties nuisibles faciles à provoquer. Cependant, à mesure que les systèmes d’IA deviennent plus sophistiqués et sont déployés dans des contextes plus larges, les évaluations doivent traiter les biais subtils, la dérive comportementale à long terme, les interactions multimodales et les risques au niveau du système. Cela nécessite des approches interdisciplinaires combinant tests techniques, recherche en sciences sociales et expertise sectorielle.