Cyberattaques : quels risques menacent l’intelligence artificielle ?
Les intelligences artificielles sont des systèmes logiciels complexes, dont la démocratisation s’accompagne de l’apparition de nouvelles techniques d’attaque. L’ANSSI, Agence nationale de la sécurité des systèmes d’information, fait le point sur les principaux risques pesant sur l’IA.
L’Agence nationale de la sécurité des systèmes d’information, l’ANSII, a profité du Sommet pour l’action sur l’Intelligence Artificielle, à Paris, les 10 et 11 février dernier, pour dévoiler les résultats d’une étude portant sur les risques spécifiques au monde de l’IA.
Risque 1 : l’empoisonnement des modèles
Le premier risque identifié par l’agence est l’empoisonnement des modèles d’IA. L’ANSSI donne un exemple concret de ce que pourrait être un empoisonnement volontaire d’une IA : lors de l’entraînement d’un système de vision par ordinateur chargé d’analyser des images de vidéosurveillance, l’attaquant va introduire, dans le modèle, des données qui permettront aux personnes portant une tenue d’une certaine couleur de ne pas déclencher l’alarme. Une faille qui sera particulièrement difficile à détecter.
Un article publié en janvier 2025 dans la revue Nature montre combien la qualité des données servant à entraîner une IA est cruciale. Dans le secteur de la santé, les chercheurs expliquent que remplacer 0,001% des données d’entraînement par des informations médicales erronées suffit à rendre une IA susceptible de prendre de mauvaises décisions, réduisant ainsi les chances de guérison des patients. Si des solutions permettent de réduire ce risque, cette étude montre qu’un modèle d’IA peut rapidement dériver, que ce soit de manière involontaire… ou non.
Risque 2 : l’extraction de données confidentielles
Un modèle d’intelligence artificielle est entraîné à partir de données, mais ne contient pas ces données. En d’autres termes, une IA entraînée à partir des ouvrages des grands auteurs de la littérature française pourra reformuler un texte en adoptant le style de Victor Hugo, mais son modèle seul ne lui permettra pas de citer mot pour mot un livre de Victor Hugo.
Cependant, l’ANSSI rappelle qu’en interrogeant habilement une IA, il est parfois possible de remonter à des informations sensibles, comme des données comptables ou la formule d’un produit.
Demander le chiffre d’affaires moyen d’une agence immobilière ne vous permettra pas de remonter aux données relatives à telle ou telle vente. Mais en multipliant les critères dans votre requête (période, zone géographique, surface…), le nombre de transactions correspondant finira par tomber à un moment. Des requêtes habiles peuvent donc permettre de remonter jusqu’à des informations précises, qui auraient dû rester confidentielles. Il est essentiel de savoir détecter et bloquer de telles tentatives d’intrusion ou de manipulation.
Des risques dont il sera difficile de se prémunir
L’ANSSI cite d’autres risques, comme l’évasion, qui permet de contourner les analyses faites par les IA. Une personne mal intentionnée va, par exemple, modifier les paramètres d’un virement, afin qu’il ne soit pas catégorisé comme frauduleux par le système de vérification de l’entreprise. Nous retombons ici dans le classique jeu du chat et de la souris, avec d’un côté les fraudeurs et de l’autre les systèmes chargés de les détecter.
L’agence rappelle enfin « [qu’] il est important de noter la difficulté particulière d’identifier la cause à la racine d’une erreur ou d’un comportement inattendu dans l’IA ». Une AI qui donne une mauvaise réponse n’est pas forcément la cible d’une attaque. Elle peut tout simplement avoir été mal entraînée ou être incorrectement utilisée.
Améliorer les modèles, former les utilisateurs, surveiller la qualité des réponses, effectuer une veille sur les nouveaux risques sont donc autant d’éléments à intégrer dans le cycle de vie des intelligences artificielles.
David FEUGEY