Test d’intrusion d’application d’IA générative et de LLM
Savoir ce qu’un utilisateur malveillant peut faire dire et faire faire à votre assistant.
Réponse courte
Pentest IA et LLM : de quoi s’agit-il, pour qui, à quel prix ?
Audit offensif d’assistants, d’agents et d’applications à base de recherche documentaire (RAG) construits sur un modèle de langage : injection de prompt, fuites de données, outils trop permissifs, sorties non filtrées. Durée indicative : 3 à 10 jours selon le nombre d’outils et de sources de données. Prix : sur devis, après un cadrage gratuit. Reconmind conduit la mission depuis Paris, sur site en Île-de-France et à distance ailleurs.
Un modèle de langage reçoit dans un même flux les consignes de l’application et les données à traiter, sans séparation étanche entre les deux. Tout texte qu’il lit, qu’il s’agisse d’une page web, d’un e-mail, d’un PDF ou d’un ticket, peut donc contenir des instructions qu’il suivra. C’est la différence de nature avec une injection SQL : définition classique, où le paramétrage sépare nettement le code de la donnée.
La mission teste l’application entière, pas seulement le modèle : consignes système, recherche documentaire et contrôle d’accès aux documents, outils et fonctions accessibles à l’assistant, traitement de ses sorties, journalisation, quotas. Nous cherchons ce qu’un attaquant obtient réellement : les données d’un autre utilisateur, une action exécutée avec les droits de l’agent, une consommation de ressources détournée.
Les réponses d’un modèle varient d’un essai à l’autre : chaque scénario est donc rejoué plusieurs fois et son taux de réussite noté, plutôt qu’une capture isolée. Nous ne promettons pas d’éliminer l’injection de prompt : définition, car aucune parade connue n’y suffit. Le rapport vise l’essentiel : réduire ce qu’un assistant détourné peut faire, par l’architecture, les droits accordés et la validation des actions sensibles.
En résumé
- Durée indicative
- 3 à 10 jours selon le nombre d’outils et de sources de données
- Prix
- sur devissur devis après cadrage : le prix dépend du nombre d’outils, de sources de données et de rôles testés
- Référentiels appliqués
- OWASP Top 10 pour les applications LLMMITRE ATLASNIST AI Risk Management FrameworkANSSI, recommandations de sécurité pour un système d’IA générativeOWASP WSTG
Mission conduite sous autorisation écrite, avec accord de confidentialité et clause d’arrêt immédiat.
Réponse à toute demande sous 24 h ouvrées.
Pentest IA et LLM : que couvre la mission ?
Le détail exact est fixé au cadrage, en fonction de votre contexte. Les axes traités systématiquement sont listés ci-dessous.
Injection de prompt directe et indirecte
Consignes détournées par l’utilisateur, ou cachées dans des documents, pages web, e-mails et fichiers que l’assistant traite. Contournement des garde-fous et des filtres.
Fuite de données et cloisonnement
Accès aux documents d’autres utilisateurs via la recherche documentaire, mémoire partagée entre sessions, informations sensibles contenues dans le contexte ou les consignes.
Outils, fonctions et agents
Droits accordés aux outils, actions irréversibles, confirmations humaines, enchaînement d’appels, accès aux API internes avec les droits de l’agent.
Traitement des sorties
Rendu du texte généré dans l’interface (scripts, liens, images distantes qui exfiltrent des données), exécution de code ou de requêtes déduits de la sortie.
Consignes système et secrets
Extraction des consignes, secrets ou clés placés dans le contexte, informations internes qui ne devraient jamais être à la portée du modèle.
Consommation et abus
Boucles d’agents, requêtes coûteuses, contournement des quotas, abus du service pour un autre usage que celui prévu, journalisation des requêtes suspectes.
Pentest IA et LLM : que livre la mission ?
- Rapport technique avec les scénarios rejoués, leur taux de réussite et l’impact démontré
- Cartographie des flux de données et des droits accordés à chaque outil
- Recommandations d’architecture : droits minimaux, cloisonnement, validations humaines
- Jeu de scénarios de test à rejouer à chaque changement de modèle ou de consignes
- Restitution avec les équipes produit et sécurité
- Une passe de vérification des correctifs incluse
Qu’est-ce que cela change pour vous ?
- Une liste de ce qu’un assistant détourné peut atteindre, avant qu’un utilisateur ne le découvre
- Des droits d’outils ramenés au strict nécessaire, avec des validations aux bons endroits
- Un jeu de tests réutilisable pour surveiller les régressions à chaque évolution
Vérification des correctifs incluse
Une passe de contrôle rejoue les preuves d’origine jusqu’à trois mois après le rapport, et produit une attestation de correction.
Pentest IA et LLM : pour qui est-ce utile ?
- Entreprises qui déploient un assistant interne branché sur des documents, la messagerie ou des outils métier
- Éditeurs qui intègrent un agent ou un chatbot dans leur produit SaaS
- Organisations qui exposent un assistant à leurs clients ou au public
- Équipes sécurité qui doivent donner un avis avant la mise en production d’un projet d’IA générative
Votre situation ne figure pas dans cette liste ? Le cadrage tranchera : il nous arrive de recommander une autre prestation, ou d’attendre.
Pentest IA et LLM : combien de temps dure la mission ?
Durée indicative : 3 à 10 jours selon le nombre d’outils et de sources de données. Les 6 étapes de cette mission, dans l’ordre.
- 01
Cadrage et périmètre
Définir ce qui est testé, ce qui est exclu, et ce qu’une réussite signifierait pour vous.
- 02
Autorisation et règles d’engagement
Aucune requête n’est émise avant une autorisation écrite nominative sur un périmètre explicite.
- 03
Reconnaissance et cartographie
Établir la surface réelle, presque toujours plus large que l’inventaire fourni.
- 04
Tests et exploitation
Vérifier les vulnérabilités connues, puis chercher ce qu’aucun outil ne trouve.
- 05
Rapport et restitution
Deux lectures : une synthèse de décision, un rapport technique actionnable.
- 06
Vérification des correctifs
Vérifier que ce qui a été corrigé l’est bien, sans régression.
Qu’est-ce qui est vérifiable avant de signer ?
Nous n’annonçons ni certification, ni nom de client, ni chiffre que nous ne saurions pas montrer. Le détail est écrit une seule fois, sur deux pages.
- Autorisation écrite avant toute requêteNominative, sur un périmètre et une période écrits. Hors périmètre, rien n’est sondé.
- Accord de confidentialité systématiqueLes éléments collectés sont chiffrés, conservés le temps convenu au contrat, puis détruits.
- Arrêt immédiat sur simple demandeUn contact que vous désignez peut interrompre la mission par un seul message, sans justification.
- Chaque constat est reproduitCe qui ne peut pas être reproduit passe en observation, il n’entre pas dans la liste des vulnérabilités.
- Vérification des correctifs incluseJusqu’à trois mois après le rapport, avec une attestation de correction.
- Un exemple de rapport à lireLa structure réelle d’un rapport, sur un exemple entièrement fictif.
Comment démarrer cette mission ?
Trois étapes, et le cadrage est gratuit et sans engagement.
- 1
Vous décrivez le périmètre
Un formulaire court ou un e-mail suffit : ce que vous voulez faire tester, et pourquoi maintenant.
- 2
Nous répondons avec un créneau
Réponse à toute demande sous 24 h ouvrées, avec une proposition de créneau de cadrage.
- 3
Le cadrage débouche sur un devis
Cette prestation se chiffre sur devis : le prix se fixe pour votre périmètre, après le cadrage.
Pentest IA et LLM : ce qu’on nous demande
Peut-on supprimer complètement le risque d’injection de prompt ?
Non, aucune méthode connue ne le fait à ce jour, et un prestataire qui l’affirme se trompe ou vous trompe. Les filtres réduisent la fréquence des attaques simples, sans arrêter les attaques adaptées. La protection solide consiste à limiter ce qu’un assistant détourné peut faire : droits réduits sur les outils, données cloisonnées par utilisateur, validation humaine des actions sensibles, sorties traitées comme non fiables.
Testez-vous le modèle lui-même ou notre application ?
Votre application. Le modèle d’un fournisseur est un composant que vous n’avez pas écrit et que nous ne cherchons pas à évaluer en laboratoire. Ce qui compte pour vous est ce que votre assemblage permet : consignes, documents, outils, droits, rendu des réponses. Nous testons aussi la sensibilité du modèle aux détournements, parce qu’elle conditionne les mesures à prévoir autour.
Notre assistant repose sur un modèle d’un grand fournisseur : un test est-il utile quand même ?
Oui, parce que les défauts les plus graves sont presque toujours dans l’intégration, pas dans le modèle. Un assistant branché sur la messagerie, des documents ou des API internes hérite de leurs droits. Un fournisseur sérieux sécurise son modèle, mais il ne sait pas quelles données vous lui donnez ni quelles actions vous lui autorisez. Cette partie vous appartient et c’est elle que nous testons.
Pouvez-vous tester un agent qui agit dans nos outils internes ?
Oui, sur un environnement de préproduction avec des données fictives, ce qui est la configuration recommandée. Les actions réelles et irréversibles (envoi de message, écriture, suppression) sont remplacées par des outils factices qui enregistrent ce que l’agent aurait fait. Si seule la production existe, les règles d’engagement fixent par écrit les actions exclues et les comptes utilisés.
Pour comprendre avant de décider
- ArticleSécurité des applications d’IA générative : comprendre l’injection de promptInjection de prompt, fuite de données, agents trop permissifs : les risques d’une application fondée sur un modèle de langage, et comment en limiter les effets.
- ArticleTest d’intrusion d’une application mobile : méthode, périmètre et livrablesCe que couvre un test d’intrusion d’application iOS ou Android, comment le référentiel MASVS structure la mission et ce qu’il faut préparer avant de la commander.
Quelles prestations s’y associent ?
Pentest API
Les API portent les données et moins de garde-fous que les interfaces.
2 à 10 joursdès 1 290 €
Audit de code
Retrouver la ligne de code responsable et la raison pour laquelle elle a été écrite.
3 à 15 jours selon le volume de codedès 1 900 €
Pentest web
Savoir ce qu’un attaquant obtiendrait sur votre application.
2 à 15 jours selon le périmètredès 1 490 €
Réponse à toute demande sous 24 h ouvrées
Faire tester ce périmètre
Trente minutes de cadrage suffisent à savoir si « Pentest IA et LLM » correspond à votre besoin, sur quel périmètre, et ce que cela coûterait.
- Autorisation écrite obligatoire
- Accord de confidentialité systématique
- Vérification des correctifs incluse