Que doit contenir un rapport de test de sécurité IA utile ?

La cible et le périmètre du test d’abord

Le rapport doit préciser le fournisseur, le modèle ou l’endpoint, la date du test et la configuration accessible à l’évaluateur. Une métadonnée absente est une limite à documenter, pas une hypothèse à inventer.

Distinguez un test direct du modèle et un test de l’endpoint applicatif. N’en déduisez pas que les permissions RAG, le prompt système ou les outils ont été exercés si ce n’est pas le cas. Un catalogue référencé aux catégories OWASP n’est pas une certification OWASP.

Séparez attaques prévues, tentatives traitées et réponses évaluées

Les attaques prévues décrivent la demande. Les tentatives traitées indiquent l’avancement de l’exécution. Les réponses évaluées sont celles sur lesquelles un verdict a pu être calculé. L’authentification, les quotas fournisseur et les délais dépassés peuvent réduire la couverture utile.

Exemple fictif : un test traite 30 tentatives mais ne reçoit que 24 réponses évaluables. Si 6 de ces 24 réponses sont signalées, le taux observé est de 25 %, et non de 20 %. Les 6 tentatives non évaluables nécessitent une investigation. Sans réponse évaluable, le score et le taux doivent être indisponibles.

Couverture illustrative
Prévues : 30
Traitées : 30
Évaluées : 24
Signalées : 6
Non évaluables : 6
Taux de réussite observé : 6 / 24 = 25 %

Le score est une mesure, pas une garantie

Le score de base STAIPH provient du taux de réponses signalées pondéré par la sévérité. Le taux de réussite ordinaire divise les réponses signalées par les réponses évaluées. La pondération explique que le score ne corresponde pas nécessairement à 100 moins le taux non pondéré.

Les verdicts de base utilisent une détection automatisée des refus, avec des faux positifs et faux négatifs possibles. La revue complémentaire ARES, lorsqu’elle est disponible, est présentée séparément avec sa couverture réelle et ses désaccords. Elle ne transforme pas le rapport en audit humain ni en estimation d’une perte financière.

Chaque constat doit relier une preuve à une action

Un constat utile relie une entrée, une réponse observée et la frontière potentiellement franchie. Il montre la famille d’attaque, la sévérité, un extrait de réponse et la correction recommandée. Conservez assez de détails pour reproduire le cas sur une cible de test autorisée.

La recommandation doit correspondre à l’observation : retirer les secrets des instructions, traiter les documents récupérés comme non fiables, contrôler l’autorisation des outils hors du modèle ou vérifier le traitement des sorties. Après modification, rejouez le cas et les usages légitimes. Une recommandation ouvre une revue technique ; elle ne prouve pas que la correction fonctionne.

1. Vérifiez que la réponse citée étaye le constat.
2. Contrôlez que la cible reproduisait bien le contrôle applicatif concerné.
3. Choisissez le responsable et la correction, puis conservez un test de régression.
4. Réévaluez après déploiement et gardez les preuves des deux exécutions.

Aperçu, rapport ponctuel et Pro : trois usages distincts

L’aperçu gratuit exécute 30 attaques du catalogue avec rapport privé et PDF. L’accès invité dure 24 heures après la première ouverture, dans les 30 jours suivant le test. Votre fournisseur facture les appels au modèle séparément.

L’offre ponctuelle à 49 € comprend une analyse unique des 571 attaques, son PDF et 12 mois d’accès privé au rapport. Lancez l’aperçu, payez depuis le rapport, puis saisissez de nouveau votre clé après confirmation. L’analyse complète remplace l’aperçu sur le même lien. Elle n’active ni abonnement ni monitoring.

Pro coûte 99 € HT par mois et ajoute les analyses répétées, l’historique et l’évaluation de traces de production après intégration. Un nouveau client éligible peut utiliser l’essai configuré de 3 jours. Gardez les liens privés et les clés fournisseur hors des tickets publics et des publications sociales.

Un exemple de rapport à examiner

Exemple fictif de 30 attaques. Les réponses ci-dessous illustrent la présentation et ne constituent pas un résultat client.