Indicateurs de formation à la cybersécurité : mesurer au-delà de la participation

Les points à retenir

• Définissez chaque numérateur, dénominateur, fenêtre temporelle et critère d'exclusion.
• Distinguez participation, performance dans l'activité, rétention et comportement au travail.
• Comparez des scénarios de difficulté équivalente et explicitez les écarts.
• Exploitez les résultats pour perfectionner l'apprentissage et les processus, sans allégations infondées de réduction des brèches.

1. Commencer par la décision opérationnelle et la question d'évaluation

Supposons que le comportement visé consiste à vérifier toute modification inhabituelle de coordonnées bancaires via un contact fiable déjà établi. La question d'évaluation pourrait être : les participants de l'équipe financière choisissent-ils ce canal dans un scénario modifié après la session ? Vous pouvez alors concevoir la mise en situation, consigner la première décision et évaluer le raisonnement à l'aide d'une grille simple. Cette démarche est bien plus instructive que de mesurer la simple popularité de la session.

La publication NIST SP 800-50 Rev. 1 intègre l'évaluation et les indicateurs au sein d'un programme de formation pérenne. Exploitez les résultats pour décider des ajustements à apporter : une consigne ambiguë, une activité inaccessible ou un annuaire de contacts manquant. Un indicateur qui n'entraîne aucune conséquence concrète sur les décisions du programme ne mérite sans doute pas d'être recueilli.

Agrandir l’image · Capture du jeu · Interface en anglais

1. Comparer les détails modifiés

   Vérifiez quels détails de paiement ont changé et si la demande correspond à la facture et au travail attendus.

2. Comparer une facture fiable

   Comparez avec une facture fiable, puis vérifiez les changements bancaires auprès du contact fournisseur déjà enregistré.

Sources de cette section: Construire un programme de formation à la cybersécurité et à la protection de la vie privée — SP 800-50, révision 1

2. Établir un répertoire d'indicateurs avant de concevoir un tableau de bord

Les définitions ci-dessous sont des exemples destinés à un plan d'évaluation interne. Précisez si l'unité retenue est une personne, une attribution, une session ou un message. Un apprenant pouvant lancer plusieurs sessions de jeu pour une même tâche assignée, le nombre de sessions et le nombre de collaborateurs ne sont pas interchangeables. Documentez la période d'observation et les règles d'éligibilité en regard de chaque chiffre.

3. Interpréter la complétion avant d'analyser l'apprentissage

Un faible taux de complétion peut découler d'invitations confuses, d'horaires d'équipes décalés, de contrôles d'accès bloquants, de congés ou d'équipements indisponibles. Distinguez ces causes du cas où un utilisateur entame l'activité puis décide de l'interrompre. Fixez une règle d'éligibilité avant la période de reporting afin d'éviter que les exclusions ne soient ajustées en silence pour embellir un chiffre. Affichez toujours l'effectif brut à côté du pourcentage, en particulier pour les petites équipes.

Par exemple, une session destinée à vingt personnes peut compter deux collaborateurs en congé prolongé. Décidez s'ils doivent demeurer dans le dénominateur actuel ou recevoir une échéance ultérieure, et justifiez ce choix de manière constante. Ne comparez pas le pourcentage obtenu avec celui d'une autre équipe appliquant des règles d'absence différentes. Une donnée chiffrée ne devient interprétable que lorsque son contexte opérationnel est clarifié.

4. Distinguer les premières tentatives des entraînements guidés

Un apprenant qui reçoit des indices et recommence jusqu'à réussir effectue une pratique utile, mais ce résultat final ne correspond pas à une première décision prise en toute autonomie. Maintenez ces états distincts lorsque l'activité le permet. Si ce n'est pas le cas, décrivez le résultat disponible en toute transparence au lieu de reconstituer artificiellement un indicateur de première tentative non documenté.

Rédigez une grille synthétique pour apprécier les explications. Dans le cas d'une demande de modification bancaire, une réponse complète pointera l'anomalie, choisira un contact issu d'un annuaire établi et obtiendra la validation requise avant toute action. Une réponse partielle reconnaîtra un doute mais mènera la vérification au sein du même fil de discussion non fiable. Invitez les formateurs à calibrer quelques réponses fictives avant la notation pour garantir une application uniforme du barème.

Agrandir l’image

5. Prendre en compte le niveau de difficulté des scénarios

L'échelle NIST Phish Scale fournit une méthodologie pour évaluer la difficulté de détection humaine des courriels de phishing. Elle prend en compte les indices observables ainsi que l'alignement du prétexte avec le contexte du destinataire. Un faux gain de loterie générique et une demande urgente émanant d'un fournisseur habituel ne constituent pas des tests interchangeables. Comparer des taux de clics bruts d'une campagne à l'autre sans cette nuance peut induire en erreur.

Pour les autres types de scénarios, documentez les facteurs susceptibles d'influer sur la difficulté : informations accessibles, pression temporelle, familiarité du contexte, appareil utilisé, langue et vraisemblance des choix proposés. Nul besoin de revendiquer un score de difficulté validé scientifiquement s'il n'existe pas. En revanche, vous devez expliciter les écarts notables dès lors que vous comparez des performances entre différentes versions ou équipes.

Agrandir l’image · Capture du jeu · Interface en anglais

1. Lire l'action demandée

   Identifiez ce que le message vous demande de faire avant de vous fier à son nom ou son apparence familiers.

2. Vérifier via des contacts connus

   Utilisez un canal de contact établi pour vérifier une demande inattendue, même si l'expéditeur semble familier.

Sources de cette section: Échelle NIST de difficulté de détection du phishing

6. Adopter un dispositif d'évaluation sobre et transparent

Voici un modèle illustratif pour l'objectif de vérification des paiements. Soumettez aux participants une demande initiale fictive, puis enregistrez la première action ainsi que son raisonnement. Enseignez la procédure validée, puis laissez-les s'entraîner avec des retours explicatifs. Plus tard, présentez une nouvelle demande modifiée aux caractéristiques comparables et relevez la nouvelle réponse autonome. Conservez la version du scénario et l'intervalle de temps avec les résultats.

Une progression constatée permet d'étayer un constat sur la performance lors de ces exercices précis. Elle ne permet pas, à elle seule, d'isoler l'impact exclusif de la formation : l'effet de familiarité, des communications parallèles, des mouvements d'effectifs ou des améliorations de processus peuvent y contribuer. Si votre organisation exige une évaluation causale stricte, prévoyez un groupe de comparaison et un protocole d'analyse adaptés avec l'appui de spécialistes avant toute collecte.

7. Aborder le signalement comme un processus conjoint entre collaborateur et réponse opérationnelle

Une hausse des signalements peut traduire une meilleure vigilance, un volume accru de messages malveillants, un bouton de signalement plus ergonomique ou une simulation trop évidente. À l'inverse, une baisse peut provenir d'un meilleur filtrage en amont ou d'occasions plus rares, et non d'une baisse de discernement. Associez toujours les volumes au contexte et définissez ce qui caractérise un signalement exploitable. Distinguez la simple réception d'un signalement de la clôture d'une investigation, et évitez d'exiger des salariés qu'ils prouvent la malveillance avant d'oser signaler.

Évaluez également la capacité de traitement en aval. Si les alertes s'accumulent dans une boîte sans suivi régulier, inciter les collaborateurs à signaler plus vite ne résoudra pas ce goulet d'étranglement. Vérifiez que les signalements parviennent à la bonne équipe et que les collaborateurs reçoivent un accusé de réception utile lorsque cela est pertinent. Utilisez les registres professionnels autorisés, encadrés par des objectifs clairs et des règles d'accès strictes, plutôt que de stocker inutilement le contenu de correspondances personnelles.

Agrandir l’image · Capture du jeu · Interface en anglais

1. Indiquer l'heure et l'appareil

   Signalez les symptômes observés, leur heure d'apparition et l'appareil touché via le canal de signalement approuvé de l'organisation.

2. Distinguer l'observation du diagnostic

   Séparez les observations directes des causes supposées afin que les intervenants puissent enquêter sans prendre une première hypothèse pour un fait.

8. S'intéresser aux recherches remettant en cause les promesses d'efficacité faciles

Un preprint de recherche publié par Rozema et Davis, fondé sur une vaste étude au sein d'une entreprise américaine de technologies financières, n'a observé aucun effet principal significatif de ses modules de formation sur les taux de clics ou de signalement, tandis que la difficulté intrinsèque des courriels prédisait les comportements. Ces conclusions portent spécifiquement sur cette étude et les approches testées. Elles ne constituent ni une évaluation de CyberPlay, ni la preuve que tout format pédagogique produirait le même résultat.

Le véritable enseignement réside dans la nécessité de tester ses hypothèses. L'engagement des utilisateurs, de bons taux de complétion et une interface séduisante ne dispensent en rien d'une évaluation rigoureuse. Examinez la nature de l'intervention, la population étudiée, la définition des variables et les limites méthodologiques avant d'extrapoler une conclusion. Un titre d'article ne suffit jamais à justifier une promesse produit, qu'il encense la sensibilisation ou qu'il la critique.

Sources de cette section: La formation anti-phishing ne fonctionne (toujours) pas : réplication d’une étude à grande échelle

9. Savoir ce que les données CyberPlay peuvent et ne peuvent pas démontrer

Le modèle de session de CyberPlay consigne l'état et les résultats des sessions de jeu, y compris un pourcentage renseigné et un statut de validation le cas échéant, assortis d'indicateurs et de paramètres propres à chaque jeu. Il s'agit d'enregistrements relatifs à des activités d'apprentissage. Leur disponibilité et leur lecture dépendent du jeu retenu ainsi que de la vue du compte ou de l'organisation ; la présence d'un champ dans le modèle de données ne garantit pas que chaque jeu fournisse l'ensemble de ces informations.

Considérez le pourcentage, la progression ou la complétion d'une partie comme des éléments propres à cette activité. Un scénario distinct et modifié reste nécessaire pour évaluer la rétention et l'application différée. Quant au comportement réel de signalement du phishing au travail et aux répercussions sur l'activité, ils requièrent une collecte autorisée distincte. Il serait erroné de déduire d'un score de jeu qu'un salarié a déjoué une cyberattaque, ou de quantifier une baisse du risque global de l'entreprise sur cette seule base.

10. Publier un compte-rendu synthétique mentionnant ses limites

Un rapport mensuel pertinent expose l'objectif, le public visé, les versions des activités, la participation, les décisions observées et les actions correctives engagées. Mentionnez la principale limite méthodologique directement à côté des résultats. Pour les petites cohortes, privilégiez les effectifs réels et les observations qualitatives plutôt que des pourcentages aux variations artificiellement spectaculaires. Réservez l'accès aux résultats individuels aux seules personnes légitimes pour la finalité fixée.

• Quelle décision opérationnelle le programme devait-il soutenir ?
• Qui était éligible, et qui a réellement pu accéder à l'activité ?
• Quels tentative, version de scénario et intervalle de temps ont produit ce résultat ?
• Que révèlent concrètement les données, et qu'est-ce qui demeure non mesuré ?
• Quels ajustements de processus ou de formation vont en découler ?
• Qui est responsable de ces changements et quand seront-ils réévalués ?

Exercez une décision de votre travail

Choisissez une activité, vérifiez ses langues et définissez ce que mesure le résultat. Utilisez les explications en français pour distinguer participation, apprentissage et application au travail.

Sources et lectures complémentaires

1. Construire un programme de formation à la cybersécurité et à la protection de la vie privée — SP 800-50, révision 1 — NIST. Consulté le 2026-09-13
2. Échelle NIST de difficulté de détection du phishing — NIST. Consulté le 2026-09-13
3. La formation anti-phishing ne fonctionne (toujours) pas : réplication d’une étude à grande échelle — Prépublication de recherche, arXiv. Consulté le 2026-09-13

Poursuivez votre lecture

• Plan de formation à la cybersécurité : un calendrier pratique sur 12 mois

  Adoptez un calendrier de formation à la cybersécurité sur 12 mois : objectifs de décision, activités par métier, debriefs et suivi d'évaluation.

  FR · 11 min de lecture
• Microlearning en cybersécurité : concevoir une courte séance de pratique

  Concevez une courte séance de cybersécurité autour d’une décision, d’un retour utile et d’un rappel. Utilisez un déroulé complet pour animer la pratique.

  FR · 10 min de lecture
• Apprentissage par le jeu et gamification : que pratique le salarié ?

  Comparez jeu, gamification et scénario à embranchements avec un même objectif de sécurité. Examinez la recherche et utilisez une grille de sélection.

  FR · 10 min de lecture
• Indicateurs du risque humain : transformer CyberSense en plan d’accompagnement

  Interprétez couverture, CyberSense et priorités par service. Un exemple concret pour choisir les exercices, accompagner les collaborateurs et examiner les résultats.

  FR · 8 min de lecture
• Jeux de sensibilisation à la cybersécurité en français : comment choisir

  Choisissez des jeux de sensibilisation à la cybersécurité qui enseignent des décisions utiles au travail. Comparez les formats et évaluez vos sessions.

  FR · 11 min de lecture
• Jeux de formation au phishing : s’exercer à vérifier un message suspect

  Utilisez des jeux de formation au phishing pour vous entraîner à l'examen, à la vérification indépendante et au signalement. Inclut un message fournisseur fictif.

  FR · 10 min de lecture