Security awareness meten: kijk verder dan afgeronde trainingen

Wat je meeneemt

• Leg elke teller, noemer, tijdspanne en uitsluitingsregel vooraf nauwkeurig vast.
• Houd deelname, prestaties in oefeningen, kennisretentie en werkvloergedrag strikt gescheiden.
• Vergelijk uitsluitend scenario's met een vergelijkbare moeilijkheidsgraad en licht inhoudelijke verschillen toe.
• Gebruik meetresultaten om leertrajecten en werkprocessen te verbeteren; vermijd claims over incidentreductie die niet onderbouwd kunnen worden.

1. Begin bij het besluit en de evaluatievraag

Stel dat het gewenste gedrag is: verifieer een ongebruikelijk betaalverzoek altijd via een bestaand, vertrouwd contactkanaal. De evaluatievraag is dan: kunnen medewerkers van de financiële administratie die route zelfstandig kiezen in een gewijzigd scenario na afloop van de sessie? Vervolgens ontwerpt u de casus, legt u de eerste zelfstandige handeling vast en toetst u de onderbouwing aan de hand van een heldere beoordelingsschaal. Dat levert aanzienlijk meer stuurinformatie op dan louter vragen of de sessie als prettig werd ervaren.

Volgens NIST SP 800-50 Rev. 1 vormen evaluatie en gerichte metrieken een vast onderdeel van een professioneel leerprogramma. Gebruik meetresultaten om concrete verbeteringen door te voeren: herschrijf een onduidelijke instructie, pas een ontoegankelijke activiteit aan of vul een ontbrekende contactenlijst aan. Een metriek die geen enkele praktische consequentie heeft voor programma- of procesbesluiten, hoeft u vaak niet eens te verzamelen.

Afbeelding vergroten · Schermafbeelding uit het spel · Engelse interface

1. Vergelijk de gewijzigde gegevens

   Controleer welke betalingsgegevens zijn gewijzigd en of het verzoek overeenkomt met de verwachte factuur en werkzaamheden.

2. Vergelijk met vertrouwde factuurgegevens

   Vergelijk met een vertrouwde factuur en verifieer gewijzigde bankgegevens vervolgens via de eerder vastgelegde contactpersoon bij de leverancier.

Bronnen bij dit onderdeel: Een leerprogramma voor cybersecurity en privacy opzetten, NIST SP 800-50r1

2. Hanteer een metriekenoverzicht vóór u een dashboard inricht

De onderstaande definities dienen als praktisch uitgangspunt voor een intern evaluatieplan. Leg altijd vast wat de meeteenheid is: een medewerker, toewijzing, sessie of bericht. Een deelnemer kan voor één toewijzing immers meerdere spelsessies starten; aantallen sessies en unieke medewerkers zijn niet uitwisselbaar. Documenteer de meetperiode en deelnamevoorwaarden altijd direct naast het cijfer.

3. Beoordeel afronding vóór u conclusies trekt over leerresultaten

Een lage afronding kan te wijten zijn aan onduidelijke uitnodigingen, ploegendiensten, ontoegankelijke interfaces, langdurig verlof of ontbrekende apparaten. Maak een helder onderscheid tussen dergelijke organisatorische factoren en medewerkers die bewust stoppen tijdens een training. Bepaal de criteria voor deelname voorafgaand aan de meetperiode, zodat uitsluitingsgronden niet gaandeweg verschuiven om cijfers op te poetsen. Toon altijd absolute aantallen naast percentages, vooral bij kleinere teams.

Stel dat een module is toegewezen aan twintig medewerkers, van wie er twee met langdurig verlof zijn. Bepaal vooraf of zij meetellen in de noemer of een latere deadline krijgen, en pas die werkwijze consequent toe. Vergelijk dit percentage niet zomaar met een afdeling die een ander verzuimbeleid hanteert. Een cijfer krijgt pas betekenis wanneer de operationele context inzichtelijk is gemaakt.

4. Onderscheid eerste pogingen van begeleid oefenen

Een medewerker die na hints en meerdere herkansingen slaagt, heeft waardevolle oefentijd doorgemaakt, maar het eindresultaat staat niet gelijk aan een zelfstandige, foutloze eerste reactie. Houd deze gegevens gescheiden zodra de leervorm dat toelaat. Kan dat technisch niet, rapporteer de beschikbare gegevens dan zuiver en construeer geen kunstmatige statistiek over een eerste poging.

Stel voor open antwoorden een beknopt beoordelingskader op. Bij een verdacht betaalverzoek benoemt een compleet antwoord bijvoorbeeld de ongebruikelijke wijziging, kiest men een geverifieerd intern contactgegeven en vraagt men de vereiste akkoorden aan vóór uitvoering. Een gedeeltelijk passend antwoord herkent weliswaar onraad, maar probeert dit te verifiëren via hetzelfde, niet-geverifieerde bericht. Laat oefenleiders vooraf een paar fictieve voorbeelden kalibreren, zodat de beoordeling uniform verloopt.

Afbeelding vergroten

5. Houd rekening met de moeilijkheidsgraad van scenario's

De NIST Phish Scale biedt een duidelijke methodiek om in te schatten hoe lastig een phishingmail menselijkerwijs te herkennen is. De schaal kijkt naar visuele en inhoudelijke aanwijzingen en hoe geloofwaardig de context aansluit bij het werk van de ontvanger. Een generiek winactiebericht en een doordachte, gerichte mail over een leveranciersbetaling zijn geen gelijkwaardige meetinstrumenten. Alleen sturen op klikpercentages levert daardoor een vertekende vergelijking op.

Breng bij andere simulaties de factoren in kaart die de moeilijkheidsgraad bepalen: beschikbare informatie, tijdsdruk, herkenbaarheid, type apparaat, taalgebruik en hoe aannemelijk de keuzes zijn. U hoeft geen wetenschappelijk gevalideerde moeilijkheidsscore te claimen als die er niet is. Wel moet u relevante verschillen kunnen duiden zodra u prestaties tussen versies of teams met elkaar vergelijkt.

Afbeelding vergroten · Schermafbeelding uit het spel · Engelse interface

1. Lees de gevraagde actie

   Stel vast wat het bericht vraagt voordat u afgaat op een bekende naam of weergave.

2. Verifieer via bekende contactpersonen

   Gebruik een vastgesteld contactkanaal om een onverwacht verzoek te verifiëren, zelfs als de afzender bekend lijkt.

Bronnen bij dit onderdeel: Gebruikershandleiding voor de NIST Phish Scale

6. Hanteer een compacte, transparante evaluatieopzet

Hieronder ziet u een praktische opzet voor het veilig verifiëren van betalingsgegevens. Leg deelnemers eerst een fictief nulmetingsverzoek voor en registreer hun eerste actie en toelichting. Behandel vervolgens de officiële werkprocedure en laat hen gericht oefenen met directe feedback. Bied later een aangepast scenario aan met vergelijkbare context en leg de nieuwe zelfstandige beslissing vast. Noteer daarbij steeds de gebruikte scenarioversie en het tijdsinterval.

Een gemeten verbetering toont aan hoe deelnemers binnen deze specifieke oefensituaties presteerden. Dit bewijst echter niet zonder meer een geïsoleerd trainingseffect: gewenning, parallelle communicatie, personeelswisselingen of proceswijzigingen kunnen net zo goed meespelen. Heeft de organisatie behoefte aan een hard causaal verband, zet dan vooraf met deskundige begeleiding een gerichte controlemeting en statistische analyse op.

7. Zie melden als een wisselwerking tussen medewerker en opvolging

Een stijging van het aantal meldingen kan wijzen op een sterkere meldcultuur, meer kwaadaardige berichten, een gebruiksvriendelijkere meldknop of een opvallende e-mailcampagne. Een daling kan juist het gevolg zijn van scherpere spamfilters of minder mailverkeer, en hoeft niet te betekenen dat medewerkers minder alert zijn. Plaats meldcijfers altijd in context en definieer wat een melding bruikbaar maakt. Onderscheid een binnengekomen melding van een afgerond incidentonderzoek en vraag medewerkers nooit om hard bewijs voor ze aan de bel trekken.

Houd ook rekening met de interne verwerkingscapaciteit. Als meldingen terechtkomen in een onbeheerde mailbox, lost sneller melden door medewerkers dat operationele knelpunt niet op. Meet of meldingen direct bij het juiste responsteam belanden en of melders een passende terugkoppeling krijgen. Werk met geautoriseerde werkplekregistraties met een helder doel en toegangsbeheer, in plaats van onnodig persoonlijke berichtinhoud op te slaan.

Afbeelding vergroten · Schermafbeelding uit het spel · Engelse interface

1. Vermeld tijdstip en apparaat

   Meld de waargenomen symptomen, het tijdstip en het getroffen apparaat via de goedgekeurde meldingsroute van de organisatie.

2. Onderscheid waarneming van diagnose

   Houd directe waarnemingen gescheiden van vermoedelijke oorzaken, zodat onderzoekers niet met een voorbarige aanname als feit werken.

8. Raadpleeg onderzoek dat eenvoudige succesclaims relativeert

In een preprintstudie van Rozema en Davis, gebaseerd op een grootschalig onderzoek bij een Amerikaans fintechbedrijf, werden geen significante hoofdeffecten van de getoetste trainingen op klik- of meldfrequenties vastgesteld; de complexiteit van de phishingmails voorspelde het gedrag daarentegen wel. Deze uitkomsten hebben betrekking op die specifieke studie en onderzochte methoden. Ze vormen geen oordeel over CyberPlay en bewijzen evenmin dat elk type trainingsopzet identieke resultaten oplevert.

De belangrijkste les is dat we aannames kritisch moeten blijven toetsen. Hoge betrokkenheid, een vlekkeloze afronding en een aansprekende interface maken zorgvuldige evaluatie niet overbodig. Bestudeer de trainingsopzet, de doelgroep, de definitie van uitkomsten en de methodologische beperkingen voordat u onderzoeksresultaten overneemt. Een pakkende nieuwskop alleen rechtvaardigt geen productbelofte, ongeacht of die trainingen ophemelt of juist afkraakt.

Bronnen bij dit onderdeel: Antiphishingtraining werkt (nog steeds) niet: een grootschalige replicatiestudie

9. Weet wat CyberPlay-gegevens wel en niet kunnen aantonen

Het sessiemodel van CyberPlay registreert de status en uitkomsten van spelsessies, waaronder scores, eventuele slagingsindicaties en modulespecifieke parameters. Dit zijn registraties van een educatieve activiteit. Welke gegevens beschikbaar zijn en hoe deze geïnterpreteerd moeten worden, hangt af van het specifieke spel en de account- of organisatierechten; een veld in het datamodel betekent niet dat elk spel identieke data aanlevert.

Beschouw een score, voortgang of voltooide sessie binnen een spel als bewijs over die specifieke leeractiviteit. Een los, gewijzigd scenario blijft noodzakelijk om toepassing op termijn te toetsen. Werkplekgedrag rond het melden van phishing en bredere bedrijfsresultaten vereisen aparte, geautoriseerde gegevensverzameling. Concludeer op basis van een spelscore nooit dat een medewerker een daadwerkelijke aanval heeft afgeslagen, en vertaal dit niet zomaar naar een becijferde vermindering van het organisatierisico.

10. Deel een compacte rapportage inclusief de beperkingen

Een doordachte maandrapportage vermeldt het doel, de doelgroep, de gebruikte scenarioversies, de deelname, de gemaakte keuzes en de afgesproken vervolgstappen. Benoem de belangrijkste inhoudelijke beperking direct naast het resultaat. Gebruik bij kleine groepen absolute aantallen en kwalitatieve observaties in plaats van misleidende percentages. Zorg dat individuele prestaties alleen inzichtelijk zijn voor wie daar vanuit de vastgestelde doeleinden toegang toe moet hebben.

• Welke beslissing of welk gedrag wilde het programma ondersteunen?
• Wie behoorde tot de doelgroep en wie had feitelijk toegang tot de activiteit?
• Welke poging, scenarioversie en meetperiode hebben dit resultaat opgeleverd?
• Wat toont het verzamelde bewijs aan, en wat is hiermee níét gemeten?
• Welke aanpassing in werkprocessen of leertrajecten vloeit hieruit voort?
• Wie is eigenaar van deze actie en wanneer vindt de evaluatie plaats?

Breng de aanpak in de praktijk

Doorloop een phishingscenario en bepaal één observeerbare handeling die u los van voltooiing of eindscore kunt evalueren. Leg bij vergelijkingen ook de gebruikte taalversie vast en kies via de spelpagina een geschikte oefening in het Nederlands.

Bronnen en verder lezen

1. Een leerprogramma voor cybersecurity en privacy opzetten, NIST SP 800-50r1 — NIST. Geraadpleegd op 2026-09-13
2. Gebruikershandleiding voor de NIST Phish Scale — NIST. Geraadpleegd op 2026-09-13
3. Antiphishingtraining werkt (nog steeds) niet: een grootschalige replicatiestudie — Wetenschappelijke preprint, arXiv. Geraadpleegd op 2026-09-13

Lees verder

• Security-awarenessplan: een jaarkalender met praktische oefeningen

  Gebruik een aanpasbare jaarkalender voor security awareness met duidelijke beslismomenten, rolgerichte sessies, nabesprekingen, eigenaren en nuttige evaluaties.

  NL · 8 min leestijd
• Microlearning voor security awareness: een korte oefensessie ontwerpen

  Ontwerp microlearning voor security awareness: oefen één herkenbare beslissing, geef gerichte feedback en toets het geleerde later in een andere situatie.

  NL · 9 min leestijd
• Spelenderwijs leren of gamification bij security awareness: wat is het verschil?

  Vergelijk game-based learning, gamification en vertakkende scenario's in security awareness via één praktisch leerdoel, onderzoeksbeperkingen en een werkblad.

  NL · 8 min leestijd
• Human risk management meten: van CyberSense naar gerichte begeleiding

  Lees dekking, CyberSense en leerprioriteiten per afdeling. Een rekenvoorbeeld helpt passende oefeningen kiezen, medewerkers begeleiden en resultaten beoordelen.

  NL · 7 min leestijd
• Security-awarenessspellen voor medewerkers: oefenen in het Nederlands

  Kies security-awarenessspellen in het Nederlands: vergelijk leervormen, controleer feedback en toegankelijkheid en bespreek veilige keuzes met medewerkers.

  NL · 9 min leestijd
• Phishingtraining met spellen: beslissingen rond verdachte berichten oefenen

  Gebruik phishing training spellen om inspectie, onafhankelijke verificatie en melding te oefenen. Inclusief een fictief leveranciersbericht en een praktisch sessieplan.

  NL · 9 min leestijd