Mierniki szkoleń z cyberbezpieczeństwa: więcej niż ukończenie

Najważniejsze wnioski

• Zdefiniuj każdy licznik, mianownik, okno czasowe oraz kryteria wykluczenia.
• Rozdziel uczestnictwo, wyniki w trakcie ćwiczenia, retencję wiedzy oraz zachowania w miejscu pracy.
• Porównuj scenariusze o zbliżonym poziomie trudności i opisuj występujące różnice.
• Wykorzystuj wyniki do doskonalenia szkoleń i procesów; unikaj bezpodstawnych twierdzeń o redukcji liczby naruszeń.

1. Zacznij od decyzji i pytania ewaluacyjnego

Załóżmy, że pożądanym zachowaniem jest weryfikacja nietypowej zmiany danych płatności przy użyciu dotychczasowego, zaufanego kontaktu. Pytanie ewaluacyjne może brzmieć: czy pracownicy działu finansowego potrafią wybrać tę ścieżkę w zmodyfikowanym scenariuszu po zakończeniu sesji? Można wtedy zaprojektować polecenie, zarejestrować pierwszą decyzję i porównać uzasadnienie z prostym kluczem oceniania. Daje to znacznie więcej informacji niż badanie, czy sesja po prostu się podobała.

Publikacja NIST SP 800-50 Rev. 1 uwzględnia ewaluację i mierniki w ramach systematycznie utrzymywanego programu edukacyjnego. Wykorzystaj wyniki do określenia, co należy zmienić: niejasną instrukcję, niedostępną aktywność czy brakującą książkę kontaktów. Miernik, który nie pociąga za sobą żadnych realnych konsekwencji dla decyzji w programie, może być po prostu zbędny.

Powiększ obraz · Zrzut ekranu z gry · Angielski interfejs

1. Porównaj zmienione dane

   Sprawdź, które dane płatności uległy zmianie oraz czy prośba odpowiada oczekiwanej fakturze i wykonanym pracom.

2. Porównaj z zaufaną fakturą

   Porównaj dane z zaufaną fakturą, a następnie potwierdź zmiany bankowe przez wcześniej zapisany kontakt do dostawcy.

Źródła tej sekcji: Budowanie programu nauki cyberbezpieczeństwa i prywatności, SP 800-50 Rev. 1

2. Stwórz słownik mierników przed budową pulpitu nawigacyjnego

Poniższe definicje stanowią przykłady na potrzeby lokalnego planu ewaluacji. Określ jednoznacznie, czy jednostką miary jest osoba, przypisane zadanie, sesja czy wiadomość. Uczestnik może uruchomić kilka sesji gry w ramach jednego przypisania, dlatego liczby sesji i liczby pracowników nie mogą być stosowane zamiennie. Zawsze odnotowuj ramy czasowe oraz zasady kwalifikowalności obok prezentowanej liczby.

3. Interpretuj wskaźnik ukończenia przed interpretacją efektów nauki

Niski wskaźnik ukończenia może wynikać z niejasnych zaproszeń, pracy zmianowej, barier w dostępności interfejsu, urlopów lub braku dostępu do urządzeń. Należy oddzielić te przyczyny od sytuacji, w której ktoś rozpoczyna ćwiczenie i decyduje się go nie kończyć. Zdefiniuj regułę kwalifikowalności przed rozpoczęciem okresu sprawozdawczego, aby kryteria wykluczenia nie były po cichu modyfikowane w celu sztucznego zawyżenia wyniku. Podawaj bezwzględną liczbę uczestników obok wartości procentowej, zwłaszcza w przypadku małych zespołów.

Dla przykładu: zadanie skierowane do dwudziestu osób może obejmować dwie osoby przebywające na długotrwałym zwolnieniu. Zdecyduj, czy pozostają one w bieżącym mianowniku, czy też otrzymują późniejszy termin realizacji, i konsekwentnie uzasadnij ten wybór. Nie porównuj uzyskanego wyniku procentowego z innym zespołem, w którym obowiązują odmienne zasady dotyczące nieobecności. Liczba staje się możliwa do rzetelnej interpretacji dopiero wtedy, gdy widoczny jest jej kontekst operacyjny.

4. Odróżniaj pierwsze próby od ćwiczeń ze wsparciem

Uczestnik, który korzysta ze wskazówek i ponawia próby aż do skutku, realizuje wartościowe ćwiczenie, jednak końcowy rezultat nie jest tożsamy z samodzielną pierwszą decyzją. Rozdzielaj te stany, jeśli mechanika ćwiczenia na to pozwala. Jeśli system tego nie umożliwia, opisz dostępny wynik w sposób rzetelny, zamiast tworzyć niepoparty danymi miernik pierwszej próby.

Przygotuj prosty klucz oceniania odpowiedzi opisowych. W zadaniu dotyczącym zmiany danych do płatności kompletna odpowiedź może polegać na zidentyfikowaniu nietypowej modyfikacji, wybraniu kontaktu ze sprawdzonego rejestru oraz uzyskaniu wymaganej akceptacji przed wykonaniem operacji. Częściowa odpowiedź może wprawdzie wykazywać podejrzliwość, ale zakładać weryfikację w ramach tej samej, niezaufanej konwersacji. Prowadzący powinni porównać kilka fikcyjnych odpowiedzi przed przystąpieniem do oceny, aby zapewnić spójne stosowanie kryteriów.

Powiększ obraz

5. Uwzględniaj poziom trudności scenariusza

Narzędzie NIST Phish Scale zapewnia metodę oceny trudności wykrycia wiadomości phishingowych przez człowieka. Uwzględnia ono wskazówki ostrzegawcze oraz stopień dopasowania tematu wiadomości do kontekstu odbiorcy. Generyczna informacja o wygranej i precyzyjnie wymierzona w czasie prośba od rzekomego dostawcy nie są równoważnymi próbami testowymi. Z tego względu same surowe wskaźniki kliknięć mogą prowadzić do mylących porównań między kampaniami.

W przypadku innych typów scenariuszy należy udokumentować czynniki mogące wpływać na trudność: dostępne informacje, presję czasu, znajomość tematu, rodzaj urządzenia, język oraz prawdopodobieństwo wariantów wyboru. Nie ma potrzeby przypisywania zwalidowanej punktacji trudności tam, gdzie ona nie istnieje. Konieczne jest natomiast wyjaśnienie istotnych różnic przy porównywaniu wyników między wersjami materiałów lub zespołami.

Powiększ obraz · Zrzut ekranu z gry · Angielski interfejs

1. Przeczytaj wnioskowane działanie

   Sprawdź, do czego nakłania wiadomość, zanim ocenisz znaną nazwę nadawcy lub jej wygląd.

2. Weryfikuj przez znane kontakty

   Użyj ustalonego kanału kontaktu, aby potwierdzić niespodziewaną prośbę, nawet gdy nadawca wydaje się znajomy.

Źródła tej sekcji: Instrukcja korzystania ze skali NIST Phish Scale

6. Stosuj zwarty, przejrzysty model ewaluacji

Oto przykładowy model weryfikacji dla celu dotyczącego autoryzacji płatności. Przedstaw uczestnikom fikcyjną prośbę początkową i zarejestruj ich pierwsze działanie oraz uzasadnienie. Następnie przeprowadź szkolenie z zatwierdzonego procesu i pozwól na ćwiczenia z informacją zwrotną. W późniejszym terminie przedstaw zmodyfikowaną prośbę o porównywalnym zakresie informacji i zarejestruj nową, samodzielną reakcję. Zachowaj oznaczenie wersji oraz odstęp czasowy wraz z wynikami.

Poprawa wyników może uzasadniać wniosek dotyczący sprawności w tych konkretnych ćwiczeniach. Sama w sobie nie dowodzi jednak wyizolowanego wpływu szkolenia: wpływ mogły mieć wcześniejsza znajomość tematu, równoległa komunikacja, zmiany kadrowe lub usprawnienia procesowe. Jeżeli organizacja potrzebuje ewaluacji przyczynowo-skutkowej, należy zaplanować odpowiednią grupę porównawczą i właściwą analizę z pomocą wykwalifikowanych ekspertów jeszcze przed zebraniem danych.

7. Traktuj zgłaszanie jako wspólny proces pracownika i zespołu reagowania

Większa liczba zgłoszeń może świadczyć o wyższej świadomości, większej fali złośliwych wiadomości, wygodniejszym przycisku do zgłaszania lub mało precyzyjnej kampanii. Mniejsza liczba zgłoszeń może z kolei wynikać ze skutecznego filtrowania poczty lub braku ekspozycji na zagrożenie, a nie z lepszej oceny sytuacji. Zestawiaj liczby zgłoszeń z kontekstem i jasno określ, co czyni zgłoszenie użytecznym. Odróżniaj wpłynięcie zgłoszenia od zakończonego dochodzenia i unikaj oczekiwania od pracowników dowodów na złośliwy charakter wiadomości przed zgłoszeniem wątpliwości.

Weź pod uwagę także przepustowość zespołu reagowania. Jeśli zgłoszenia trafiają do nieobsługiwanej skrzynki, szkolenie pracowników w kierunku szybszego raportowania nie rozwiąże tego problemu. Mierz, czy zgłoszenia trafiają do właściwego zespołu i czy pracownicy otrzymują w razie potrzeby pomocne potwierdzenie odbioru. Korzystaj z autoryzowanych rejestrów służbowych o jasnym celu i określonych uprawnieniach dostępu, zamiast tworzyć zbędne bazy z treściami prywatnych wiadomości.

Powiększ obraz · Zrzut ekranu z gry · Angielski interfejs

1. Podaj czas i urządzenie

   Zgłoś zaobserwowane objawy, czas ich wystąpienia oraz urządzenie, korzystając z zatwierdzonego w organizacji kanału zgłoszeń.

2. Rozróżniaj obserwacje od diagnozy

   Oddziel bezpośrednie obserwacje od domysłów, aby zespół reagujący mógł prowadzić badanie bez uznawania wczesnych przypuszczeń za fakty.

8. Analizuj badania, które podważają łatwe deklaracje o sukcesie

Preprint badawczy autorstwa Rozemy i Davisa, oparty na szeroko zakrojonym badaniu w amerykańskiej firmie z sektora technologii finansowych, wykazał brak istotnego głównego wpływu testowanych interwencji szkoleniowych na wskaźniki kliknięć i zgłoszeń, podczas gdy poziom trudności phishingu wprost determinował zachowanie odbiorców. Wyniki te odnoszą się do tamtego konkretnego badania i sprawdzanych w nim metod. Nie stanowią one ewaluacji CyberPlay ani nie dowodzą, że każdy możliwy model szkoleniowy przynosi identyczne rezultaty.

Najcenniejszą lekcją jest konieczność testowania własnych założeń. Zaangażowanie, ukończenie kursu i atrakcyjny interfejs nie zwalniają z rzetelnej ewaluacji. Zanim powołasz się na dany wynik, przeanalizuj charakter interwencji, badaną populację, definicję wskaźników oraz ograniczenia badania. Chwytliwy nagłówek to za mało, aby uzasadnić obietnicę marketingową produktu – niezależnie od tego, czy szkolenia chwali, czy je krytykuje.

Źródła tej sekcji: Szkolenia antyphishingowe nadal nie działają: odtworzenie badania na dużą skalę

9. Rozróżniaj, co rejestry CyberPlay mogą, a czego nie mogą wykazać

Model sesji w CyberPlay rejestruje status i wyniki sesji gier, w tym raportowany wynik procentowy oraz status zaliczenia (jeśli występuje), wraz ze specyficznymi dla danej gry miernikami i szczegółami. Są to zapisy aktywności edukacyjnej. Dostępność i interpretacja danych zależą od konkretnej gry oraz uprawnień konta lub widoku organizacji; obecność pola w modelu danych nie oznacza, że każda gra dostarcza identyczny zestaw informacji.

Traktuj wynik procentowy, postęp czy ukończone przejście gry jako dowód dotyczący wyłącznie tej konkretnej aktywności. Aby zbadać odroczone zastosowanie wiedzy, potrzebny jest osobny, zmodyfikowany scenariusz. Z kolei zachowania związane ze zgłaszaniem phishingu w miejscu pracy oraz rzeczywiste wskaźniki biznesowe wymagają odrębnego, autoryzowanego zbierania danych. Z wyniku w grze nie należy wyciągać wniosków, że pracownik zapobiegł atakowi, ani wyliczać spadku ryzyka organizacyjnego.

10. Publikuj zwięzłe raporty wraz z ich ograniczeniami

Użyteczny raport miesięczny określa cel, grupę odbiorców, wersje aktywności, frekwencję, zaobserwowane decyzje oraz podjęte działania naprawcze. Główne ograniczenia metodologiczne umieszczaj bezpośrednio przy wynikach. W przypadku małych grup stosuj liczby bezwzględne i obserwacje jakościowe zamiast spektakularnych zmian procentowych. Zapewnij wgląd w indywidualne wyniki wyłącznie osobom, które faktycznie potrzebują ich do realizacji określonego celu.

• Jaką decyzję miał wspierać dany program?
• Kto był uprawniony do udziału, a kto rzeczywiście miał dostęp do zadania?
• Która próba, wersja scenariusza i jakie okno czasowe wygenerowały ten wynik?
• Co dokładnie wykazują zgromadzone dowody, a co pozostaje niezmierzone?
• Jaka zmiana w procesie lub szkoleniu nastąpi w konsekwencji?
• Kto odpowiada za tę zmianę i kiedy zostanie przeprowadzony jej przegląd?

Przećwicz podejmowanie decyzji

Wypróbuj scenariusz phishingowy i zdefiniuj jedną obserwowalną decyzję, którą można ocenić niezależnie od ukończenia czy wyniku.

Źródła i dalsza lektura

1. Budowanie programu nauki cyberbezpieczeństwa i prywatności, SP 800-50 Rev. 1 — NIST. Dostęp 2026-09-13
2. Instrukcja korzystania ze skali NIST Phish Scale — NIST. Dostęp 2026-09-13
3. Szkolenia antyphishingowe nadal nie działają: odtworzenie badania na dużą skalę — Preprint badawczy, arXiv. Dostęp 2026-09-13

Czytaj dalej

• Plan szkoleń z cyberbezpieczeństwa: kalendarz na 12 miesięcy

  Dostosuj plan szkoleń z cyberbezpieczeństwa na 12 miesięcy: cele, ćwiczenia, role i powtórki. Pobierz edytowalny kalendarz po polsku i zaplanuj przeglądy wyników.

  PL · 9 min czytania
• Mikrolearning w cyberbezpieczeństwie: zaprojektuj krótkie ćwiczenie

  Zaprojektuj krótką sesję nauki cyberbezpieczeństwa wokół jednej decyzji, informacji zwrotnej i późniejszej powtórki. Skorzystaj z gotowego scenariusza prowadzenia.

  PL · 8 min czytania
• Nauka cyberbezpieczeństwa przez gry a grywalizacja: czym się różnią

  Poznaj różnice między grywalizacją, scenariuszem decyzyjnym i nauką cyberbezpieczeństwa przez gry. Porównaj formaty na wspólnym celu i użyj arkusza oceny.

  PL · 8 min czytania
• Wskaźniki ryzyka związanego z ludźmi: od CyberSense do planu wsparcia

  Interpretuj pokrycie pomiarem, CyberSense i priorytety nauki w działach. Przykład pokazuje, jak dobierać ćwiczenia dla pracowników i oceniać wyniki.

  PL · 7 min czytania
• Gry o cyberbezpieczeństwie po polsku dla pracowników: jak je wybrać

  Wybierz gry o cyberbezpieczeństwie po polsku, które uczą decyzji potrzebnych w pracy. Porównaj formaty, przeprowadź pilotaż i sprawdź dostępność oraz wyjaśnienia.

  PL · 8 min czytania
• Gry szkoleniowe o phishingu: sprawdzaj, weryfikuj i zgłaszaj

  Wybierz gry szkoleniowe o phishingu, które uczą sprawdzania, weryfikacji i zgłaszania. Przećwicz wiadomość od dostawcy i oceń uzasadnienie decyzji uczestników.

  PL · 8 min czytania