Security-Awareness-Kennzahlen: mehr messen als Teilnahme

Security-Awareness-Kennzahlen sinnvoll nutzen: Teilnahme, Wissen, Behalten und Verhalten getrennt messen und Ergebnisse ohne überzogene Erfolgsversprechen bewerten.

CyberPlay-Redaktion · Veröffentlicht am 2026-09-13 · Aktualisiert am 2026-09-13 · 9 Min. Lesezeit

Leitfaden und Übungen auf Deutsch

Szene aus dem Spiel Ghost Protocol. — Aus der CyberPlay-Galerie von Ghost Protocol. Illustrative Spielszene; sichtbare Oberflächentexte sind auf Englisch.

Sinnvolle Kennzahlen für Security-Awareness-Schulungen beantworten jeweils eine konkrete Frage. Die Abschlussquote zeigt, ob eine zugewiesene Lerneinheit beendet wurde. Ein Punktwert beschreibt die Leistung innerhalb dieser Aktivität. Ein zeitlich versetztes Szenario prüft, ob Mitarbeitende ein Prinzip auch später noch anwenden können. Das reale Meldeverhalten am Arbeitsplatz bildet wiederum einen ganz anderen Teil des Gesamtsystems ab. Fasst man all diese Messgrößen in einem einzigen, scheinbar beruhigenden Prozentwert zusammen, gehen genau die Unterschiede verloren, die sie aussagekräftig machen.

Beginnen Sie mit einer konkreten Entscheidung, die das Schulungsprogramm unterstützen soll. Definieren Sie, welche Nachweise sich realistisch erfassen lassen, und legen Sie fest, welche Ergebnisse konkrete Verbesserungsmaßnahmen auslösen. Dieser Leitfaden bietet ein Kennzahlen-Glossar und ein exemplarisches Evaluationsdesign. Er enthält keine Kundenergebnisse. Die Beispiele veranschaulichen, wie Messungen fundiert interpretiert werden – ohne Spielfortschritte, Quiz-Ergebnisse oder simulierte Phishing-Tests vorschnell als Beweis für verhinderte Vorfälle zu werten.

Das Wichtigste zum Mitnehmen

Zähler, Nenner, Zeitfenster und Ausschlüsse exakt definieren.
Teilnahme, Leistung in der Lerneinheit, Behalten und Arbeitsplatzverhalten trennen.
Szenarien vergleichbarer Schwierigkeit gegenüberstellen und Abweichungen beschreiben.
Ergebnisse für Schulungs- und Prozessoptimierungen nutzen; keine unbelegten Zusagen machen.

1. Mit der Entscheidung und der Evaluationsfrage beginnen

Angenommen, das Zielverhalten besteht darin, eine ungewöhnliche Änderung von Zahlungsdaten über einen bereits bestehenden, vertrauenswürdigen Kontaktweg zu verifizieren. Die Evaluationsfrage könnte lauten: Wählen die Teilnehmenden aus dem Finanzbereich diesen Weg auch nach der Schulung in einem veränderten Folgeszenario? Daraufhin können Sie die Aufgabenstellung gestalten, die erste Entscheidung erfassen und die Begründungen anhand eines einfachen Bewertungsschemas vergleichen. Das liefert deutlich mehr Erkenntnisse, als nur zu fragen, wie gut das Training ankam.

NIST SP 800-50 Rev. 1 verankert Evaluation und Kennzahlen fest in einem kontinuierlich gepflegten Lernprogramm. Nutzen Sie die Ergebnisse gezielt für Anpassungen: unklare Handlungsanweisungen, schwer zugängliche Lernmodule oder ein fehlendes internes Kontaktdatenverzeichnis. Eine Kennzahl, aus der sich keinerlei Konsequenzen für das Programm ableiten lassen, muss oft gar nicht erst erhoben werden.

Phishing Detective 3D-Gameplay: Prüfen einer Lieferantenrechnung.

Quellen dieses Abschnitts: Ein Lernprogramm für Cybersicherheit und Datenschutz aufbauen, NIST SP 800-50r1

2. Vor dem Dashboard-Bau ein Metrik-Glossar definieren

Die folgenden Definitionen dienen als Vorlage für einen internen Evaluationsplan. Halten Sie stets fest, ob die Bezugseinheit eine Person, eine Zuweisung, eine Sitzung oder eine Nachricht ist. Da Lernende pro Zuweisung mehrere Spielsitzungen starten können, dürfen Sitzungsanzahlen und Mitarbeiterzahlen nicht vermischt werden. Dokumentieren Sie den Erfassungszeitraum sowie Kriterien für die Einbindung oder den Ausschluss von Daten direkt neben dem Zahlenwert.

2. Vor dem Dashboard-Bau ein Metrik-Glossar definieren
Kennzahl	Beispielhafte Definition	Möglicher Erkenntnisgewinn
Abschlussquote	Teilnahmeberechtigte Zugewiesene mit Abschluss bis zur Frist / teilnahmeberechtigte Zugewiesene insgesamt	Ob die geplante Aktivität die Zielgruppe wie vorgesehen erreicht hat.
Erfolgsquote beim Erstversuch	Teilnehmende, die beim ersten Versuch die definierte korrekte Aktion wählen / Teilnehmende mit gültigem Erstversuch	Entscheidungskompetenz in der konkret vorgelegten Situation.
Qualität der Begründung	Antworten, die ein definiertes Erklärungsschema erfüllen / bewertete Antworten insgesamt	Ob Teilnehmende einen Verifizierungs- oder Meldeschritt nachvollziehbar begründen können.
Zeitlich versetzte Anwendung	Teilnehmende mit zutreffender Wahl in einem späteren, abgewandelten Szenario / Teilnehmende mit gültigem Folgetest	Praktischer Transfer unter den spezifischen Bedingungen dieses Folgeszenarios.
Meldequote bei Simulationen	Empfangende mit gewerteter Meldung / Empfangende mit nachgewiesener Zustellung (gemäß den festgelegten Regeln)	Meldepraxis während der jeweiligen Simulation.
Zeit bis zur ersten verwertbaren Meldung	Verstrichene Zeit vom definierten Kampagnenstart bis zur ersten Meldung, die die definierten Kriterien erfüllt	Übungsbezogener Einblick, wie rasch umsetzbare Informationen im Meldeweg eintreffen.
Umsetzungsquote von Verbesserungen	Vereinbarte Maßnahmen für Programm oder Prozesse, die fristgerecht abgeschlossen wurden / fällige Maßnahmen insgesamt	Ob identifizierte Schwachstellen und Barrieren tatsächlich behoben wurden.

3. Abschlussquoten vor dem Lernerfolg interpretieren

Eine niedrige Abschlussquote kann viele Ursachen haben: unklare Einladungen, Schichtpläne, schwer zugängliche Bedienelemente, Urlaub oder fehlende Endgeräte. Diese Faktoren müssen klar von Fällen getrennt werden, in denen Personen eine Schulung beginnen und bewusst abbrechen. Definieren Sie die Teilnahmekriterien verbindlich vor Beginn des Berichtszeitraums, damit Berechnungsbasen nicht nachträglich angepasst werden, um Werte künstlich zu verbessern. Weisen Sie neben Prozentwerten stets auch absolute Zahlen aus – insbesondere bei kleineren Teams.

Sind beispielsweise 20 Mitarbeitende einer Schulung zugewiesen, von denen sich zwei im Langzeiturlaub befinden, muss entschieden werden: Verbleiben sie im Nenner oder erhalten sie eine spätere Frist? Dokumentieren Sie dieses Vorgehen einheitlich. Vergleichen Sie den resultierenden Prozentsatz nicht unreflektiert mit Teams, die andere Abwesenheitsregeln anwenden. Eine Zahl lässt sich erst dann fundiert bewerten, wenn die Rahmenbedingungen im Betrieb transparent sind.

4. Erstversuche und betreute Übungsphasen sauber trennen

Wenn Lernende Hinweise nutzen und Aufgaben wiederholen, bis sie erfolgreich sind, ist das eine wertvolle Übung. Dieses Endergebnis ist jedoch nicht gleichzusetzen mit einer eigenständigen Entscheidung beim ersten Versuch. Trennen Sie diese Datenpunkte klar, sofern die Lernumgebung dies vorsieht. Ist das nicht der Fall, beschreiben Sie die vorliegende Datenbasis transparent, anstatt rechnerisch einen Erstversuch zu konstruieren, für den es keine belastbaren Nachweise gibt.

Erstellen Sie ein kompaktes Bewertungsschema für Begründungen. Bei einer Abfrage zur Änderung von Zahlungsdaten umfasst eine vollständige Antwort beispielsweise das Erkennen der Auffälligkeit, den Rückgriff auf hinterlegte Kontaktdaten und das Einholen der Freigabe. Eine unvollständige Antwort erkennt zwar den Verdacht, verifiziert die Angaben jedoch über denselben, ungesicherten Kommunikationskanal. Lassen Sie Moderierende vorab einige fiktive Antworten abgleichen, um eine einheitliche Bewertung sicherzustellen.

Teilnahme: Wurde das Training absolviert? Wissen: Wird die Regel verstanden? Behalten: Gelingt der spätere Transfer? Verhalten: Ändert sich das Handeln im Alltag? — Originale erklärende Grafik von CyberPlay: Konzeptionelles Messmodell; es werden keine Kundenergebnisse dargestellt.

5. Den Schwierigkeitsgrad von Szenarien berücksichtigen

Die NIST Phish Scale bietet eine Methode, um den menschlichen Erkennungsaufwand von Phishing-E-Mails einzustufen. Sie berücksichtigt sprachliche oder visuelle Anhaltspunkte und prüft, wie gut der Vorwand zum Arbeitskontext der Zielperson passt. Eine generische Gewinnbenachrichtigung und eine präzise getimte, gefälschte Lieferantenanfrage sind qualitativ völlig unterschiedliche Tests. Reine Klickraten können daher zu Fehleinschätzungen führen, wenn Kampagnen miteinander verglichen werden.

Halten Sie auch bei anderen Lernszenarien die Faktoren fest, die die Schwierigkeit beeinflussen: Informationsgehalt, Zeitdruck, Vertrautheit, Endgerät, Sprache und die Plausibilität der Antwortoptionen. Es ist nicht erforderlich, eine wissenschaftlich validierte Schwierigkeitsskala vorzutäuschen, wo keine existiert. Sie müssen jedoch wesentliche Unterschiede offenlegen, sobald Ergebnisse über verschiedene Versionen oder Abteilungen hinweg verglichen werden.

Phishing Detective 3D-Gameplay: Prüfen einer eingehenden Anfrage.

Quellen dieses Abschnitts: Benutzerleitfaden zur NIST Phish Scale

6. Ein kompaktes, transparentes Evaluationsdesign nutzen

Hier ist ein beispielhafter Ablauf zur Überprüfung von Zahlungsfreigaben: Legen Sie den Teilnehmenden zunächst eine fiktive Ausgangsnachricht (Baseline) vor und erfassen Sie Erstentscheidung sowie Begründung. Vermitteln Sie anschließend den Soll-Prozess und ermöglichen Sie praktisches Üben mit direktem Feedback. Präsentieren Sie später eine abgewandelte Nachricht mit vergleichbarer Komplexität und erfassen Sie die erneute, eigenständige Reaktion. Dokumentieren Sie Szenarioversion und zeitlichen Abstand.

Zeigt sich eine Verbesserung, belegt dies den Lernerfolg in diesen konkreten Übungen. Daraus lässt sich jedoch nicht isoliert ableiten, dass allein das Training hierfür ursächlich war: Gewöhnungseffekte, interne Kommunikation, personelle Wechsel oder Prozessanpassungen spielen ebenfalls hinein. Benötigt Ihre Organisation einen strengen Kausalitätsnachweis, planen Sie vor der Datenerhebung ein geeignetes Vergleichsgruppendesign mit qualifizierter Unterstützung.

6. Ein kompaktes, transparentes Evaluationsdesign nutzen
Phase	Erfassung	Interpretation
Baseline	Szenarioversion, Erstentscheidung und Begründung	Ausgangsniveau bei dieser spezifischen Aufgabe.
Übung	Gegebenes Feedback und absolvierte Versuche	Gelegenheit, den Prozess kennenzulernen und anzuwenden.
Folgetest	Abgewandeltes Szenario, Zeitabstand und eigenständige Antwort	Spätere Anwendung innerhalb des Übungskontexts.
Review	Störfaktoren und abgeleitete Verbesserungsmaßnahmen	Belastbare Schlussfolgerungen und nächste Schritte.

7. Meldungen als Zusammenspiel von Belegschaft und Incident-Response betrachten

Steigende Meldezahlen können auf höheres Sicherheitsbewusstsein, ein größeres Aufkommen an Schad-Mails, einen barrierefreien Melde-Button oder eine auffällige Testkampagne hinweisen. Sinkende Meldezahlen resultieren mitunter aus besseren technischen Filtern und nicht zwingend aus mangelnder Wachsamkeit. Setzen Sie Meldezahlen stets in den betrieblichen Kontext und definieren Sie, was eine Meldung verwertbar macht. Trennen Sie den Eingang einer Meldung von der abgeschlossenen Analyse und verlangen Sie nicht von Mitarbeitenden, vorab die Bösartigkeit einer Nachricht zu beweisen.

Behalten Sie auch die Bearbeitungskapazitäten im Blick. Laufen Hinweise in ein Postfach, das niemand sichtet, hilft es wenig, Mitarbeitende zu schnelleren Meldungen zu schulen. Messen Sie stattdessen, ob Meldungen die zuständige Stelle erreichen und ob die Meldenden eine zeitnahe Rückmeldung erhalten. Nutzen Sie dafür autorisierte Meldedaten mit klarem Zweck und restriktivem Zugriffskonzept, statt unnötig Inhalte privater oder geschäftlicher Nachrichten dauerhaft zu speichern.

Ransomware Reaction-Gameplay: Erstellen einer aussagekräftigen Vorfallsmeldung.

8. Forschungsergebnisse einbeziehen, die vorschnelle Erfolge hinterfragen

Ein Forschungs-Preprint von Rozema und Davis auf Basis einer umfangreichen Untersuchung bei einem US-Finanztechnologieunternehmen zeigte keine signifikanten Haupteffekte der durchgeführten Schulungsmaßnahmen auf Klick- oder Melderaten; maßgeblich für das Verhalten war primär die Schwierigkeit der Phishing-E-Mails. Diese Ergebnisse beziehen sich konkret auf die dort untersuchten Ansätze. Sie bewerten weder CyberPlay noch belegen sie, dass jede Form von Schulung dieselben Resultate erzielt.

Die zentrale Erkenntnis lautet: Hinterfragen Sie Grundannahmen kritisch. Hohe Beteiligung, gute Quoten und ansprechende Benutzeroberflächen ersetzen keine fundierte Evaluation. Prüfen Sie Methodik, Zielgruppe, Ergebnisdefinitionen und Limitationen einer Studie genau, bevor Sie Kennzahlen ungeprüft übernehmen. Schlagzeilen allein genügen nicht, um Produktversprechen abzusichern – unabhängig davon, ob sie Schulungen positiv oder negativ darstellen.

Quellen dieses Abschnitts: Anti-Phishing-Training wirkt (immer noch) nicht: eine groß angelegte Replikationsstudie

9. Verstehen, was CyberPlay-Daten abbilden und was nicht

Das Sitzungsmodell von CyberPlay erfasst Status und Ergebnisse von Spielsitzungen, einschließlich erreichten Prozentwerten und Bestanden-Status (sofern vorgesehen), zusammen mit spielspezifischen Kennzahlen und Details. Hierbei handelt es sich um reine Protokolle von Lernaktivitäten. Verfügbarkeit und Aussagekraft hängen vom jeweiligen Spiel sowie der Mandanten- oder Organisationsansicht ab; ein Feld im Datenmodell bedeutet nicht, dass jedes Spiel identische Nachweise liefert.

Betrachten Sie Punktwerte, Fortschritte oder abgeschlossene Durchläufe als Beleg für die Leistung in dieser spezifischen Aktivität. Um die spätere Anwendung zu beurteilen, ist ein separates, verändertes Szenario nötig. Das reale Meldeverhalten am Arbeitsplatz und geschäftliche Sicherheitsauswirkungen erfordern eigene, autorisierte Messungen. Leiten Sie aus einem Spiel-Score weder ab, dass Mitarbeitende einen realen Angriff verhindert haben, noch beziffern Sie damit eine Verringerung des Gesamtrisikos.

10. Kompakte Berichte mit klaren Grenzen erstellen

Ein aussagekräftiger Monatsbericht nennt Zielsetzung, Zielgruppe, verwendete Szenarioversionen, Teilnahme, getroffene Entscheidungen und eingeleitete Schritte. Führen Sie die wesentlichen Einschränkungen direkt neben den Zahlen auf. Nutzen Sie bei kleinen Kohorten absolute Fallzahlen und qualitative Beobachtungen statt dramatischer Prozentänderungen. Gewähren Sie nur den Personen Einblick in individuelle Ergebnisse, die diesen für die festgelegte Aufgabe zwingend benötigen.

Welche konkrete Entscheidung sollte durch das Lernprogramm verbessert werden?
Wer war teilnahmeberechtigt und wer konnte tatsächlich auf das Modul zugreifen?
Auf welchem Versuch, welcher Szenarioversion und welchem Zeitfenster basiert das Ergebnis?
Welche Sachverhalte belegen die Daten und was bleibt dabei ungemessen?
Welche konkreten Prozess- oder Schulungsanpassungen werden nun angestoßen?
Wer verantwortet diese Anpassung und wann erfolgt die Nachbesprechung?

Entscheidungen in der Praxis erproben

Testen Sie ein Phishing-Szenario und definieren Sie eine beobachtbare Entscheidung, die unabhängig von Abschlussquote oder Score bewertet werden kann. Halten Sie bei Vergleichen auch die verwendete Sprachversion fest und wählen Sie über die Spielseite eine geeignete Übung auf Deutsch.

Phishing-Lernspiele entdecken

Quellen und weiterführende Informationen

Ein Lernprogramm für Cybersicherheit und Datenschutz aufbauen, NIST SP 800-50r1 — NIST. Abgerufen am 2026-09-13
Benutzerleitfaden zur NIST Phish Scale — NIST. Abgerufen am 2026-09-13
Anti-Phishing-Training wirkt (immer noch) nicht: eine groß angelegte Replikationsstudie — Wissenschaftlicher Preprint, arXiv. Abgerufen am 2026-09-13