IT security risicomanagement en het Dunning-Kruger effect Bewust- en bekendheid van Risico’s Cursus: IM060U Voorbereiden Afstuderen BPMIT Student: Alex Trappenberg Identiteitsnummer: 851058292 Datum rapport: 4-9-2016 Versie nummer: 1.0 Status: Definitief Datum einde inschrijving: 18-09-2016
28
Embed
IT security risicomanagement en het Dunning …...Dunning-Kruger effect aanwezig is en er verband gelegd kan worden met factoren die hier een rol spelen, kunnen bedrijven, en in het
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
IT security risicomanagement en het
Dunning-Kruger effect Bewust- en bekendheid van Risico’s
Cursus: IM060U Voorbereiden Afstuderen BPMIT
Student: Alex Trappenberg
Identiteitsnummer: 851058292
Datum rapport: 4-9-2016
Versie nummer: 1.0
Status: Definitief
Datum einde inschrijving: 18-09-2016
i
IT security risicomanagement en het Dunning-Kruger effect Bewust- en bekendheid van Risico’s
IT security risicomanagement and the
Dunning-Kruger effect Known and unknown risks
Opleiding: Open Universiteit, faculteit Management, Science & Technology
Masteropleiding Business Process Management & IT
Programme: Open University of the Netherlands, faculty of Management, Science &
Technology
Master Business Process Management & IT
Cursus: IM0602 Voorbereiden Afstuderen BPMIT
Student: Alex Trappenberg
Identiteitsnummer: 851058292
Datum: 4-9-2016
Afstudeerbegeleider Hugo Jonker
Meelezer Harald Vranken
Derde beoordelaar <indien aanwezig>
ii
Samenvatting
IT security risk management is voor de meeste organisaties van vitaal belang. Bedrijven zijn zo
afhankelijk van hun informatiesystemen dat een storing op dit vlak flink schade als gevolg kan
hebben. Ondanks dit feit en de verschillende modellen die toegepast kunnen worden bij IT security
risk management schetsen verschillende security rapporten een beeld dat het toch niet zo goed gaat
met de beveiliging. IT security risk management is per definitie lastig vanwege het feit dat er zoveel
variabelen zijn die hierop een invloed kunnen uitoefenen.
Dit rapport richt zich op het menselijk effect. Specifiek het overschatten van de prestatie van
toegepaste IT security management. De gemene deler bij alle IT security risk management modellen
is het proces risk assessment. Voor dit proces is het van uiterst belang dat een organisatie haar
“performance” op IT security reëel kan inschatten.
Dit rapport begint met het behandelen van IT security risk management en het metacognitieve
aspect dat aan het licht is gekomen tijdens deze literatuurstudie. Vervolgens wordt de problematiek
verder uitgewerkt. Binnen dit rapport wordt de hypothese onderzocht dat bedrijven die meer
kennis, ervaring en inzicht “in huis” hebben op het gebied van IT security, hun performance beter
inschatten dan bedrijven die dit niet hebben. Bedrijven die daarentegen minder kennis, ervaring en
inzicht hebben overschatten hun performance. Dit verschijnsel is bekend als het “Dunning-Kruger”
effect.
Keywords
Dunning-Kruger, IT security risk management, known unknowns
iii
Summary
IT Security risk management is for most organizations of outmost importance. They are so
dependent on their information systems that a problem in this field can cause a lot of damage to the
company.
Despite this fact and the usage of IT security risk methods, the amount of security incidents and the
damage they cause are rising according to the annual security reports.
IT security is a complex matter because there are so many variables that have an influence on it.
This study is focused on the human effect, specifically the failure to adequately assess their level of
competence regarding IT security. What all the security models have in common is that they all
possess a risk assessment part that relies on the competence of the individuals involved. If one
cannot correctly asses the risks involved than the organization can be exposed to unnecessary risks.
This literature study will cover IT security management and the metacognitive aspects documented.
Hypothesis of this study is that organizations with high levels of knowledge, expertise and insight in
IT security can better asses their competence, and on the other hand, companies with lower levels
of knowledge, expertise and insight will overestimate their competence in this field. This is known as
the Dunning-Kruger effect.
Keywords
Dunning-Kruger, IT security risk management, known unknowns
iv
Inhoudsopgave
Samenvatting .......................................................................................................................................... ii
Summary ................................................................................................................................................ iii
Inhoudsopgave ....................................................................................................................................... iv
FAIR Evaluate Loss Event Frequency Evaluate Probable Loss Magnitude
FRAP Brainstorm sessie Gevolgen geanalyseerd. Threats en risico’s worden geprioriteerd
Tabel 1: Risk assessment onderdeel verschillende modellen
Tekortkomingen bij IT security modellen in het algemeen (Fenz et al 2014):
• asset and countermeasure inventory identification;
• asset value assignment;
• risk prediction;
• the overconfidence effect;
• knowledge sharing; and
• risk vs. cost trade-offs.
Van de hierboven genoemde tekortkomingen lijkt overconfidence (overmoedigheid) het meest op
het Dunning-Kruger effect. Factor die aan overmoedigheid bijdraagt, is stress met betrekking tot
beslissingen nemen waarbij tijd en resources krap zijn. Hierdoor worden risicoveronderstellingen te
rooskleurig geschetst.
15
Kalibratie
Overmoedigheid bij IT security, en ook andere gebieden, kan tegengewerkt worden met kalibratie
tests. (Hubbard 2009) Een manier waarbij kalibratie kan worden toegepast is door een persoon
triviale vragen te laten beantwoorden waarbij de antwoorden waar of niet waar zijn. Verder moet bij
de antwoorden het percentage ingevuld worden dat de persoon ervan zeker is van het antwoord.
Resultaten kunnen de overmoedigheid van voorspellingen vaststellen. Zie bijlage 1 voor een
voorbeeld van een kalibratie vragenlijst. Een persoon is ideaal gekalibreerd als hij of zij 80% van de
keren correct was bij 80% zekerheid, 90% correct bij 90% zekerheid, etc.
3.6. IT risk management aspecten
Kwalitatieve risk management modellen is vergeleken met kwantitatieve modellen meer subjectief,
kennis en ervaring spelen hier een sleutelrol. Als de kennis overschat wordt kan dit eerder een
negatief gevolg hebben dan bij kwantitatieve modellen.
Kwantitatieve risk is het uitdrukken van risico in monetaire waarde en frequentie. Als risico zo wordt
gemeten kunnen de kosten van risico worden afgezet tegen de kosten van het implementeren van
oplossingen om dit risico te verminderen. Rekenkundig kan kwantitatieve risk uitgedrukt worden in
“Annualized Loss Expectancy” (ALE). ALE = Asset Value x Exposure Factor x Frequency (annual rate
of occurrence)
Kwalitatieve risk bepaalt wat het effect van verlies, corruptie of onbeschikbaarheid van een asset
(activa) zou zijn. (Visintine 2003)
IT security risk management modellen hebben een fase waarbij IT activa wordt geïdentificeerd,
bedreigingen (threats) in kaart worden gebracht en kwetsbaarheden van IT activa tegenover de
bedreigingen wordt vastgesteld. Dit is de basis waarop beslissingen worden genomen en is ook het
meest complexe onderdeel omdat risico gekwantificeerd wordt aan de hand van perceptie en dat is
in grote mate subjectief. (Rainer, Kelly, Snyder & Carr 1991)
Een ander probleem dat onderkend wordt is het creëren en bijhouden van IT activa dat gebruikt
wordt voor risico analyse door het feit dat de scope, grootte en mate van verandering ervoor zorgt
dat deze moeilijk is bij te houden. (Rees en Allen 2008) Een nog groter probleem is het vaststellen
van mogelijke threats waaraan een organisatie bloot wordt gesteld, vooral de waarschijnlijkheid dat
deze plaatsvindt en de schatting van de schade als gevolg. (Rees & Allen 2008)
Anderen leggen de nadruk meer op de eindgebruikers. Namelijk als deze niet het beleid volgen dan
is alle inspanning voor niets geweest. Het naleven van information security praktijken en beleid is
beïnvloed door organisatorische, milieu en gedragsfactoren. (Herath & Rao2009)
Dit onderzoek kijkt naar hoe een organisatie omgaat met IT security risk management door het
correct inschatten van risico’s die wel of niet bekend zijn waarvan de organisatie wel of niet van
bewust is. Bewustwording is een belangrijk aspect bij individuen die hier een rol spelen. IT
beveiliging blijft mensenwerk, hetgeen betekent dat individuen binnen de organisatie een transitie
dienen te ondergaan van onbewust niet adequaat naar onbewust adequaat bij IT -beveiliging.
(Kornelisse 2007)
16
Figuur 7: Ontwikkeling van besef inzake IT –beveiliging (Kornelisse 2007)
De vier fasen van ontwikkeling van het IT beveiliging besef bij medewerkers is te zien in figuur 7.
Wanneer dit besef aanwezig is zal een medewerker spontaan proactief handelen als het gaat om IT
security kwesties, het is dan niet alleen de taak van IT security medewerkers en managers.
IT security bewustwording en perceptie bij managers is een functie dat bestaat uit drie factoren
(Goodhue & Straub 1991): 1. Risico inherent aan de industrie waar de organisatie opereert, 2. Mate
van inspanning dat al is genomen om de risico te controleren en 3. Individuele factoren zoals bewust
zijn van eerdere systeemincidenten, achtergrond hoe systemen werken, etc. Het model voor
management perceptie is te zien in figuur 8.
Figuur 8: Model voor management perceptie van IT risk (Straub & Welke 1998)
"Organizational Environment" onderdeel van dit model om perspectieven te verbeteren houdt in dat
er informatie over vatbaarheid van risico’s binnen de branche moet worden vergaard door lezen en
informatiedeling tussen branchegenoten.
“Individual Characteristics” is informatie over security incidenten en de vatbaarheid voor schade.
Bijvoorbeeld dat bij een systeem een aantal keren is geprobeerd deze te hacken en ook een keer is
gelukt moet bij de manager bekend zijn.
“IS Environment" refereert naar kennis over de technische en leidinggevende maatregelen die
beschikbaar zijn voor Informatie beveiliging en welke acties er mogelijk zijn.
17
4. Resultaten
De hoofdvraag van deze literatuurstudie was:
“Is het Dunning-Kruger effect waarneembaar op het gebied van IT Security management en indien
dit het geval is wat zijn de factoren die hier een rol spelen?”
Resultaten van de literatuurstudie naar IT security management en het Dunning-Kruger op het
gebied van IT security is dat het effect op zich veelvuldig wordt geciteerd. Het originele artikel
“Unskilled and unaware of it: how difficulties in recognizing one's own incompetence lead to inflated
self-assessments” werd op het moment van het schrijven van dit rapport 2901 keer geciteerd
volgens Google Scholar. Echter in combinatie met “IT security” zijn er maar 4 hits waarvan er slechts
één wat toevoegt aan de hoofdvraag van deze studie.
IT security risk management is vanwege verschillende factoren een lastig taak. Het is vrijwel
onmogelijk om zeker te zijn van bepaalde zaken. Er treden incidenten op waar sommige bedrijven
helemaal niet bewust van waren dat ze niet op voorbereid waren. Een onderzoek naar
overschatting van kennis over drie typen bedreigingen onder studenten heeft bewezen dat veel
studenten denken dat hun computerkennis voldoende is waar dit niet zo was, terwijl hetzelfde
onderzoek bij midden- en kleinbedrijven andere resultaten gaf. Kennelijk zijn er meerdere factoren
die een invloed hebben op zelfevaluatie. Het is bewezen dat er een sterk verband bestaat tussen
zelfevaluatie en ervaring met zelfevaluatie.
Ook speelt het optimistische bias een rol bij prestatie-inschattingen bij computergebruikers op het
gebied van information security (te rooskleurig beeld) wat gerelateerd is aan de perceptie van
beheersbaarheid van information security bedreigingen. Dit was ook waargenomen bij IT
management waarbij het verband sterker was bij organisaties waar het delen van informatie minder
was. Bewustwording in de vorm van Information security awareness (bewustzijn) programma’s zou
een bijdrage kunnen leveren aan deze problematiek. Het is bewezen dat eindgebruikers waarde aan
IT risk management kunnen toevoegen wanneer deze ook betrokken worden.
IT security risk modellen houden niet direct rekening met het Dunning-Kruger effect. Ze hebben
allemaal een “Risk assessment” onderdeel waar het realistisch inschatten een belangrijke rol speelt.
Het Dunning-Kruger effect heeft dan direct gevolgen voor het gekozen IT risk management model.
Binnen de literatuur is overconfidence (overmoedigheid) opgemerkt als één van de problemen bij IT
security risk management in het algemeen wat tegengewerkt kan worden met kalibratie tests.
Verder is het de Achilleshiel van IT security, het feit dat er rekening gehouden moet worden met
aspecten waar men niet eens weet dat die bestaan. Bewustwording van dit feit is al een stap in de
juiste richting waarbij de perceptie van de IT manager een sleutelrol speelt.
18
5. Conclusies Uit de literatuurstudie is gebleken dat het correct inschatten van de IT security een belangrijk uitgangspunt is. Het effect van geschatte prestatie en eigen prestatie op het gebied van IT security bij studenten en bij MKB hebben twee verschillende resultaten opgeleverd. Er is weinig bekend over het Dunning-Kruger effect bij IT security risk management bij andere typen organisaties zoals multinationals of bij de overheid en (semi-)publieke sector. Deze laatste vormt een brede categorie. Sommigen zijn groot (ministeries, universiteiten) met eigen expertise, sommigen klein (kleine gemeentes, zbo's) met externe IT. Er zijn vele aspecten die een invloed kunnen hebben op prestatie-inschatting. Door verschillende organisaties te onderzoeken binnen een bepaalde branche kan er een bijdrage geleverd worden aan dit risico gat binnen IT security risk managent. Plan voor een vervolgonderzoek is het meten van het Dunning-Kruger effect op IT security risk management bij overheidsinstellingen met als uitgangspunt de volgende hypothesen: -Overheidsorganisaties, zoals scholen, die per definitie opereren in een vijandige (hostile) omgeving doen het beter qua inschatting van hun IT security risk management prestatie omdat ze meer ervaring hebben met security incidenten. -Overheidsorganisaties waar er veel (externe) expertise aanwezig is op het gebied van IT security risk management doen het beter qua inschatting van hun IT security risk management prestatie vanwege aanwezige kennis en inzicht.
-Organisaties die weinig kennis, ervaring en inzicht op het gebied van IT security risk management
hebben overschatten hun prestatie op dit gebeid.
19
Referenties
Rumsfeld, D. (2011). Known and unknown: a memoir. Penguin.
Rainer Jr, R. K., Snyder, C. A., & Carr, H. H. (1991). Risk analysis for information technology. Journal of
Management Information Systems, 8(1), 129-147.
Rees, J., & Allen, J. (2008). The state of risk assessment practices in information security: An
exploratory investigation. Journal of Organizational Computing and Electronic Commerce, 18(4),
255-277.
Stoneburner, G., Goguen, A. Y., & Feringa, A. (2002). SP 800-30. Risk Management Guide for
Information Technology Systems, National Institute of Standards & Technology, Gaithersburg, MD.
Rot, A. (2009). Enterprise information technology security: risk management perspective. In
Proceedings of the World Congress on Engineering and Computer Science (Vol. 2, pp. 20-22).
Tomhave, B. L. (2005). Alphabet soup: Making sense of models, frameworks, and methodologies.
George Washington University.
McCumber, J. (1991, October). Information systems security: A comprehensive model. In
Proceedings of the 14th National Computer Security Conference.
Straub, D. W., & Welke, R. J. (1998). Coping with systems risk: security planning models for
management decision making. Mis Quarterly, 441-469.
Goodhue, D. L., & Straub, D. W. (1991). Security concerns of system users: a study of perceptions of
the adequacy of security. Information & Management,20(1), 13-27.
Elahi, G., Yu, E., & Zannone, N. (2010). A vulnerability-centric requirements engineering framework:
analyzing security attacks, countermeasures, and requirements based on vulnerabilities.
Requirements engineering, 15(1), 41-62.
Janulevicius, J. (2014). Development of a Risk Assessment Model for IT Risk Self-Assessment Expert
System for SMEs. International Journal of Computer and Communication Engineering, 3(4), 306.
de Kruijf, J. A., & Thiel, S. V. (2013). Keurslijf of maatpak? Over verschillen in aansturing en
dienstverlening tussen Agentschappen en Zelfstandige Bestuursorganen.
Thiel, S. V. (2012). Are you being served?: de opbrengsten van verzelfstandiging van