i Audits uitvoeren op een agile-werkwijze Een onderzoek naar het verrijken van bestaande auditmethodologie met werkwijzen uit methoden gebaseerd op agile Judith Zigterman - Blokzijl, MSc CIA Studentnummer: 11202521 Scriptie Executive Internal Auditing Programme Datum: 16-06-2018 Begeleider: Björn Walrave RO CIA Amsterdam Business School (UvA) 12 mei 2019 Aan de lezer, wees bewust van het volgende: De tekst van deze versie van het onderzoek is gedeeltelijk herzien of verwijderd voor de publicatie van het onderzoek op de website(s) van het IIA Nederland. De data voor dit onderzoek is onder andere verkregen met behulp van interviews. Omwille van de privacy van de respondenten zijn de interviews uit de bijlagen verwijderd alsmede informatie die ertoe leidt dat de respondenten direct kunnen worden herleid. Dit betreft het verwijderen van bijlagen 2, 8, 11 en 13 en het weglaten van namen van personen en/of functies op diverse plaatsen in dit document. Deze aanpassingen betreffen geen wijzigingen in het onderzoek zelf. De inhoudsopgave is aangepast op basis van de herziene tekst. Tevens is bijlage 19 gerectificeerd, daar waar deze in de originele versie van de scriptie foutief was opgenomen.
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
i
Audits uitvoeren op een agile-werkwijze
Een onderzoek naar het verrijken van bestaande auditmethodologie met werkwijzen uit
methoden gebaseerd op agile
Judith Zigterman - Blokzijl, MSc CIA
Studentnummer: 11202521
Scriptie Executive Internal Auditing Programme
Datum: 16-06-2018
Begeleider: Björn Walrave RO CIA
Amsterdam Business School (UvA)
12 mei 2019
Aan de lezer, wees bewust van het volgende:
De tekst van deze versie van het onderzoek is gedeeltelijk herzien of verwijderd voor de
publicatie van het onderzoek op de website(s) van het IIA Nederland. De data voor dit onderzoek
is onder andere verkregen met behulp van interviews. Omwille van de privacy van de
respondenten zijn de interviews uit de bijlagen verwijderd alsmede informatie die ertoe leidt dat
de respondenten direct kunnen worden herleid. Dit betreft het verwijderen van bijlagen 2, 8, 11
en 13 en het weglaten van namen van personen en/of functies op diverse plaatsen in dit
document. Deze aanpassingen betreffen geen wijzigingen in het onderzoek zelf. De
inhoudsopgave is aangepast op basis van de herziene tekst.
Tevens is bijlage 19 gerectificeerd, daar waar deze in de originele versie van de scriptie foutief
Voor u ligt mijn scriptie over de verrijking van auditmethodologie met werkwijzen uit methoden
gebaseerd op agile. Ik heb voor dit onderzoek gekozen vanwege mijn interesse voor veranderingen
en de toepassing van werkwijzen uit de verschillende actuele trends. Deze scriptie is geschreven in
het kader van mijn afstuderen aan het Executive Internal Audit Programme (EIAP) aan de UvA.
Het EIAP volgen was voor mij een bijzondere ervaring; twee jaar wekelijks van Groningen naar
Amsterdam om colleges bij te wonen, gevolgd door een half jaar werken aan deze scriptie. Het werd
een leerzame, vermoeiende maar ook zeker leuke ervaring. Ik wil daarom mijn manager Janneke
Dijsselhof en mijn werkgever Univé bedanken dat zij dit leertraject hebben mogelijk gemaakt. Ook
mijn studiegenoten en docenten wil ik graag bedanken. Jullie maakten dat ik iedere week met plezier
de reis naar het ‘verre westen’ wist af te leggen. Bedankt voor de mooie twee jaren!
Nu is het einde van de studie daar. Het werken aan deze scriptie, met vallen en opstaan, zit erop!
Trots op het eindresultaat van deze leerervaring ben ik zeker. Met behulp van het uitgevoerde
onderzoek en schrijven van deze scriptie heb ik kunnen laten zien dat veranderingen met behulp van
agile binnen het auditvakgebied mogelijk zijn. De aangedragen agile-werkwijzen worden herkend en
erkend door een meerderheid van de experts: een mooi resultaat al zeg ik het zelf.
Ook is het moment daar om mijn dank uit te spreken naar iedereen die mij heeft bijgestaan tijdens
mijn studie. Op deze plek wil ik daarom vooral mijn lief Remco bedanken. Lief, bedankt voor de
opbeurende woorden, het overnemen van alle huishoudelijke taken en alle liefde die je me hebt
gegeven tijdens deze periode van studeren, studeren en nog eens studeren. Zonder jouw hulp was
dit nooit gelukt. Ook mijn afstudeerbegeleider Björn Walrave verdient veel dank. Björn, zonder jouw
optimisme, tijdsinvestering en scherpe adviezen was deze scriptie nog niet af geweest. Bedankt voor
al deze positieve support. En lieve familie, collega’s en vrienden, jullie vergeet ik natuurlijk niet. Ook
jullie wil ik bedanken voor alle steun die ik mocht krijgen tijdens de afgelopen tweeënhalf jaar.
Als laatste een speciaal dankwoord voor mijn lieve mam.
Mam, hoewel je er niet meer bent, ik weet dat je me altijd hebt gesteund. Deze is daarom voor jou!
Judith Zigterman – Blokzijl
Haren, juni 2018
iii
II Samenvatting vooraf
In dit onderzoek is nagegaan hoe auditmethodologie eruitziet wanneer deze is verrijkt met
werkwijzen uit methoden gebaseerd op agile. Aanleiding voor dit onderzoek is het onvoldoende
toepassen van aanpassingsvermogen binnen het auditvakgebied. Volgens onderzoekers is dit meer
nodig dan wat tegenwoordig gebruikelijk is voor een IAF. Werken volgens het agile-gedachtegoed
vormt theoretisch gezien een oplossing.
Voor het uitvoeren van dit onderzoek is gebruik gemaakt van kwalitatieve onderzoeksmethoden.
Met behulp van literatuurstudie zijn de belangrijkste kenmerken van agile en auditmethodologie in
kaart gebracht. Om de beperkingen van auditmethodologie in het perspectief van agile te bepalen, is
gebruikgemaakt van het 4-DAT-model. Dit model wordt binnen wetenschappelijk onderzoek gebruikt
om na te gaan of een methode voldoet aan de belangrijkste kenmerken van agile. De uitkomsten zijn
gevalideerd door een van de ontwerpers van auditmethodologie. Door middel van een
literatuuranalyse zijn de beperkingen van auditmethodologie vanuit het perspectief van agile
aangevuld met werkwijzen uit methoden gebaseerd op agile. Met behulp van een Delphi-studie zijn
de resultaten uit de literatuuranalyse gevalideerd door experts uit het agile- en auditvakgebied.
Hiervoor zijn interviews gehouden en vragenlijsten verstuurd.
Op basis van het uitgevoerde onderzoek is bevestigd dat auditmethodologie kan worden verrijkt met
agile-werkwijzen. Bestaande werkwijzen uit auditmethodologie blijven gehandhaafd en worden
aangevuld met agile-werkwijzen die voor de desbetreffende situatie geschikt zijn. In totaal zijn
zeventien agile-werkwijzen aangenomen als verrijkend voor auditmethodologie. Het kan echter niet
met zekerheid worden gesteld dat deze zeventien agile-werkwijzen voor iedere situatie verrijkend
zijn. Een overzicht van de zeventien verrijkende werkwijzen, gelinkt aan de situaties
(auditcategorieën) waarvan met zekerheid kan worden gesteld dat de werkwijzen verrijkend zijn, is
opgenomen in Tabel 1. De bestaande werkwijzen en agile-werkwijzen (Tabel 1) vormen samen
auditmethodologie verrijkt met werkwijzen uit methoden gebaseerd op agile. Het is aan de auditor
om keuzes te maken uit de werkwijzen; de methode per situatie geschikt maken.
iv
Werkwijzen vanuit methoden gebaseerd op agile
Situaties waarin de werkwijzen verrijkend zijn
Be
lan
ghe
bb
en
de
is
vera
ntw
oo
rde
lijke
Be
lan
ghe
bb
en
de
w
il ze
kerh
eid
Do
orl
oo
pti
jd <
2
we
ken
Do
orl
oo
pti
jd >
2
we
ken
< 6
we
ken
Do
orl
oo
pti
jd >
6
we
ken
Op
dra
cht
be
pe
rkte
sc
op
e
Op
dra
chte
n
om
van
grijk
e s
cop
e
Backlog per audit ⎷ △ △ △ ⎷ △ ⎷
Werken in iteraties ⎷ △ △ ⎷ ⎷ △ ⎷
Dagstart ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Multidisciplinair team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Meedraaien in agile-businessteams △ △ △ △ △ △ △
Stakeholdermapping △ ⎷ △ △ ⎷ △ △
Demo/review ⎷ △ △ ⎷ ⎷ △ ⎷
Retro met klant ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Retro met team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Planningsspel △ △ △ △ △ △ △
Persoonlijke kanban ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Werkafspraken (Foundations) △ △ △ △ ⎷ △ △
Fysiek op een locatie werken ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Backlog als auditjaarplan ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Fastlane △ △ △ △ ⎷ △ △
Onderhanden-werk-limiet △ △ △ △ △ △ △
Heartbeats △ △ ⎷ ⎷ ⎷ △ ⎷
Tabel 1: Verrijkende werkwijzen voor auditmethodologie per situatie
⎷= verrijkend △ = verrijkend, maar onzeker voor de desbetreffende situatie
In de gekozen onderzoekaanpak zijn diverse maatregelen ten aanzien van de betrouwbaarheid en
validiteit getroffen waaronder expertselectie op basis van kennis en achtergrond, uittesten van de
gehanteerde vragenlijsten en de beschikbaarstelling van primaire data uit onder andere interviews.
Er zijn geen redenen om aan te nemen dat zich grote systematische of toevallige fouten hebben
voorgedaan tijdens het uitgevoerde onderzoek. Het onderzoek is daarmee betrouwbaar en valide.
Beperking van het onderzoek betreft dat elf werkwijzen (‘multidisciplinair team’,
‘stakeholdermapping’, ‘retro met de klant’, ‘persoonlijke kanban’, ‘werkafspraken’, ‘fysiek op een
locatie werken’, ‘backlog als auditjaarplan’, ‘fastlane’, ‘onderhanden-werk-limiet’ en ‘heartbeats’) die
als verrijkend zijn aangenomen, enkel zijn aangedragen vanuit expertvalidatie. Het is derhalve niet
bekend of deze agile-werkwijzen bijdragen aan de verbetering van de flexibiliteit en het
aanpassingsvermogen in een audit. In een vervolgonderzoek kan hier de focus op worden gelegd.
Tevens is vervolgonderzoek noodzakelijk om na te gaan of de agile-werkwijzen in de praktijk
daadwerkelijk een verrijking vormen voor auditmethodologie en leidt tot meer toegevoegde waarde
van de IAF.
v
Inhoudsopgave I Voorwoord ii II Samenvatting vooraf ....................................................................................................................... iii 1 Inleiding ........................................................................................................................................... 1
1.1 Aanleiding ................................................................................................................................ 1 1.2 Probleemstelling en onderzoeksvragen .................................................................................. 3 1.3 Onderzoekmodel en methoden van onderzoek ..................................................................... 4
2.8.1 Mate van agile in XP, Scrum, FDD, ASD, DSDM ............................................................. 17 2.8.2 Werkwijzen in relatie tot agile-kenmerken en hun voor- en nadelen .......................... 18 2.8.3 Werkwijzen in relatie tot agile-waarden ....................................................................... 23
3.1 Inleiding ................................................................................................................................. 25 3.2 Doel van de analyse en het analyse-instrument ................................................................... 25 3.3 Werkwijze tijdens de analyse ................................................................................................ 25 3.4 Resultaten analyse auditmethodologie................................................................................. 26 3.5 Samenvatting ......................................................................................................................... 27
4.2.1 Type onderzoek en doel van het onderzoek ................................................................. 28 4.2.2 Opzet van de validatie van auditmethodologie ............................................................ 28
4.4 Samenvatting ......................................................................................................................... 33 5 Optimalisatie auditmethodologie met werkwijzen uit methoden gebaseerd op agile ................ 34
5.1 Inleiding ................................................................................................................................. 34 5.2 Doel van de analyse en verwerking van de resultaten .......................................................... 34 5.3 Agile-werkwijzen die auditmethodologie mogelijk verrijken ................................................ 34 5.4 Samenvatting ......................................................................................................................... 35
vi
6 Praktijkonderzoek in de vorm van expertvalidatie ....................................................................... 36 6.1 Inleiding ................................................................................................................................. 36 6.2 Aanpak Delphi-studie en verwerking van de resultaten ....................................................... 36 6.3 Resultaten uit interviews ....................................................................................................... 38
6.3.1 Werkwijzen die als verrijkend voor auditmethodologie zijn aangedragen ................... 38 6.3.2 Onderverdeling naar auditcategorie ............................................................................. 39
6.4 Resultaten uit vragenlijsten ................................................................................................... 40 6.5 Analyse van de resultaten: verrijkende werkwijzen voor auditmethodologie ..................... 42
6.5.1 Verrijkende werkwijzen voor auditmethodologie ......................................................... 42 6.5.2 Verrijkende werkwijzen voor auditmethodologie per situatie ..................................... 44
6.6 Samenvatting: verrijkende werkwijzen voor auditmethodologie per auditcategorie .......... 45 7 Conclusie ....................................................................................................................................... 47 8 Implicaties van het uitgevoerde onderzoek voor de praktijk........................................................ 49
8.1 Betrouwbaarheid en validiteit van het uitgevoerde onderzoek ........................................... 49 8.2 Verwachtingen versus de resultaten ..................................................................................... 49 8.3 Betekenis resultaten voor de theorie en praktijk.................................................................. 50 8.4 Beperkingen van het uitgevoerde onderzoek ....................................................................... 51 8.5 Aanbevelingen voor vervolgonderzoek ................................................................................. 52
Bibliografie ............................................................................................................................................ 53 Bijlage 1 Begripsbepaling Agile-werkwijzen ..................................................................................... 56 Bijlage 2 Overzicht deelnemende experts ....................................................................................... 58 Bijlage 3 Auditmethodologie geprojecteerd op dimensie 1 van het 4-DAT-model ......................... 59 Bijlage 4 Auditmethodologie en de belangrijkste kenmerken van agile ......................................... 60 Bijlage 5 Auditmethodologie geprojecteerd op dimensie 2 van het 4-DAT-model ......................... 66 Bijlage 6 Auditmethodologie geprojecteerd op dimensie 3 van het 4-DAT-model ......................... 68 Bijlage 7 Auditmethodologie geprojecteerd op dimensie 4 van het 4-DAT-model ......................... 70 Bijlage 8 Afstemming analyse auditmethodologie met de expert................................................... 71 Bijlage 9 Analyse agile-werkwijzen per dimensie van het 4-DAT-model ......................................... 72 Bijlage 10 Uitnodiging Delphi-studie .................................................................................................. 78 Bijlage 11 Onthouding van nadere medewerking ............................................................................. 79 Bijlage 12 Interviewvragen ................................................................................................................. 80 Bijlage 13 Interviewverslagen ............................................................................................................ 83 Bijlage 14 Vragenlijst expertvalidatie ................................................................................................. 84 Bijlage 15 Samenvatting argumenten vanuit interviews ................................................................... 89 Bijlage 16 Afstemming interviewvragen ............................................................................................ 98 Bijlage 17 Afstemming vragenlijsten ................................................................................................ 101 Bijlage 18 Resultaten per auditcategorie ......................................................................................... 103 Bijlage 19 Scores vanuit vragenlijsten .............................................................................................. 109
1
1 Inleiding
In dit onderzoek is nagegaan hoe auditmethodologie eruitziet wanneer deze is verrijkt met
werkwijzen uit methoden gebaseerd op agile. Paragraaf 1.1 gaat in op de aanleiding van dit
onderzoek. Paragraaf 1.2 beschrijft de probleemstelling en de centrale vraag. In paragraaf 1.3
worden het onderzoekmodel en de onderzoeksmethode toegelicht. De validiteit en betrouwbaarheid
van het onderzoek worden toegelicht in paragraaf 1.4. Het hoofdstuk sluit af met een leeswijzer in
paragraaf 1.5.
1.1 Aanleiding
Veranderingen in het bedrijfsleven voltrekken zich de laatste jaren steeds sneller. Oorzaken hiervan
zijn de vergaande globalisering, de komst van onder andere blockchaintechnologie en de adoptie van
nieuwe bedrijfsmodellen. Innovatie, technologie en een altijd veranderende werkomgeving gaan de
toekomst van het bedrijfsleven meer en meer bepalen (Munteanu & Berechet, 2016).
De dynamiek in een organisatie wordt door toenemende verandering steeds groter en de
voorspelbaarheid van toekomstige scenario’s steeds kleiner (Hoogveld, 2016). Voor een Internal
Audit Functie (IAF) betekent dit dat deze voorbereid moet zijn op toekomstige ontwikkelingen. Een
IAF moet weten wat er speelt binnen haar organisatie, en moet zich kunnen aanpassen aan de
nieuw(st)e ontwikkelingen. Daarnaast is het van belang dat de IAF haar relevantie behoudt. Immers,
wanneer sprake is van een (continu) veranderende werkomgeving, kan een bevinding of aanbeveling
snel achterhaald zijn (Munteanu & Berechet, 2016). Het auditvakgebied heeft volgens onderzoekers
meer aanpassingsvermogen nodig dan tegenwoordig gebruikelijk is voor een IAF. Een IAF moet
kunnen meebewegen met de problemen die zich voordoen en zich aanpassen waar dit nodig is
(Sarens & Lamboglia, 2014). Met snelle veranderingen omgaan wordt daarom als toegevoegde
waarde gezien, aanvullend op de reeds bestaande auditmethodologie (Nuijten, Van Twist, & Van der
Steen, 2015).
Vanuit (wetenschappelijk) onderzoek is nog maar weinig bekend over de wijze waarop een IAF meer
aanpassingsvermogen kan tonen. Dit in tegenstelling tot bepaalde andere vakgebieden, waaronder
het IT-vakgebied. Binnen het IT-vakgebied, met name voor softwareontwikkeling, is veelvuldig
onderzoek uitgevoerd naar de toepassing van aanpassingsvermogen en flexibiliteit. In meerdere
wetenschappelijke artikelen wordt gerefereerd aan ‘agile’ of het ‘agile-gedachtegoed’ (Dingsøyr,
2
Nerur, Balijepally, & Moe, 2012). De basis van agile ligt volgens onderzoekers in de vier waarden en
twaalf principes (Conforto, Salum, Amaral, Silva, & Almeida, 2014) zoals deze zijn opgenomen in het
agile-manifest (Beck, e.a., 2001). De agile-waarden stellen mensen en hun onderlinge
interactie boven processen en hulpmiddelen, werkende software boven allesomvattende
documentatie, samenwerking met de klant boven contractonderhandelingen en inspelen op
verandering boven het volgen van een plan. De twaalf principes die worden gehanteerd in het agile-
manifest gaan onder andere in op het tevredenstellen van de klant door vroegtijdig opleveren, het
verwelkomen van veranderende behoeftes, het regelmatig opleveren van een product, eenvoud en
het regelmatig evalueren om effectiever te worden (Beck, e a., 2001). Werken volgens het agile-
gedachtegoed en daarmee het agile-manifest stelt teams in staat aanpassingsvermogen en
flexibiliteit te tonen tijdens de uitvoering van projecten (Hu, Yuan, & Zhang, 2009; Hoogveld, 2016).
Inmiddels zijn meerdere (ontwikkel)methoden gebaseerd op het agile-gedachtegoed, waaronder
Scrum, Crystal, Adaptive Software Development (ASD), Feature Driven Development (FDD) en
Extreme Programming (XP) (Hu e.a., 2009). Deze methoden worden gekenmerkt door een iteratieve
aanpak, een hoge mate van flexibiliteit en feedback (Hu e.a., 2009). Hoewel agile tot op heden vooral
wordt toegepast in relatie tot softwareontwikkeling (Scheffield & Lemétayer, 2013), heeft recent
onderzoek uitgewezen dat agile daarnaast toegepast kan worden door sectoren en afdelingen die
niet gelieerd zijn aan IT (Conforto e.a., 2014). Een bekend voorbeeld is ING, waar als een van de
eerste organisaties binnen de bank- en verzekeringssector de ontwikkeling is ingezet om met het
gehele bedrijf agile te gaan werken. ING heeft hiervoor onder andere een flexibele
organisatiestructuur opgezet, gewerkt aan een cultuuromslag en Scrum als werkmethode ingevoerd
(Mahadevan, 2017).
Het ontbreken van voldoende aanpassingsvermogen binnen het auditvakgebied vormt de directe
aanleiding voor dit onderzoek. Werken volgens het agile-gedachtegoed lijkt een oplossing te bieden
op dit thema. Met dit onderzoek wordt kennis over auditmethodologie en werken volgens het agile-
gedachtengoed bij elkaar gebracht. Hiermee wordt beoogd het auditvakgebied concrete werkwijzen
te bieden waarmee zij invulling kan geven aan verandervermogen en flexibiliteit; het
aanpassingsvermogen.
3
1.2 Probleemstelling en onderzoeksvragen
De doelstelling van dit onderzoek is auditmethodologie verrijken met werkwijzen uit methoden
gebaseerd op agile (nader te noemen: agile-werkwijzen). Dit onderzoek is theoretisch relevant omdat
het inzichten verschaft in de manier waarop een audit gemanaged kan worden in een veranderende
omgeving. Het betreft kennis waarover niet eerder is gepubliceerd in de wetenschappelijke
literatuur. Het onderzoek is daarnaast maatschappelijk relevant omdat het van belang is dat een IAF
meer aanpassingsvermogen en flexibiliteit toont in de veranderende werkomgeving. Op basis van de
wetenschappelijke kennis over agile mag worden verwacht dat kenmerken van methoden die
gebaseerd zijn op agile, een verrijking vormen voor auditmethodologie. Voor het vakgebied internal
audit geeft dit onderzoek inzicht in welke agile-werkwijzen verrijkend zijn voor bestaande
auditmethodologie (maatschappelijke relevantie).
Het resultaat van dit onderzoek bestaat uit auditmethodologie aangevuld met een overzicht van
agile-werkwijzen die toepasbaar zijn voor de auditor en bijdragen aan aanpassingsvermogen;
verrijkte auditmethodologie. Door deze verrijkte auditmethodologie toe te passen mag verwacht
worden dat de interne auditor zich effectiever en efficiënter kan inzetten in een omgeving waar
aanpassingsvermogen noodzakelijk is. De verwachting is dat de IAF met behulp van de verrijkte
auditmethodologie beter in staat mee te bewegen met de problemen die zich voordoen gedurende
een opdracht en sneller resultaat kan leveren.
Om de doelstelling van dit onderzoek te realiseren, luidt de centrale vraag van dit onderzoek als
volgt:
• Hoe ziet auditmethodologie eruit wanneer de methodologie is verrijkt met werkwijzen uit
methoden gebaseerd op agile?
Om de centrale vraag te beantwoorden zijn de volgende deelvragen opgesteld:
1. Wat zijn de belangrijkste kenmerken van auditmethodologie en agile?
2. Welke beperkingen kent auditmethodologie vanuit agile-perspectief?
3. Worden de veronderstelde beperkingen van auditmethodologie herkend en erkend door een
van de ontwerpers van auditmethodologie?
4. Welke werkwijzen uit de methoden die op agile gebaseerd zijn vormen volgens de theorie
een verrijking op auditmethodologie?
5. Wordt de voorgestelde optimalisatie van auditmethodologie door experts herkend en
erkend?
4
1.3 Onderzoekmodel en methoden van onderzoek
1.3.1 Onderzoekmodel
Dit onderzoek betreft een theorie-ontwikkelend onderzoek. Voor de uitvoering van dit onderzoek is
gebruikgemaakt van zowel theorie- als praktijkonderzoek. Het onderzoek is uitgevoerd conform het
onderzoekmodel in Figuur 1.1.
Figuur 1.1: Onderzoekmodel
Een bestudering van problemen in het auditvakgebied gebaseerd op bestaande vaktechnische en
wetenschappelijke literatuur (vooronderzoek), evenals een oriëntatie op wetenschappelijke
literatuur over auditmethodologie en agile (a), hebben geleid tot inzicht in de beperkingen van
auditmethodologie ten aanzien van de belangrijkste kenmerken van agile (b). Dit inzicht is
gevalideerd door een expert op het gebied van auditmethodologie. Een vergelijking van de resultaten
uit de validatie en de theorie over de methoden gebaseerd op agile (c) heeft geleid tot een
conceptoverzicht van verrijkende werkwijzen voor auditmethodologie. De resultaten zijn vervolgens
geëvalueerd door negen experts uit de internal audit- en agile-vakgebieden (d). Een analyse van de
resultaten uit de validatie (e) heeft vervolgens geleid tot een overzicht van de werkwijzen uit
methoden gebaseerd op agile die auditmethodologie verrijken (f).
1.3.2 Onderzoeksmethoden
Omdat weinig onderzoek heeft plaatsgevonden naar de verrijking van auditmethodologie met agile-
werkwijzen, is voor de uitvoering van dit onderzoek gekozen voor kwalitatieve onderzoeksmethoden.
Per deelvraag zijn verschillende onderzoeksmethoden toegepast. Een overzicht van de
onderzoeksmethoden per deelvraag is opgenomen in Tabel 1.1.
5
Deelvraag Onderzoeksmethode
1. Wat zijn de belangrijkste kenmerken van auditmethodologie en agile?
Deskresearch aan de hand van literatuurstudie
2. Welke beperkingen kent auditmethodologie vanuit agile-perspectief?
Kwalitatieve analyse van de literatuur met behulp van het 4-DAT-model
3. Worden de veronderstelde beperkingen van auditmethodologie herkend en erkend een van de ontwerpers van auditmethodologie?
Expertvalidatie door een ontwerper van auditmethodologie door middel van schriftelijke en telefonische afstemming
4. Welke werkwijzen uit de methoden die op agile gebaseerd zijn vormen volgens de theorie een verrijking op auditmethodologie?
Kwalitatieve analyse van de literatuur
5. Wordt de voorgestelde optimalisatie van auditmethodologie door experts herkend en erkend?
Expertvalidatie door middel van semigestructureerde interviews en vragenlijsten in een Delphi-studie
Tabel 1.1: Onderzoeksmethode per deelvraag
Ten behoeve van de beantwoording van deelvraag 1 is literatuuronderzoek uitgevoerd. Hierbij is
gesteund op bestaande vaktechnische en wetenschappelijke literatuur. Bestaande literatuur is
bestudeerd om kennis te verkrijgen over de belangrijkste kenmerken van auditmethodologie en
agile. De literatuur over auditmethodologie is met behulp van het 4-DAT-model nader geanalyseerd.
Het resultaat van deze analyse betreft een overzicht met kenmerken van agile waaraan bestaande
auditmethodologie nog niet voldoet (deelvraag 2).
Door middel van expertvalidatie zijn de resultaten uit de literatuuranalyse gevalideerd. Deze validatie
heeft plaatsgevonden om te bepalen in hoeverre belangrijke kenmerken van auditmethodologie over
het hoofd zijn gezien in de literatuuranalyse (deelvraag 3). Voor de uitvoering van deze validatie is
een expert op het gebied van auditmethodologie benaderd. Bij de selectie van de expert is bekeken
wie de meeste kennis bezit over auditmethodologie. Dit betreft iemand die hier (wetenschappelijk)
onderzoek naar heeft verricht of de methodologie regelmatig heeft toegepast. Op basis van
voorgenoemde criteria is ervoor gekozen afstemming te zoeken met een van de ontwerpers van
auditmethodologie.
In eerste instantie heeft in het kader van de validatie schriftelijke afstemming plaatsgevonden.
Omdat schriftelijke resultaten op verschillende wijzen kunnen worden geïnterpreteerd, heeft
aanvullend telefonische afstemming plaatsgevonden met de expert. Op deze manier zijn eventuele
onduidelijkheden uit de schriftelijke validatie ondervangen. De uitkomsten uit de validatie zijn
aangenomen en verwerkt. Het resultaat betreft een overzicht met beperkingen van
auditmethodologie vanuit agile-perspectief.
Voor het tweede gedeelte van het onderzoek is literatuur over agile geanalyseerd. Met behulp van
een kwalitatieve analyse is bepaald welke agile-werkwijzen invulling geven aan de beperkingen van
auditmethodologie vanuit agile-perspectief (deelvraag 4). Vanwege de beperkte omvang van dit
6
onderzoek is ervoor gekozen (slechts) vijf van de methoden die op agile gebaseerd zijn te
bestuderen. De uitkomst van de analyse betreft een conceptoverzicht met agile-werkwijzen die
verrijkend zijn voor auditmethodologie. Dit concept is gevalideerd en aangevuld aan de hand van
expertvalidatie (deelvraag 5). Voor de uitvoering van deze validatie is ervoor gekozen een Delphi-
studie uit te voeren. Een Delphi-studie heeft als kenmerk dat door middel van herhaald bevragen
consensus wordt gezocht. De werkwijze sluit goed aan bij het inventariserende karakter van dit
onderzoek. Voor de uitvoering van de Delphi-studie zijn negen experts uit het agile- en
auditvakgebied benaderd. Alle negen experts hebben deelgenomen aan ronde 1 van de studie. In
ronde 2 heeft een van de negen experts aangegeven niet meer te willen meewerken. Een overzicht
van de deelnemende experts is opgenomen in bijlage 2.
Voor de uitvoering van de Delphi-studie zijn in ronde 1 interviews uitgevoerd, gevolgd door
vragenlijsten in ronde 2. De resultaten uit de Delphi-studie tonen aan in hoeverre agile-werkwijzen
door experts als verrijkend worden erkend en herkend, en in hoeverre dit alleen van toepassing is in
bepaalde situaties. De resultaten uit de Delphi-studie zijn als laatste stap in dit onderzoek
geanalyseerd. Als door een meerderheid van de experts consensus is bereikt dat een werkwijze
verrijkend is voor auditmethodologie, is deze werkwijze als verrijkend aangenomen. Wanneer dit niet
het geval was, is de voorgestelde werkwijze als niet-verrijkend aangemerkt. De analyse heeft geleid
tot een overzicht van agile-werkwijzen die verrijkend zijn voor auditmethodologie per situatie.
1.4 Betrouwbaarheid en validiteit
De kwaliteit van dit onderzoek wordt onder andere bepaald door de betrouwbaarheid en validiteit
van het uitgevoerde onderzoek. In het uitgevoerde onderzoek zijn daarom diverse maatregelen
getroffen om de betrouwbaarheid en validiteit te waarborgen. Maatregelen ten behoeve van de
betrouwbaarheid voorkomen toevallige fouten; maatregelen ten behoeve van de validatie
voorkomen systematische fouten.
Om de betrouwbaarheid van het onderzoek te verhogen is allereerst gebruikgemaakt van
methodetriangulatie. Dit houdt in dat zowel gebruik is gemaakt van literatuuronderzoek, interviews
als vragenlijsten. Resultaten uit de literatuurstudie zijn gevalideerd door middel van interviews met
experts, en vragenlijsten ingevuld door experts. Om het aantal respondenten te bepalen is uitgegaan
van theoretische saturatie. Na negen interviews (waarvan een duo-interview) is gebleken dat geen
7
nieuwe informatie meer werd opgehaald. Hiermee wordt verondersteld dat de omvang van de
steekproef representatief is voor de populatie.
Om de betrouwbaarheid van het onderzoek te vergroten is ervoor gekozen de experts separaat te
interviewen en te laten stemmen door middel van een vragenlijst, in plaats van gebruik te maken van
een focusgroep. Hiermee is voorkomen dat de experts sociaal wenselijk gedrag vertonen in hun
voorkeuren. De interviewverslagen zijn gecodeerd om te analyseren welke agile-werkwijzen als
verrijkend zijn aangedragen. Om de herhaalbaarheid en navolgbaarheid van het onderzoek te
verhogen zijn de volgende zaken beschikbaar gesteld in de bijlagen: de primaire data uit interviews,
afstemmingen met professionals, en argumentatie toegepast in de kwalitatieve analyses.
De validiteit van de literatuurstudie is onder andere geborgd doordat gebruik is gemaakt van het 4-
DAT-model. Dit model is reeds binnen wetenschappelijk onderzoek bekend als een gevalideerd
onderzoeksinstrument. De validiteit van het empirische deel van het onderzoek is onder andere
geborgd doordat begrippen uit de theorie zijn geoperationaliseerd in de vorm van vragen. De vragen
gesteld in interviews, evenals de gehanteerde vragenlijst, zijn vooraf getest bij professionals uit het
vakgebied (bijlagen 16 en 17). Hiermee is de constructvaliditeit van de vragen geborgd. De interviews
zijn vastgelegd in interviewverslagen, die vervolgens zijn afgestemd met de betrokken expert(s).
Bij de selectie van de experts is gekeken naar de kennis van de personen ten aanzien van
verschillende vakgebieden (agile en audit). Hierbij is rekening gehouden met de achtergrond van de
expert in het bedrijfsleven, de kennis van de expert ten aanzien van aandachtsgebieden in het
vakgebied, en de kennis van de expert ten aanzien van toepasbaarheid van auditmethodologie door
zowel grote als kleine IAF’s. Door deze selectie is de interne validiteit van dit onderzoek geborgd. Om
ook de ecologische validiteit van het onderzoek te verhogen, zijn interviews afgenomen in een
vertrouwde omgeving voor de experts. Hierdoor wordt verondersteld dat zij eerlijker zijn geweest in
hun antwoorden dan wanneer de interviews in een onbekende omgeving zouden hebben
plaatsgevonden.
1.5 Leeswijzer
In hoofdstuk 2 worden de belangrijkste kenmerken van auditmethodologie en agile beschreven. In
hoofdstuk 3 volgt een analyse van de literatuur. Dat resulteert in een overzicht met beperkingen van
auditmethodologie vanuit het perspectief van de belangrijkste kenmerken van agile. Een validatie
8
van deze resultaten is opgenomen in hoofdstuk 4. Hoofstuk 5 gaat in op de agile-werkwijzen die
mogelijk een optimalisatie vormen voor auditmethodologie. Hoofstuk 6 bevat de resultaten uit de
expertvalidatie die is uitgevoerd in de Delphi-studie. In hoofdstuk 7 volgt een algehele conclusie voor
dit onderzoek. Dit rapport wordt afgesloten met een discussiehoofdstuk, waarin de
onderzoeksresultaten nader worden beschouwd. In dit hoofdstuk worden tevens suggesties
aangedragen voor vervolgonderzoek.
9
2 Theoretisch kader auditmethodologie en agile
2.1 Inleiding
Dit hoofdstuk belicht de belangrijkste kenmerken van auditmethodologie en agile. Deze kenmerken
vormen samen het startpunt voor de verrijking van auditmethodologie met agile-werkwijzen.
Paragraaf 2.2 bevat een korte introductie tot auditmethodologie. Deze wordt gevolgd door de
belangrijkste kenmerken van auditmethodologie in paragraaf 2.3, en een samenvatting van deze
belangrijkste kenmerken in paragraaf 2.4. Paragraaf 2.5 betreft een introductie van agile, gevolgd
door de belangrijkste kenmerken van agile in paragraaf 2.6. Paragraaf 2.7 gaat in op het 4-DAT-
model, een model om te onderzoeken in hoeverre methoden voldoen aan de kenmerken van agile.
Paragraaf 2.8 is gewijd aan de verschillende agile-werkwijzen, en in hoeverre deze voldoen aan de
belangrijkste kenmerken van agile. Daarnaast biedt deze paragraaf inzicht in de voor- en nadelen van
de verschillende agile-werkwijzen. Paragraaf 2.9 geeft een samenvatting van de belangrijkste
kenmerken van agile.
2.2 Introductie auditmethodologie
Om de belangrijkste kenmerken van auditmethodologie in kaart te brengen, is het van belang het
begrip ‘auditmethodologie’ nader te duiden. Volgens onderzoekers bestaat namelijk geen vaste
methode voor de uitvoering van een audit, maar is sprake van maatwerk per opdracht (Otten e.a.,
2002; Burch, 2011; Bos e.a., 2017). Vanwege de grote diversiteit aan opdrachten is het niet mogelijk
voor iedere audit een gestandaardiseerde methode toe te passen. Daarom is sprake van
auditmethodologie in plaats van een standaardmethode (Otten e.a., 2002; Burch, 2011; Bos e.a.,
2017). Methodologie betreft het geschikt maken van de methode per situatie waarin deze wordt
toegepast (Bos e.a., 2017).
Auditmethodologie is in de afgelopen jaren door meerdere onderzoekers/ontwerpers/auteurs op
verschillende wijzen beschreven (Otten e.a., 2002; Burch, 2011; Driessen & Molenkamp, 2012; The
institute of Internal Auditors, 2016; Bos e.a., 2017). Een gemeenschappelijk kenmerk van de
verschillende methodologieën is de indeling van een opdracht in verschillende fasen. Deze fasen
worden chronologisch uitgevoerd. Echter, de verschillende onderzoekers/ontwerpers/auteurs
hebben een eigen visie ten aanzien van het aantal fasen en de inhoud van de verschillende fasen
10
binnen auditmethodologie. In Tabel 2.1 is een overzicht opgenomen van de verschillende fasen zoals
deze door de verschillende onderzoekers zijn onderkend.
Fasen binnen auditmethodologie
Burch (2011) Driesen en Molenkamp (2012)
IIA (2016) Otten e.a. (2002)
Planning Planning Opdracht planning Selectie van het auditobject
Vooronderzoek Voorbereiding
Veldwerk Veldwerk Uitvoeren van de opdracht Gegevensverzameling
Follow-up Follow-up Monitoren van de opvolging van bevindingen
Afronding (Opvolging/ evaluatie)
Tabel 2.1: Fasen in auditmethodologie per onderzoeker/ontwerper/auteur
Omdat dit onderzoek van beperkte omvang is, wordt enkel gebruikgemaakt van een van de vier
auditmethodologieën. De methodologie die ingaat op management control auditing (Otten e.a.,
2002) wordt hiervoor het meest geschikt geacht. Deze methodologie besteedt zowel aandacht aan
het ontwerp als de beheersing van een opdracht. De methoden gebaseerd op het agile-
gedachtegoed geven ook invulling aan het ontwerp en de beheersing van een opdracht. Naar
verwachting sluit deze variant van auditmethodologie daarom het beste aan op de methoden die
gebaseerd zijn op agile; daarmee is deze variant het meest interessant in het kader van dit
onderzoek.
2.3 Belangrijkste kenmerken auditmethodologie
Naast de indeling van een audit in fasen heeft auditmethodologie andere kenmerken. In deze
paragraaf volgen de belangrijkste kenmerken van auditmethodologie, zoals ontwikkeld en
omschreven door Bos e.a. (2017) in navolging op het gepubliceerde artikel van Otten e.a. (2002).
2.3.1 Raamwerk van aandachtspunten
Auditmethodologie bestaat uit een raamwerk van aandachtspunten, toepasbaar bij het ontwerp van
een audit (Bos e.a., 2017). Onderzoeksmethodologie (Verschuren & Doorewaard, 2015) is hiervoor
de basis (Bos, De Korte, & Otten, 2017). Auditmethodologie helpt de auditor methodisch te werken
en verantwoording af te leggen over de activiteiten die hij/zij heeft uitgevoerd (Bos e.a., 2017).
Auditmethodologie toepassen leidt tot een relevant, deugdelijk en efficiënt verkregen auditresultaat
(Otten e.a., 2002; Bos e.a., 2017). De audit op het juiste moment (urgentie) uitvoeren is hierbij van
belang (Bos e.a., 2017). Daarnaast is het noodzakelijk dat het gehele auditproces controleerbaar is,
11
oftewel transparant en reproduceerbaar (Otten e.a., 2002; Bos e.a., 2017). Dit is conform hetgeen is
opgenomen in het International Professional Practices Framework (IPPF) (The institute of Internal
Auditors, 2017). De genoemde elementen vormen gezamenlijk de doelstelling van
auditmethodologie.
In het auditontwerp maakt de auditor keuzes ten aanzien van de methoden en/of werkwijzen
voor de uitvoering van een audit. Daarbij is het van belang de beheersing van de audit vast te leggen
in een plan van aanpak. Gezamenlijk maken dit plan van aanpak en het auditontwerp het auditproces
(Bos e.a., 2017).
2.3.2 Auditontwerp
Het auditontwerp bestaat uit een conceptueel en technisch ontwerp. In Tabel 2.2 zijn de elementen
hiervan weergegeven.
Conceptueel ontwerp Technisch ontwerp
Auditdoelstelling Gegevensverzameling
Auditmodel Gegevensverwerking, analyse en oordeelsvorming
Objectafbakening Auditrapportage
Auditoptiek, vraagstelling en criteria Auditplanning
Tabel 2.2: Conceptueel en technisch ontwerp van een audit
Noot. Aangepast van “Management Control Auditing: bijdragen aan doelrealisatie en verbetering”, door Bos, P, Korte, de, R., Otten, J., 2017, P. 58, Driebergen, Nederland, Auditing.nl.
Het conceptueel ontwerp geeft invulling aan wat onderzocht wordt in een audit en het doel van de
audit. Het technisch ontwerp geeft invulling aan hoe het onderzoek plaatsvindt. Om het conceptueel
en technisch ontwerp vorm te geven is het van belang de auditcontext tijdens een vooronderzoek te
verkennen. De auditcontext en het auditontwerp in kaart brengen zijn onderdeel van de
voorbereidingsfase van een audit (Bos e.a., 2017).
2.3.3 Werkwijzen binnen een audit
Een audit beheersen vindt plaats door middel van een projectmatige aanpak. Dit betreft een
samenspel tussen routinematig en flexibel werken. Voor het projectmatig werken worden bij
voorkeur de fasen toegepast zoals omschreven in Tabel 2.3. Iedere fase in de audit levert een eigen
resultaat (Bos e.a., 2017).
12
Fase Resultaat
Selectie van het auditobject Keuze voor een onderwerp en het tijdstip waarop het onderzoek wordt uitgevoerd
Voorbereiding Inzicht in wat wordt onderzocht en hoe dit wordt onderzocht (een conceptueel en technisch ontwerp van de opdracht)
Gegevensverzameling Vastlegging van relevante data
Gegevensverwerking, analyse, oordeelsvorming
Formulering van bevindingen, conclusies en/of een oordeel
Rapportage Rapportage van de resultaten van de opdracht
Afronding (opvolging/ evaluatie)
Verbeterde beheersing en verbeterde audit
Tabel 2.3: Fasen in auditmethodologie
Noot. Aangepast van “Management Control Auditing: bijdragen aan doelrealisatie en verbetering”, door Bos, P, Korte, de, R., Otten, J., 2017, P. 28, Driebergen, Nederland, Auditing.nl.
Voor de verschillende fasen zijn door de ontwerpers/auteurs van auditmethodologie diverse
werkwijzen/methoden aangereikt. Dit betreft methoden/werkwijzen voor zowel de opzet, uitvoering
als de beheersing van een audit. Een overzicht van de verschillende methoden/werkwijzen zoals
omschreven door Bos e.a. (2017), is weergeven in Tabel 2.4.
Methoden/werkwijzen opzetten en uitvoeren audit Methoden/werkwijzen beheersen audit
Risicoanalyse voor selectie opdrachten Strokenplanning
Contextanalyse voor bepalen type audit en haalbaarheid van de opdracht
Capaciteitsplanning
Auditontwerp (conceptueel en technisch Kosten/baten-afweging voor inzet capaciteit
Veldwerk voor verzamelen van data Informatiebeheersing door vooraf vastleggen hoe toegang tot documenten wordt geborgd
Scoren van criteria Voortgangsbewaking op kwaliteit, tijd, kosten en organisatie en informatie door auditmanager
Hoor en wederhoor Teamevaluatie
Rapporteren Evaluatie door de opdrachtgever
Tabel 2.4: Methoden en werkwijzen binnen een audit
Keuzes maken voor werkwijzen en methoden vindt plaats in het auditontwerp. De keuzes die
gemaakt worden zijn daarmee vastgelegd voor de gehele audit. Dit betekent dat een opdracht vooraf
gedetailleerd is uitgewerkt en daarmee in flexibiliteit beperkt wordt (Bos e.a., 2017).
Echter, beheersing staat veelal tegenover flexibiliteit. In een snel veranderende omgeving is het van
belang flexibel te zijn om in control te blijven (De Korte & Otten, 2003). De ontwerpers/auteurs van
auditmethodologie stellen daarom dat meer flexibiliteit mogelijk is, door gebruik te maken van een
globaal auditontwerp. Echter, hierbij bestaat het risico dat een globaal auditontwerp ten koste gaat
van efficiënte en effectieve uitvoering van de opdracht (Bos e.a., 2017).
Sellers, 2008a). De definitie van agile (ook wel: agility) die in dit onderzoek wordt toegepast betreft
de definitie van Qumer & Henderson-Sellers (2006):
‘Agility is a persistent behavior or ability of an entity that exhibits flexibility to accommodate expected or unexpected changes rapidly, follows the shortest time span, and uses economical, simple, and quality instruments in a dynamic environment and applies updated prior knowledge and experience to learn from the internal and external environment’. (Qumer & Henderson-Sellers, 2006, p. 505)
Agile-waarden volgens het Agile Manifest
Mensen en hun onderlinge interactie boven processen en hulpmiddelen
Werkende software boven allesomvattende documentatie
Samenwerking met de klant boven contractonderhandelingen
Inspelen op verandering boven het volgen van een plan
14
In deze definitie zijn verschillende aspecten uit meerdere definities meegenomen, waaronder het
inspelen op verandering en reactievermogen. De definitie van Qumer & Henderson-Sellers (2006)
vormt daarmee voor dit onderzoek een zo compleet mogelijk beeld van agile.
2.6 Kenmerken van agile
Agile heeft verschillende kenmerken, die in de (wetenschappelijke) literatuur in meerdere bronnen
zijn terug te vinden. Het gaat daarbij om zowel kenmerken in het Agile Manifest (Beck, e.a., 2001) als
kenmerken vanuit recente publicaties op basis van theoretisch en empirisch onderzoek (Sherehiy,
Noot. Aangepast van “Measuring agility and adoptability of Agile methods; a 4-dimensional analytical tool door Qumer, A. en Henderson-Sellers, B., 2006, IADIS International Conference Applied Computing, P. 503-507.
4-DAT-model
Dimensie 1 (Toepassingsmethode) Scope
1. Omvang van het project Is de methode geschikt om toe te passen voor kleine, middel of grote projecten?
2. Omvang van het team Is de methode geschikt om toe te passen voor kleine of grote teams en voor een of meerdere teams?
3. Ontwikkelmethode Wat voor stijl van ontwikkelen wordt toegepast (iteratief, sequentieel etc.) in de methode?
4. Stijl van coderen Wordt in de methode een expliciete stijl van coderen toegepast?
5. Technologische omgeving Welke verwachtingen zijn er ten aanzien van de technologische omgeving (hulpmiddelen etc.) voor de methode?
6. Fysieke omgeving Welke verwachtingen zijn er ten aanzien van de fysieke omgeving in de methode (bijvoorbeeld meerdere teams, werken op afstand)?
7. Organisatiecultuur Wat voor organisatiecultuur is geschikt voor het toepassen van de methode (coöperatief, niet meewerkend etc.)?
8. Dataverkrijgingsmethode Wordt vanuit de methode een mechanisme aanbevolen voor het onttrekken van data, en zo ja welke?
1. Flexibiliteit Is het met de methode mogelijk aanpassingen door te voeren in de werkwijze op basis van verwachte en onverwachte veranderingen?
2. Snelheid Levert de methode snel resultaat op aan de opdrachtgever?
3. Mate van lean Wordt in de methode aandacht besteed aan het realiseren van de kortste doorlooptijd, het gebruik van middelen en gebruik van kwaliteitsinstrumenten?
4. Leren Wordt in de methode een leereffect gecreëerd door rekening te houden met eerder opgedane kennis, en dit toe te passen in de methode?
5. Reactievermogen Draagt de methode bij aan/triggert de methode (on)verwacht veranderingen in kaart te brengen en hierop te reageren gedurende een project?
1. Mensen en hun onderlinge interactie boven processen en hulpmiddelen
In welke werkwijze binnen de methode komt expliciet tot uitdrukking dat mensen en hun onderlinge interactie boven processen en hulpmiddelen staan?
2. Werkend/goed resultaat boven allesomvattende documentatie
In welke werkwijzen binnen de methode komt expliciet tot uitdrukking dat een werkend/goed resultaat boven allesomvattende documentatie gaat?
3. Samenwerking met de klant boven onderhandelingen
In welke werkwijzen binnen de methode komt expliciet tot uitdrukking dat samenwerking met de klant boven onderhandelingen gaat?
4. Inspelen op verandering boven het volgen van een plan
In welke werkwijzen binnen de methode komt expliciet tot uitdrukking dat het inspelen op verandering boven het volgen van een plan van belang is?
5. Het proces agile houden Welke werkwijzen binnen de methode dragen expliciet bij aan het agile uitvoeren van het proces? Hieronder wordt verstaan technisch uitmuntend, eenvoud (het maximaliseren van het werk dat niet wordt gedaan), evalueren wat beter kan (Koch, 2005).
6. Het proces kosteneffectief houden
Welke werkwijzen binnen de methode dragen expliciet bij aan het kosteneffectief uitvoeren van het proces?
Dimensie 4 (Proceskarakteristieken) Proces
1. Uitvoeren Welke werkwijzen binnen de methode behandelen de levenscyclus en de kwaliteitscontrole van het project?
2. Projectmanagement proces
Welke werkwijzen binnen de methode behandelen het overall managen van het project?
3. Ondersteunende processen
Welke werkwijzen binnen de methode zijn aanwezig om traceerbaarheid, reproduceerbaarheid en identificeerbaarheid vorm te geven?
4. Procesmanagement proces
Welke werkwijzen binnen de methode zijn aanwezig om het proces zelf te managen?
17
In het kader van dit onderzoek is ervoor gekozen het 4-DAT-model van Qumer en Henderson-Sellers
(2006) toe te passen. In dit onderzoek staat kruising van auditmethodologie met agile-werkwijzen
voor het eerst centraal. Daarom is gekozen voor het globalere niveau van het 4-DAT-model, en niet
voor het gedetailleerd CEFAM-model. Uit onderzoek van Qumer en Henderson-Sellers (2008a) blijkt
dat het model dat zij ontworpen hebben niet alleen zinvol is bij de vergelijking van agile-methoden,
maar ook bij de ontwikkeling van een nieuwe methode met fragmenten uit bestaande methoden.
Het 4-DAT-model is het meest compleet in de evaluatie van agile en de elementen voortkomend uit
Agile Manifesto (Taromirad & Ramsin, 2008). Het model sluit daarnaast aan bij de eerder
omschreven kenmerken van agile, en maakt het mogelijk te bepalen in hoeverre auditmethodiek
reeds agile-kenmerken bevat.
2.8 Methoden gebaseerd op agile
Meerdere methoden zijn gebaseerd op agile. De meest bekende methoden zijn Scrum, eXtreme
Programming(XP), Feature Driven Development (FDD), lean software development, Adaptive
Software Development(ASD), Crystal Family en Dynamic System Development Method (DSDM)
(Hamed & Abushama, 2013; Conforto e.a., 2014; Dybå & Dingsøyr, 2008). De verschillende methoden
zijn veelal gebaseerd op het Agile Manifest, maar verschillen onderling wel degelijk van elkaar
(Matharu, Mishra, Singh, & Upadhyay, 2015).
XP, Scrum, FDD, ASD, en DSDM vormen de basis om te bepalen in hoeverre verrijking van
auditmethodologie met agile-werkwijzen mogelijk is. Vanwege de omvang van dit onderzoek is het
niet mogelijk alle methoden te onderzoeken; lean en Crystal (als bekende methoden) zijn mede om
deze reden niet nader uitgewerkt. Dit geldt ook voor alle overige (minder bekende) methoden die op
agile gebaseerd zijn.
Crystal bestaat uit meerdere methoden (Hamed & Abushama, 2013), waardoor het dit
onderzoek onnodig complex zou maken. Paterson onderzocht in een eerdere stadium lean auditing
en legde de resultaten van dit onderzoek vast in een boek (Paterson, 2015). Dit zijn beide
aanvullende redenen om deze twee methoden niet mee te nemen in dit onderzoek.
2.8.1 Mate van agile in XP, Scrum, FDD, ASD, DSDM
Niet elke agile-werkwijze bevat alle kenmerken van agile. Uit onderzoek naar de mate waarin
verschillende methoden die op agile zijn gebaseerd voldoen aan de kenmerken van agile, blijkt dat
18
zowel flexibiliteit, snelheid, leren als reactievermogen worden ondersteund door de werkwijzen uit
XP, Scrum, FDD, ASD, DSDM (Qumer & Henderson-Sellers, 2008a). In Tabel 2.8 is een overzicht van
de eindresultaten uit dit onderzoek gepresenteerd; de getallen hierin geven aan hoeveel werkwijzen
van het totaalaantal werkwijzen bijdragen aan het kenmerk van agile in de bovenste rij. Van de
methoden die in dit onderzoek worden meegenomen is XP de enige die werkwijzen heeft waarmee
Tabel 2.8: Mate van agile voor de methoden die op agile gebaseerd zijn
Noot. Aangepast naar “An Evaluation of the Degree of Agile in Six Agile Methods and its Applicability for method engineering”, Qumer, A., Henderson-Sellers, B., 2008, Information and Software Technology, 50, P. 282-290
2.8.2 Werkwijzen in relatie tot agile-kenmerken en hun voor- en nadelen
XP, Scrum, FDD, ASD, DSDM bestaan uit verschillende werkwijzen, elk met zijn eigen voor- en
nadelen en bijdrage aan de kenmerken van agile. Deze werkwijzen kennen verschillende namen,
maar lijken desondanks veel op elkaar (Al-Zewairi, Biltawi, Etaiwi, & Shaout, 2017; Koch, 2005). De
werkwijzen kunnen worden verdeeld in vier categorieën: werkwijzen die betrekking hebben op het
werken in iteraties (Tabel 2.9), werkwijzen die betrekking hebben op teams (Tabel 2.10), werkwijzen
die specifiek betrekking hebben op softwareontwikkeling en een groep overige werkwijzen (Tabel
2.11). In de verschillende tabellen zijn werkwijzen die sterk op elkaar lijken samengevoegd op een rij.
Werkwijzen die specifiek betrekking hebben op de ontwikkeling van software zijn voor de uitvoering
van audits niet relevant.
Werkwijzen die betrekking hebben op kort cyclisch werken door middel van iteraties, dragen bij aan
de vijf belangrijkste kenmerken van agile (Qumer & Henderson-Sellers, 2008a). Een thema dat
frequent naar voren komt als voordeel van deze werkwijzen is voldoen aan de wens van de
opdrachtgever (Koch, 2005; Alqudah & Razali, 2017). Een ander thema betreft het verhoogde inzicht
in de voortgang van de opdracht voor de opdrachtgever (Rising & Janoff, 2000; Cervone, 2011;
Sutherland, 2014). Thema’s die naar voren komen in de nadelen betreffen demotivatie van
medewerkers, extra tijdsbesteding en onzekerheid over het op te leveren project (Tabel 2.9).
19
Werkwijzen met betrekking tot het werken in iteraties
Fle
xib
ilite
it
Sne
lhe
id
Lean
Lere
n
Re
acti
eve
rmo
gen
Ingevuld op basis van Qumer en Henderson-Sellers (2008a)
Doel Voor- en nadelen/uitdagingen
Product-backlog (Scrum)
X X X X Inzicht geven in wat nog moet worden gerealiseerd op basis van prioriteit (Sutherland, 2014).
Voordelen
• Maakt prioriteiten inzichtelijk conform wens van de opdrachtgever (Sutherland, 2014).
• Verfijning draagt er zorg voor dat duidelijk is wanneer iets voldoet aan de definitie van ‘klaar’ (Sutherland, 2014).
• Opdrachtgever wordt onderdeel van prioriteringsproces, met als gevolg hogere klanttevredenheid (Sutherland, 2014).
• Nut van de activiteiten wordt in kaart gebracht (Sutherland, 2014).
• Uitvoerbaarheid van de activiteit wordt in kaart gebracht (Sutherland, 2014).
• Opdrachtgever heeft zicht op de voortgang van het project (Lee & Xia, 2010).
• Iedereen kan nieuwe items toevoegen en de voortgang monitoren (Lee & Xia, 2010).
Nadelen
• Voorafgaand aan het project is geen volledig overzicht beschikbaar met alle eisen voor het desbetreffende project. Dit kan leiden tot onzekerheid (Koch, 2005).
• Wijzigingen tijdens het project op basis van nieuwe eisen moeten worden gemanaged om te voorkomen dat doorlooptijd en kosten uit de hand lopen
(Koch, 2005). • Er is geen goed zicht op de langetermijnplanning (Dikert, Paasivaara, &
Lassenius, 2016).
Sprint (Scrum) Korte releases (XP) Regelmatige levering van producten (DSDM)
X X X X Iedere sprint/release leidt tot een eindproduct binnen gemiddeld 3 weken (Hu, Yuan, & Zhang, 2009).
Voordelen:
• Snel een bruikbaar resultaat voor de opdrachtgever (Hu e.a., 2009).
• Deadlines worden veelal gehaald (Ayed, Vanderose, & Habra, 2014).
• Door continue deadlines blijft werkdruk gelijk over het gehele project (Koch, 2005).
• Resultaten kunnen worden aangepast indien hier aanleiding voor is in de volgende sprint/release (Overhage & Schlauderer, 2012).
• Lage kosten voor verandering (Ionel, 2008).
• Verbeterde interactie binnen het team (Cervone, 2011).
• Regelmatig meetbare prestaties geven de klant comfort en leveren het team enthousiasme (Koch, 2005).
Nadelen/uitdagingen:
• Werken in korte release vereist veel discipline van de medewerkers (Overhage & Schlauderer, 2012).
• Er is geen duidelijk eindpunt gedefinieerd voor het project (Ionel, 2008).
• In het geval de klant wijzigingen verwacht, kan er sprake zijn van veel aanpassingen in een volgende sprint (Ionel, 2008).
• Er wordt gewerkt binnen een gekaderd tijdbestek. Als een inschatting niet goed is gemaakt of er ontstaan problemen dan doet dit af aan de functionaliteit die wordt opgeleverd (Koch, 2005).
• Regelmatig discussie over de scope van het project en doorlooptijd (Koch, 2005).
• Hoog capaciteitsbeslag op de klant gedurende de gehele looptijd van de opdracht (Budi, Siswa& Abijono in Nugroho, Waluyo, & Hakim, 2017).
X X X X Vaststellen van de eisen en taken voor de volgende periode (Overhage & Schlauderer, 2012).
Voordelen
• Direct periodiek contact met de opdrachtgever, samenwerking met de opdrachtgever (Koch, 2005; Alqudah & Razali, 2017).
• Tijdens de sprint is het team beschermd tegen externe veranderingen (Koch, 2005).
• Inzicht realiseren in op te leveren resultaat aan einde van de sprint (Pino, Pedreira, García, Luaces, & Piattini, 2010).
• Wensen voortkomend uit een vorige sprint kunnen direct worden geprioriteerd (Pino e.a., 2010).
• Door iedere x weken een sprintplanning te maken kan flexibel worden ingespeeld op veranderingen in de omgeving (Scheffield & Lemétayer, 2013).
Nadelen/uitdagingen
• Van de opdrachtgever wordt verwacht dat hij de nodige tijd besteedt aan de planningsbijeenkomsten (Ionel, 2008).
20
• De visie van de opdrachtgever kan het team negatief beïnvloeden (Ionel, 2008).
Dagelijkse scrum (Scrum)
X X X X Binnen het team van elkaar weten hoe het project ervoor staat (Sutherland, 2014).
Voordelen
• Vergrote samenwerking in het team (Rising & Janoff, 2000).
• Grote betrokkenheid van teamleden bij het project (Rising & Janoff, 2000).
• Dagelijks inzicht in de voortgang van het project (Rising & Janoff, 2000).
• Problemen in het project worden dagelijks besproken en gezamenlijk opgepakt (Rising & Janoff, 2000).
• De opdrachtgever kan de meeting bijwonen om dagelijks input te leveren door middel van zijn wensen (Hamed & Abushama, 2013).
Nadelen/uitdagingen
• Medewerkers kunnen gedemotiveerd raken als dagelijkse doelen niet worden bereikt (Rising & Janoff, 2000).
• Extra tijd nodig voor de uitvoering dagelijks. Daarom moet de tijd bepekt worden gehouden (Rising & Janoff, 2000).
• Bij te lange uitvoering raken medewerkers gedemotiveerd (Stray, Lindsjørn, & Sjøberg, 2013).
• De korte besprekingen worden slecht opgenomen in de herinnering van de teamleden (Koch, 2005).
• Medewerkers moeten altijd op hetzelfde tijdstip beschikbaar zijn (Koch, 2005).
Sprintdemo (Scrum) Klantfocusgroep reviews (ASD)
X X X X Demonstreren wat voldoet aan de definitie van klaar (Sutherland, 2014; Koch, 2005).
Voordelen:
• De klant wordt vroegtijdig betrokken in het proces van oplevering en kan het team wijzen om eventuele afwijkingen in de opgeleverde release aan te passen (Cervone, 2011).
• Informele bijeenkomst waarin ideeën openlijk kunnen worden uitgewisseld (Cervone, 2011).
• Verhoogde mate van klanttevredenheid (Alqudah & Razali, 2017).
• Het blijft helder waarom iets wordt ontwikkeld (Mann & Maurer, 2005). Nadelen/uitdagingen
• Het is geen acceptatie van de opgeleverde resultaten (Kongyai & Edi, 2011).
• Iedere stakeholdergroep krijgt een separate demonstratie (Kongyai & Edi, 2011).
Sprintevaluatie (Scrum) Project post mortem (ASD)
X *
X X X *
Evalueren van de voorgaande periode om voor de volgende periode te komen tot verbetering (Fernandes & Almeida, 2010).
Voordelen:
• Het team kan nagaan waar het nog wil verbeteren, geleerde lessen worden besproken voor toekomstige sprints/releases (Drury, Conboy, & Power, 2012).
• Issues die het teamsucces bepalen worden naar voren gehaald (Drury, e.a., 2012).
• Verbeteringen in het werkproces kunnen direct in de volgende iteratie mee worden genomen (Pino e.a., 2010).
Nadelen/uitdagingen:
• Er wordt soms enkel negatief geventileerd, waardoor geen besluiten voor verbetering worden genomen (Drury et al, 2012).
• Tijd vrijmaken voor evaluaties is over het algemeen moeilijk (Koch, 2005)
onder andere bij aan verhoogde flexibiliteit (Overhage & Schlauderer, 2012), reageren op
veranderingen (Koch, 2005) en een betere kwaliteit van het eindproduct (Abrahamsson, Conboy, &
Wang, 2009). Uitdagingen van werken in teams liggen voornamelijk op het vlak van
verantwoordelijkheid behouden (Abrahamsson e.a., 2003; Ghosh, 2012) en een goede samenwerking
toepassen (Chirouze e.a., 2005). Tabel 2.10 schetst een uitgebreid overzicht van de voor-en nadelen
per werkwijze die betrekking hebben op werken in teams.
Werkwijzen die betrekking hebben op teams
Fle
xib
ilite
it
Sne
lhe
id
Lean
Lere
n
Re
acti
eve
rmo
gen
Ingevuld op basis van Qumer en Henderson-Sellers (2008a)
Doel Voor- en nadelen/uitdagingen
Scrummeester (Scrum) Adaptive management model (ASD)
X X X X Begeleiden van het team en helpen te voorkomen dat factoren zich voordoen die het werk van het team vertragen (Sutherland, 2014).
Voordelen:
• De scrummeester ontdekt snel problemen die ontstaan in de werkzaamheden voor het team (Hu e.a., 2009).
• Neemt belemmeringen weg (Cervone, 2011; Dybå & Dingsøyr, 2008).
• Ontwikkelaars kunnen zich focussen op wat voor hen belangrijk is in plaats van het oplossen van problemen (Overhage & Schlauderer, 2012). Creëren van een omgeving voor samenwerking (Koch, 2005).
• Goed leiderschap leidt tot goed resultaat (Koch,2005).
• Een leider neemt problemen weg waardoor het team kan doorwerken (Qureshi & Hussain, 2008).
• Er wordt een omgeving gecreëerd waarin aanpassingen en samenwerking leiden tot rust in de oplevering van resultaten (Riehle, 2000).
Nadeel/uitdaging
• De scrummeester/leidinggevende is niet altijd in staat zijn rol goed te begrijpen. De scrummeester/leidinggevende moet zich niet gedragen als projectleider (Blom, 2010).
Scrumteams (Scrum) Functieteams (FDD) Samenwerkende teams (ASD) Gemotiveerde teams (DSDM)
X X X X Het team realiseert de visie van de producteigenaar (Sutherland, 2014)
Voordelen
• Teams zijn zelfsturend waardoor hoge mate van commitment en verantwoordelijkheid ontstaat (Overhage & Schlauderer, 2012).
• Verhoogde flexibiliteit door inzet van (wisselende) teams (Overhage & Schlauderer, 2012).
• Verbeterde samenwerking dan wanneer ieder voor zichzelf werkt (Overhage & Schlauderer, 2012).
Nadelen/uitdagingen:
• Oppervlakkigere reacties dan wanneer zelfstandig wordt gewerkt (Abrahamsson e.a., 2003).
• Beperkte eigenaarschap van het project (Ghosh, 2012).
• Communicatieproblemen wanneer op afstand wordt gewerkt (Ghosh, 2012).
• Te grote teams (meer dan 10 mensen) maken samenwerken moeilijk (Ionel, 2008).
Collectief eigendom (XP)
X X X Iedereen in het team is eigenaar van de code en mag deze aanpassen (Koch, 2005)
Voordeel:
• Draagt bij aan het reageren op veranderingen (Koch, 2005).
• Betere kwaliteit dan bij individueel eigenaarschap (Abrahamsson e.a., 2009). Nadeel/uitdaging:
• Toepassing op onderzoekers is moeilijk omdat deze gewend zijn zelfstandig te werken (Chirouze e.a., 2005).
Individueel eigenaarschap (FDD)
X X X X Code wordt beheerd door de expert (Koch, 2005)
Voordeel:
• Gedetailleerde kennis over de geschreven code (Koch, 2005). Nadeel:
• Single point of failure (Koch, 2005).
22
• De class-owner moet bij elke wijziging betrokken zijn die betrekking heeft op de class waar hij/zij verantwoordelijk voor is (Koch, 2005).
Klant ter plaatse (XP) Actieve gebruikersbetrokkenheid Samenwerking in het team en samenwerking tussen belanghebbend
en (DSDM)
X**
X***
X X Iemand van de klantzijde continu aanwezig die implementatie-besluiten kan nemen indien nodig (Koch, 2005).
Voordeel:
• Zorgt voor focus op hetgeen waaraan gewerkt wordt (Chirouze e.a., 2005).
• Klantbetrokkenheid bij de uitvoering van het project (Chirouze e.a., 2005).
• Beperkt het risico dat het eindproduct niet voldoet aan de wens van de klant (Chirouze e.a., 2005).
Nadeel:
• Kost veel tijd voor de klant/opdrachtgever (Koch, 2005).
Tabel 2.10: Werkwijzen die betrekking hebben op teams
** Alleen van toepassing op XP
***Alleen van toepassing op DSDM
De overige werkwijzen betreffen de toepassing van een metafoor waarmee meer visie op het project
wordt geboden, een simpel ontwerp maken, configuratiemanagement en zichtbaarheid en
voorgangsrapportages (Tabel 2.11).
Overige werkwijzen
Fle
xib
ilite
it
Sne
lhe
id
Lean
Lere
n
Re
acti
eve
rmo
gen
Ingevuld op basis van Qumer en Henderson-Sellers (2008a)
Doel Voor- en nadelen/ uitdagingen
Metafoor (XP)
X X Bieden van een visie voor het project (het eindproduct) (Koch, 2005)
Voordelen
• Doel voor het project is geformuleerd waaraan stakeholders wijzigingen kunnen wegen (Koch, 2005).
• Begrijpelijk voor de klant (Fernandes & Almeida, 2010).
• Draagt bij aan het zien van onderlinge relaties voor de verschillende componenten (Bowers, Sangwan, & Neill, 2007).
Nadeel/uitdaging:
• Wordt veelal niet begrepen omdat de metafoor te globaal is (Bowers, e.a., 2007).
Simpel ontwerp (XP)
X X X X X Realiseren van een zo simpel mogelijk ontwerp en architectuur ( (Fernandes & Almeida, 2010)
Voordelen:
• Er worden geen features opgenomen die overbodig zijn (Koch, 2005).
• Kostenbesparing doordat toekomstige behoeften vooraf moeilijk in te schatten zijn, en nu worden vermeden (Koch, 2005).
• Er wordt geleverd waar om wordt gevraagd (Dingsøyr e.a., 2012). Nadeel/uitdaging:
• Het begrijpen van deze werkwijze vergt de nodige tijd en kennis investering (Koch, 2005).
Configuratiemanagement (FDD)
X X X X Bewaken van de opgeleverde producten (Koch, 2005)
Voordelen:
• Overzicht en orde (Koch, 2005). Nadeel/uitdaging:
• Er is niet gedefinieerd hoe configuratiemanagement kan worden toegepast (Koch, 2005) .
Zichtbaarheid en voortgangsrapportage (FDD)
X X X X Tonen hoever het project is gevorderd met behulp van voortgangsrapportages (Koch, 2005)
Voordeel
• Er wordt in percentages weergegeven hoever het project is gevorderd. (Koch, 2005).
Nadeel/uitdaging: Niet aangetroffen in de literatuur.
Tabel 2.11: Overige werkwijzen
23
2.8.3 Werkwijzen in relatie tot agile-waarden
Naast een bijdrage aan agile-kenmerken, dragen de werkwijzen bij aan agile-waarden vanuit onder
andere het Agile Manifest. Qumer en Henderson-Sellers bespreken welke werkwijzen een bijdrage
leveren aan de verschillende agile-waarden (Qumer & Henderson-Sellers, 2008a). In Tabel 2.12 is een
overzicht opgenomen van de werkwijzen die bijdragen aan de verschillende agile-waarden (met
uitzondering van de methoden die direct zijn bedoeld voor softwareontwikkeling). Aan alle waarden
wordt door de werkwijzen voldaan, met uitzondering van het proces kosteneffectief houden.
Tabel 2.12: Werkwijzen en de bijdrage aan agile-waarden
Noot. Aangepast naar “An Evaluation of the Degree of Agility in Six Agile Methods and its Applicability for method
engineering”, Qumer, A., Henderson-Sellers, B., 2008, Information and Software Technology, 50, P. 287
2.9 Samenvatting belangrijkste kenmerken agile
De paragrafen 2.6 tot en met 2.8 bieden inzicht in de belangrijkste kenmerken van agile, in hoeverre
agile-werkwijzen hieraan voldoen en de voor- en nadelen van de verschillende agile-werkwijzen. De
belangrijkste kenmerken van agile zijn flexibiliteit, snelheid, lean, leren, verandervermogen, iteratief
werken en een veranderingsgezinde cultuur. De verschillende agile-werkwijzen geven gezamenlijk
invulling aan de kenmerken. Om aan alle kenmerken te voldoen zal daarom een combinatie van
werkwijzen dienen te worden gehanteerd. Verschillende voor- en nadelen van de werkwijzen
Agile-waarden XP Scrum FDD ASD DSDM
Mensen en hun onderlinge interactie boven processen en hulpmiddelen
⏺ planningsspel; ⏺ collectief eigendom; ⏺ klant ter plaatse; ⏺ in tweetallen programmeren.
De expert erkent en herkent de resultaten ten aanzien van mensen en onderlinge interactie boven
processen en hulpmiddelen (Tabel 4.3). De andere resultaten behoeven volgens de expert aanvulling.
Agile-waarden karakteristieken Auditmethodologie en beheersing Herkenning door de expert
1. Mensen en hun onderlinge interactie boven processen en hulpmiddelen
Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier aandacht aan besteedt.
Ja
2. Werkend/goed resultaat boven allesomvattende documentatie
Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier expliciet aandacht aan besteedt.
Nee
3. Samenwerking met de klant boven onderhandelingen
1. Hoor en wederhoor. Resultaten worden teruggelegd en besproken met de auditee/opdrachtgever. 2. Voortgangsrapportage. De opdrachtgever wordt gestimuleerd om betrokken te blijven bij de opdracht.
Deels
4. Inspelen op verandering boven het volgen van een plan
Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier expliciet aandacht aan besteedt.
Nee
5. Het proces agile houden Evaluatie door het team en evaluatie door de opdrachtgever zijn expliciet bedoeld om na te gaan wat er in een volgende opdracht beter kan. Er zijn geen werkwijzen die expliciet ervoor zorgen dat de audit eenvoudig blijft of uitmunten goed wordt uitgevoerd.
Deels
6. Het proces kosteneffectief houden
Kosten-batenafweging voor inzet capaciteit. In het auditontwerp wordt nagedacht welke auditors worden ingezet om tot een gedegen resultaat te komen. Voortgangsbewaking. Tijdens de audit wordt nagegaan of nog steeds conform plan wordt gewerkt. Daarnaast wordt waar nodig bijgestuurd.
Deels
Tabel 4.3: Resultaten expertvalidatie dimensie 3
Een werkend resultaat, samenwerking met de klant, inspelen op verandering en het proces agile
houden worden volgens de expert vormgegeven in het vooronderzoek. Het werkend resultaat
31
betreft zorgen voor een relevant resultaat, een van de doelstellingen van auditmethodologie.
Samenwerking met de klant is in het vooronderzoek, volgens de expert, om deze reden van belang.
Het vooronderzoek is volgens de expert tevens de wijze om in te spelen op verandering boven het
volgen van het originele auditplan. Uit het vooronderzoek kan blijken dat de opdracht, zoals eerder
globaal is vormgegeven, niet meer passend is in de huidige situatie. Daarnaast kunnen wensen van
de opdrachtgever zijn veranderd, of kunnen processen zijn gewijzigd. In het vooronderzoek wordt
nagegaan welke elementen relevant zijn voor de opdracht. In het vooronderzoek is het van belang
dat een opdracht zo eenvoudig mogelijk wordt gehouden, aldus de expert. Dit duidt er volgens de
expert op dat er in het vooronderzoek wel degelijk over moet worden nagedacht dat het proces agile
wordt gehouden.
Ten aanzien van het proces kosteneffectief houden, ontbreekt volgens de expert de
verzameling van data en criteria scoren. Door een bronnenmatrix toe te passen waarin veel-op-veel-
relaties zijn opgenomen kan met weinig bronnen tot een goed resultaat worden gekomen, aldus de
1. Mensen en hun onderlinge interactie boven processen en hulpmiddelen
Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier aandacht aan besteedt.
Geen
2. Werkend/goed resultaat boven allesomvattende documentatie
Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier expliciet aandacht aan besteedt.
Er zijn geen beperkingen op dit vlak. In de contextanalyse wordt aandacht besteed aan de relevantie van het onderzoek. Wanneer het onderzoek relevant is levert dit een werkend resultaat op.
4. Inspelen op verandering boven het volgen van een plan
Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier expliciet aandacht aan besteedt.
Tijdens de audit zelf is (enkel van toepassing bij langlopende opdrachten) weinig mogelijkheid tot inspelen op veranderingen. Dit betreft een beperking. Voorafgaand aan iedere audit wordt aandacht besteed aan veranderingen binnen de context- en technische analyse. Hieruit komen veranderingen naar voren ten opzichte van het auditjaarplan. Deze worden meegenomen in het auditontwerp. Voor audits met een korte doorlooptijd is daarmee wel mogelijkheid in te spelen op veranderingen.
5. Het proces agile houden Er zijn geen werkwijzen die expliciet ervoor zorgen dat de audit eenvoudig blijft of uitmuntend wordt uitgevoerd.
Er zijn geen werkwijzen die expliciet ervoor zorgen dat de audit uitmuntend wordt uitgevoerd. Wel zijn er werkwijzen die ervoor zorgen dat de audit eenvoudig blijft. De evaluatie door het team en evaluatie door de opdrachtgever zijn expliciet bedoeld om na te gaan wat in een volgende opdracht beter kan. In het vooronderzoek is het daarnaast van belang te werken aan de opzet van een eenvoudige opdracht. Vooronderzoek uitvoeren ondersteunt hierbij.
33
overzicht van beperkingen van auditmethodologie vanuit agile-perspectief. Dit overzicht is
opgenomen in Tabel 4.6.
Elementen 4-DAT-model Tekortkoming na expertvalidatie
Dimensie 1 (Toepassingsmethode) Scope
3. Ontwikkelmethode Clusteren van inhoudelijke activiteiten in logische stappen van tijd, projectfasen in plaats van werken in iteraties.
1. Mensen en hun onderlinge interactie boven processen en hulpmiddelen
Er is geen specifieke werkwijze binnen auditmethodologie die hier aandacht aan besteedt.
4. Inspelen op verandering boven het volgen van een plan
Tijdens de audit zelf is er (enkel van toepassing bij langlopende opdrachten) weinig mogelijkheid tot het inspelen op veranderingen.
5. Het proces agile houden Er zijn geen werkwijzen die expliciet ervoor zorgen dat de audit uitmuntend wordt uitgevoerd.
Tabel 4.6: Beperkingen auditmethodologie vanuit agile-perspectief na expertvalidatie
4.4 Samenvatting
Door middel van schriftelijke en telefonische afstemming heeft expertvalidatie plaatsgevonden van
de uitgevoerde analyse van de auditmethodologie. De expertvalidatie heeft in kaart gebracht dat
voor drie agile-waarden auditmethodologie minder beperkingen kent dan op basis van de theorie
werd aangenomen. Een werkend resultaat boven alles omvattende documentatie wordt in
auditmethodologie afgedekt door middel van de contextanalyse, evenals inspelen op veranderingen
(alleen voor kortlopende audits). Het proces eenvoudig houden (onderdeel van het proces agile
houden) wordt afgedekt door middel van het vooronderzoek en het evalueren van een audit.
De overige beperkingen van auditmethodologie, in het perspectief van agile-kenmerken, worden wel
door de expert herkend en erkend.
34
5 Optimalisatie auditmethodologie met werkwijzen uit methoden gebaseerd op agile
5.1 Inleiding
In hoofdstuk 4 zijn, op basis van expertvalidatie, de beperkingen van auditmethodologie vanuit het
perspectief van agile gevalideerd. In dit hoofdstuk staat centraal welke agile-werkwijzen invulling
kunnen bieden voor de geconstateerde beperkingen. Paragraaf 5.2 licht het doel toe van de analyse
en de methode voor de verwerking van de resultaten. In paragraaf 5.3 staan de resultaten uit de
analyse centraal. Paragraaf 5.4 vat samen welke agile-werkwijzen een potentiële verrijking vormen
voor auditmethodologie.
5.2 Doel van de analyse en verwerking van de resultaten
Om in kaart te brengen welke werkwijzen uit methoden die op agile gebaseerd zijn een verrijking
vormen voor auditmethodologie, heeft een kwalitatieve analyse van de literatuur plaatsgevonden.
Met behulp van literatuur over agile, zoals omschreven in het theoretisch kader (hoofdstuk 2), is
geanalyseerd welke agile-werkwijzen mogelijk invulling geven aan de beperkingen van
auditmethodologie vanuit agile-perspectief.
Voor ieder van de vijf methoden die op agile gebaseerd zijn, zijn de voor- en nadelen in kaart
gebracht en is vastgesteld aan welke kenmerken van agile de werkwijzen invulling geven. Per
werkwijze is vervolgens nagegaan of zij:
• niet voorkomen binnen auditmethodologie;
• een bijdrage leveren aan de doelstelling van auditmethodologie;
• invulling geven aan kenmerken van agile waar auditmethodologie niet aan voldoet.
Bij een positieve uitkomst voor iedere analyse is de werkwijze in concept als verrijkend voor
auditmethodologie aangemerkt. De uitwerking van de analyse is opgenomen in bijlage 9.
5.3 Agile-werkwijzen die auditmethodologie mogelijk verrijken
Op basis van de uitgevoerde analyse vormen de agile-werkwijzen in Tabel 5.1 potentieel een
verrijking van auditmethodologie. Van deze werkwijzen wordt, op basis van de literatuurstudie,
aangenomen dat zij bijdragen aan de doelstelling van auditmethodologie.
35
Beperking auditmethodologie
Verrijkende agile-werkwijze Situaties waarin de werkwijzen verrijkend zijn
Gefaseerde methode (chronologisch) in plaats van iteratief
Iteratief werken (werken in sprints/korte releases/regelmatige levering van producten (zie hieronder)).
Opdrachten met langere doorlooptijd en/of omvangrijke scope.
Beperkte tot gemiddelde mate van flexibiliteit
• product-backlog opstellen en de opdrachtgever betrekken bij de prioritering van uitvoering en de mogelijkheid bieden normen toe te voegen tijdens de opdracht;
• dagelijkse scrum;
• sprint/korte releases/regelmatige levering van producten;
Opdrachten met langere doorlooptijd en/of omvangrijke scope.
Er zijn geen werkwijzen die expliciet ervoor zorgen dat de audit uitmuntend wordt uitgevoerd.
-
Tabel 5.1 Werkwijzen die potentieel auditmethodologie verrijken
5.4 Samenvatting
Dit hoofdstuk belicht welke agile-werkwijzen een verrijking vormen voor auditmethodologie. Iteratief
werken en zeven werkwijzen hanteren, waaronder een sprintplanning toepassen, evaluaties,
demonstraties en een dagelijkse scrum, vormen potentieel een verrijking op auditmethodologie. De
agile-werkwijzen zijn als verrijkend geselecteerd door onder andere de voor- en nadelen te
analyseren, en door te bepalen in hoeverre de agile-werkwijzen een bijdrage leveren aan de
doelstelling van auditmethodologie.
36
6 Praktijkonderzoek in de vorm van expertvalidatie
6.1 Inleiding
Dit hoofdstuk geeft inzicht in de opzet en de resultaten van het empirisch onderzoek. De uitgevoerde
Delphi-studie had tot doel nagaan in hoeverre de agile-werkwijzen, die vanuit de theorie zijn
aangemerkt als verrijkend voor auditmethodologie (paragraaf 5.3), herkend en erkend worden door
experts in het agile- en auditvakgebied. Op basis van de beperkingen van auditmethodologie vanuit
agile perspectief zijn de agile-werkwijzen ‘backlog’, ‘dagelijkse scrum’, ‘sprint’, ‘sprintplanning’,
‘sprintdemo’, ‘sprintevaluatie’ en ‘scrummeester’ als potentieel verrijkend voor auditmethodologie
aangemerkt.
De aanpak van de Delphi-studie en de wijze waarop de resultaten zijn verwerkt zijn toegelicht in
paragraaf 6.2. Paragraaf 6.3 bevat de resultaten van de afgenomen interviews, en paragraaf 6.4 gaat
in op de resultaten uit vragenlijsten. In paragraaf 6.5 staat de analyse van de resultaten centraal,
resulterend in een overzicht met werkwijzen die verrijkend zijn voor auditmethodologie. Het
hoofdstuk sluit af met een korte samenvatting in paragraaf 6.6.
6.2 Aanpak Delphi-studie en verwerking van de resultaten
In het onderzoek is gekozen een Delphi-studie uit te voeren. Een Delphi-studie verschaft inzicht in de
mening van experts door middel van herhaald bevragen consensus te zoeken.
Voor de uitvoering van de Delphi-studie zijn negen experts benaderd per e-mail (bijlage 2). In de
uitnodiging is de experts gevraagd mee te werken het onderzoek. Tevens is aangegeven welke
verwachting er waren ten aanzien van de medewerking van de experts. De uitnodiging is opgenomen
in bijlage 10. Alle negen experts hebben meegewerkt aan ronde 1 van de Delphi-studie, de interviews
houden. Een expert heeft ervoor gekozen in ronde 2 de vragenlijst niet aan te leveren (bijlage 11).
De uitgevoerde Delphi-studie bestond uit semigestructureerde interviews, waarbij iedere expert
separaat is gesproken. De vragenlijst is weergegeven in bijlage 12. Voor de herkenbaarheid van de
agile-werkwijzen is ervoor gekozen deze te benoemen algemene termen. In Tabel 6.1 is een overzicht
opgenomen hoe de werkwijzen aan elkaar kunnen worden gelinkt.
37
Term vanuit literatuurstudie Term toegepast in empirisch onderzoek
Productbacklog opstellen en de opdrachtgever betrekken bij de prioritering van uitvoering en de mogelijkheid bieden normen toe te voegen tijdens de opdracht.
Backlog per audit
Dagelijkse scrum Dagstart
Sprint/korte releases/regelmatige levering van producten Werken in iteraties
Tabel 6.4: Overzicht resultaten panel per auditcategorie
De percentages in de tabel geven aan hoeveel procent van de experts met een geldig antwoord de agile-werkwijze als verrijkend ziet voor de desbetreffende situatie.
Uit Tabel 6.5 blijkt dat de meerderheid van de experts voor zeven agile-werkwijzen aangeeft dat deze
in alle situaties verrijkend zijn: ‘dagstart’ (75%), ‘multidisciplinair team’ (62,5%), ‘retro met de klant’
(62,5%), ‘retro met het team’ (62,5%), ‘persoonlijke kanban’ (71,4%), ‘fysiek werken op een locatie’
(57,1%) en ‘backlog als auditjaarplan’ (57,1%). Voor ‘meedraaien in agile-businessteams’,
‘planningsspel’ en ‘onderhanden-werk-limiet’ is in geen van de categorieën een meerderheid van de
experts die de agile-werkwijze als verrijkend herkent en erkent.
42
Voor de overige agile-werkwijzen geldt dat in een gedeelte van de situaties de agile-werkwijze door
een meerderheid van de experts als verrijkend wordt erkend en herkend. Uit de resultaten blijkt dat
een meerderheid van de experts stelt dat de agile-werkwijzen, met uitzondering van ‘meedraaien in
agile-businessteams’ en ‘onderhanden-werk-limiet, verrijkend zijn voor auditmethodologie als de
audit een doorlooptijd heeft van langer dan zes weken.
6.5 Analyse van de resultaten: verrijkende werkwijzen voor auditmethodologie
Om te bepalen of een agile-werkwijze als verrijkend kan worden beschouwd voor
auditmethodologie, dienden minimaal vijf van de deelnemende acht panelleden een bruikbaar
(oftewel eenduidig te interpreteren) antwoord te geven tijdens invulling van de vragenlijst. Een agile-
werkwijze is als verrijkend aangenomen indien uit de meerderheid van de (minimaal vijf) bruikbare
antwoorden bleek dat een agile-werkwijze als verrijkend mag worden onderkend (paragraaf 6.5.1).
Indien uit exact vijftig procent van de bruikbare antwoorden bleek dat een agile-werkwijze als
verrijkend mag worden onderkend, heeft de onderzoeker een afweging gemaakt in het aannemen
van de agile-werkwijze als verrijkend of niet-verrijkend. Deze afweging heeft plaatsgevonden op basis
van de voor- en nadelen van de werkwijzen vanuit de literatuur en aangedragen door de experts
tijdens interviews.
Van de agile-werkwijzen waarvan is aangenomen dat deze verrijkend zijn voor
auditmethodologie, is tevens nagegaan of er situaties (auditcategorieën) zijn waarvoor deze agile-
werkwijzen als verrijkend kunnen worden beschouwd. Hiervoor is eveneens aangehouden dat een
agile-werkwijze als verrijkend is aangenomen indien uit de meerderheid van de bruikbare
antwoorden bleek dat een agile-werkwijze als verrijkend mag worden onderkend. De agile-werkwijze
is als verrijkend maar onzeker in de desbetreffende situatie aangemerkt, wanneer minder dan 51
procent van de experts de werkwijze voor de auditcategorie als verrijkend heeft herkend en erkend
(paragraaf 6.5.2).
6.5.1 Verrijkende werkwijzen voor auditmethodologie
Van de zeven werkwijzen die vanuit de literatuur als verrijkend zijn onderkend, zijn er vijf door een
meerderheid van de experts als verrijkend bekrachtigd: ‘backlog per audit’, ‘dagstart’, ‘werken en
iteraties’, demo/review’ en ‘retro met het team’. Deze zijn als verrijkend aangenomen. De
‘scrummeester’ is als enige van de zeven werkwijzen niet als verrijkend door de experts aangedragen
(Tabel 6.5). Het resultaat uit de literatuurstudie voor de ‘scrummeester’ is derhalve verworpen.
43
Het ‘planningsspel’ kent vanuit de expertvalidatie een onduidelijk resultaat. Drie experts stemden
verrijkend en drie experts stemden niet-verrijkend. Van de drie experts die niet-verrijkend stemden,
heeft een aangegeven dat de werkwijze reeds in auditmethodologie bestaat. Echter, de werkwijze
wordt niet expliciet binnen auditmethodologie benadrukt (bijlage 19). In de interviews gaven de
experts aan dat de werkwijze zou leiden tot een realistische planning (bijlage 13). Vanuit de
literatuurstudie (hoofdstuk 2) is gebleken dat een planningsspel meer inzicht biedt in wat opgeleverd
kan worden aan het einde van een sprint, bijdraagt aan het stellen van de juiste prioriteiten en maakt
dat het team flexibel kan inspelen op een veranderende omgeving. Vanuit zowel de interviews als de
literatuurstudie zijn er geen nadelen geconstateerd die een negatieve invloed hebben op het
realiseren van een audit. Derhalve lijkt het zinvol het planningsspel expliciet te benadrukken binnen
auditmethodologie; het ‘planningsspel’ is als verrijkend voor auditmethodologie aangenomen.
Verrijkende agile-werkwijze op basis van literatuuranalyse
Resultaat expertvalidatie Conclusie
Backlog per audit Verrijkend (6/8) Verrijkend
Dagstart Verrijkend (7/8) Verrijkend
Werken in iteraties Verrijkend (8/8) Verrijkend
Planningsspel Onduidelijk (3/6) Verrijkend
Demo/review Verrijkend (7/8) Verrijkend
Retro met het team Verrijkend (6/8) Verrijkend
Scrummeester Niet verrijkend (3/8) Niet verrijkend
Tabel 6.5: Literatuurstudie en resultaten uit expertvalidatie
Vanuit het eerste deel van de Delphi-studie zijn, aanvullend op de literatuurstudie, twaalf werkwijzen
aangedragen als potentieel verrijkend. Negen van de agile-werkwijzen die door de experts zijn
aangedragen worden door de experts als verrijkend herkend en erkend. De negen werkwijzen zijn
dan ook als verrijkend aangenomen (Tabel 6.6).
Tabel 6.6: Verrijkende werkwijzen volgens experts
Verrijkende agile-werkwijzen vanuit interviews
Resultaat expertvalidatie Conclusie
Dagstart zoals in krimi’s Onvoldoende stemmen (3/3) Onduidelijk
Multidisciplinair team Verrijkend (6/8) Verrijkend
Meedraaien in agile-businessteams Onduidelijk (4/8) Verrijkend
Tabel 6.7: Verrijkende werkwijzen per situatie: resultaten uit literatuuranalyse, empirisch onderzoek en conclusies
⎷= verrijkend △ = verrijkend, maar onzeker voor de desbetreffende situatie
6.6 Samenvatting: verrijkende werkwijzen voor auditmethodologie per auditcategorie
In dit hoofdstuk zijn de resultaten uit de expertvalidatie weergegeven. Vanuit de expertvalidatie zijn
vijf van de zeven werkwijzen die zijn aangedragen vanuit de literatuurstudie bevestigd als verrijkend.
Daarnaast zijn door de experts twaalf aanvullende werkwijzen aangedragen als verrijkend. Experts
hebben daarbovenop gestemd over de situaties waarvoor de agile-werkwijze als verrijkend kan
worden aangemerkt.
In totaal zijn vanuit de analyse van de resultaten zeventien agile-werkwijzen als verrijkend voor
auditmethodologie aangenomen. Deze werkwijzen kunnen overwogen worden in verschillende
situaties. Een overzicht van de zeventien verrijkende werkwijzen, gelinkt aan de situaties waarvan
met zekerheid kan worden gesteld dat de agile-werkwijzen verrijkend zijn, is opgenomen in Tabel
6.8.
46
Werkwijzen Situaties waarin de werkwijzen verrijkend zijn
Bel
angh
ebb
end
e is
vera
ntw
oo
rde
lijke
Bel
angh
ebb
end
e w
il ze
kerh
eid
Do
orl
oo
pti
jd <
2 w
eken
Do
orl
oo
pti
jd >
2 w
eken
< 6
w
eken
Do
orl
oo
pti
jd >
6 w
eken
Op
dra
cht
bep
erk
te s
cop
e
Op
dra
chte
n o
mva
ngr
ijke
sco
pe
Backlog per audit ⎷ △ △ △ ⎷ △ ⎷
Werken in iteraties ⎷ △ △ ⎷ ⎷ △ ⎷
Dagstart ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Multidisciplinair team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Meedraaien in agile-businessteams △ △ △ △ △ △ △
Stakeholdermapping △ ⎷ △ △ ⎷ △ △
Demo/review ⎷ △ △ ⎷ ⎷ △ ⎷
Retro met klant ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Retro met team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Planningsspel △ △ △ △ △ △ △
Persoonlijke kanban ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Werkafspraken (Foundations) △ △ △ △ ⎷ △ △
Fysiek op een locatie werken ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Backlog als auditjaarplan ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Fastlane △ △ △ △ ⎷ △ △
Onderhanden-werk-limiet △ △ △ △ △ △ △
Heartbeats △ △ ⎷ ⎷ ⎷ △ ⎷
Tabel 6.8: Verrijkende werkwijzen voor auditmethodologie per situatie
⎷= verrijkend △ = verrijkend, maar onzeker voor de desbetreffende situatie
47
7 Conclusie
In dit onderzoek is nagegaan hoe auditmethodologie eruitziet wanneer de methodologie is verrijkt
met werkwijzen uit methoden gebaseerd op agile.
Uit de literatuurstudie over auditmethodologie zijn de belangrijkste kenmerken van bestaande
auditmethodologie gebleken. Door de kenmerken te kruisen met de belangrijkste kenmerken uit
agile, is een overzicht ontstaan met beperkingen van auditmethodologie vanuit agile-perspectief. De
resultaten zijn gevalideerd door een expert op het gebied van auditmethodologie. In een
literatuurstudie is onderzocht welke werkwijzen invulling bieden voor die beperkingen. Het overzicht
met verrijkende werkwijzen is vervolgens gevalideerd en aangevuld door experts met behulp van een
Delphi-studie.
Op basis van het uitgevoerde onderzoek is bevestigd dat auditmethodologie verrijkt kan worden met
agile-werkwijzen. Methodologie houdt in dat de methode die wordt toegepast per situatie geschikt
wordt gemaakt (hoofdstuk 2). Bestaande werkwijzen uit auditmethodologie blijven derhalve
gehandhaafd (Tabel 7.1).
Methoden/werkwijzen opzetten en uitvoeren audit Methoden/werkwijzen beheersen audit
Risicoanalyse voor selectie opdrachten Strokenplanning
Contextanalyse voor bepalen type audit en haalbaarheid van de opdracht
Capaciteitsplanning
Auditontwerp (conceptueel en technisch Kosten/baten-afweging voor inzet capaciteit
Veldwerk voor verzamelen van data Informatiebeheersing door vooraf vastleggen hoe toegang tot documenten wordt geborgd
Scoren van criteria Voortgangsbewaking op kwaliteit, tijd, kosten en organisatie en informatie door auditmanager
Hoor en wederhoor Teamevaluatie
Rapporteren Evaluatie door de opdrachtgever
Tabel 7.1: Bestaande werkwijzen auditmethodologie
Aanvullend zijn zeventien agile-werkwijzen als verrijkend aangenomen (Tabel 7.2). Aan de hand van
een indeling in auditcategorieën is tevens nagegaan in welke situaties deze zeventien werkwijzen
verrijkend zijn. Daaruit is gebleken dat niet voor elke situatie met zekerheid kan worden gesteld dat
de werkwijze verrijkend is. Een overzicht van de zeventien verrijkende werkwijzen, gelinkt aan de
situaties (auditcategorieën) waarvan met zekerheid kan worden gesteld dat de werkwijzen verrijkend
zijn, is opgenomen in Tabel 7.2.
48
Werkwijzen vanuit methoden gebaseerd op agile
Situaties waarin de werkwijzen verrijkend zijn
Be
lan
ghe
bb
en
de
is
vera
ntw
oo
rde
lijke
Be
lan
ghe
bb
en
de
w
il ze
kerh
eid
Do
orl
oo
pti
jd <
2
we
ken
Do
orl
oo
pti
jd >
2
we
ken
< 6
we
ken
Do
orl
oo
pti
jd >
6
we
ken
Op
dra
cht
be
pe
rkte
sc
op
e
Op
dra
chte
n
om
van
grijk
e s
cop
e
Backlog per audit ⎷ △ △ △ ⎷ △ ⎷
Werken in iteraties ⎷ △ △ ⎷ ⎷ △ ⎷
Dagstart ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Multidisciplinair team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Meedraaien in agile-businessteams △ △ △ △ △ △ △
Stakeholdermapping △ ⎷ △ △ ⎷ △ △
Demo/review ⎷ △ △ ⎷ ⎷ △ ⎷
Retro met klant ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Retro met team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Planningsspel △ △ △ △ △ △ △
Persoonlijke kanban ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Werkafspraken (Foundations) △ △ △ △ ⎷ △ △
Fysiek op een locatie werken ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Backlog als auditjaarplan ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Fastlane △ △ △ △ ⎷ △ △
Onderhanden-werk-limiet △ △ △ △ △ △ △
Heartbeats △ △ ⎷ ⎷ ⎷ △ ⎷
Tabel 7.2: Verrijkende werkwijzen voor auditmethodologie per situatie
⎷= verrijkend △ = verrijkend, maar onzeker voor de desbetreffende situatie
De bestaande werkwijzen (Tabel 7.1) en agile-werkwijzen (Tabel 7.2) vormen samen
auditmethodologie verrijkt met werkwijzen uit methoden gebaseerd op agile. Zoals beschreven is
methodologie de methode per situatie geschikt maken; keuzes uit de werkwijzen zullen derhalve per
situatie moeten worden gemaakt.
49
8 Implicaties van het uitgevoerde onderzoek voor de praktijk
8.1 Betrouwbaarheid en validiteit van het uitgevoerde onderzoek
Auditmethodologie verrijkt met werkwijzen uit methoden gebaseerd op agile is tot stand gekomen
door middel van literatuurstudie en expertvalidatie. De beperkingen van auditmethodologie vanuit
agile-perspectief zijn onderzocht, waarna de beperkingen zijn ingevuld met agile-werkwijzen. Voor
de uitvoering van het onderzoek zijn diverse maatregelen getroffen ten behoeve van de
betrouwbaarheid en validiteit (paragraaf 1.4).
Tijdens het onderzoek is gebleken dat in het negende interview geen nieuwe informatie
meer werd verkregen (theoretische saturatie). De omvang van het panel is daarmee representatief
voor de populatie. Sociaal wenselijk gedrag van panelleden is door middel van separaat interviewen
van experts voorkomen. De experts hebben een overzicht ontvangen met daarin een korte
toelichting per agile-werkwijze om begripsverwarring te voorkomen. Primaire data uit het onderzoek
is beschikbaar gesteld in de bijlagen waardoor resultaten kunnen worden geverifieerd. Op basis van
de uitgevoerde werkzaamheden en de maatregelen die zijn getroffen ten aanzien van de
betrouwbaarheid kan worden gesteld dat bij herhaling van dit onderzoek de resultaten hetzelfde
zouden zijn. Het onderzoek is daarmee betrouwbaar.
Belangrijke maatregel die is getroffen om de validatie van het onderzoek te borgen is het
testen van de vragen voor de interviews en vragenlijst. Beide instrumenten zijn vooraf door
professionals uit het vakgebied getest. Echter, bij de analyse van de resultaten uit de Delphi-studie is
gebleken dat de antwoordcategorieën voor ‘backlog als auditjaarplan’ in de vragenlijst niet passen bij
de desbetreffende vraag. De resultaten uit het onderzoek voor ‘backlog als auditjaarplan’ zijn
derhalve niet valide. Voor de overige resultaten kan worden gesteld dat zich geen systematische
fouten hebben voorgedaan; het onderzoek is derhalve voor de overige resultaten valide.
8.2 Verwachtingen versus de resultaten
Op basis van eerder onderzoek en de literatuurstudie bestonden bepaalde verwachtingen ten
aanzien van de resultaten van dit onderzoek. Niet alle verwachtingen zijn uitgekomen.
Op basis van de uitgevoerde literatuurstudie werd verondersteld dat zeven agile-werkwijzen
auditmethodologie zouden kunnen verrijken. Tijdens de expertvalidatie zijn de resultaten uit de
literatuurstudie voor de ‘scrummeester’ niet zijn bekrachtigd. Het verschil in de resultaten kan zijn
veroorzaakt doordat in de literatuur over auditmethodologie werkwijzen niet altijd als zodanig
worden benadrukt. De theorie is daarmee minder concreet dan vooraf was verwacht. Experts
50
hebben vanuit de praktijk andere ervaringen met auditmethodologie dan vanuit het
literatuuronderzoek werd verondersteld. Experts hebben dan ook aangeven dat een ‘scrummeester’
binnen auditmethodologie reeds bestaat. Een van de agile-experts gaf daarnaast te kennen dat deze
werkwijze reeds is achterhaald en experts hierop terugkomen. De resultaten voor ‘scrummeester’
zijn dan ook verworpen.
Naast de zes agile-werkwijzen die voortkwamen uit de literatuurstudie en zijn bekrachtigd door de
experts, zijn aanvullend elf agile-werkwijzen als verrijkend aangenomen. Deze agile-werkwijzen
(‘multidisciplinair team’, ‘stakeholdermapping’, ‘retro met de klant’, ‘persoonlijke kanban’,
‘werkafspraken’, ‘fysiek op een locatie werken’, ‘backlog als auditjaarplan’, ‘fastlane’, ‘onderhanden-
werk-limiet’ en ‘heartbeats’) zijn niet onderkend tijdens de literatuurstudie. Oorzaak hiervan is dat de
literatuurstudie is afgebakend op vijf methoden die zijn gebaseerd op agile. Daarnaast zijn alleen die
werkwijzen in de literatuurstudie meegenomen, die in de literatuur expliciet zijn onderkend als
werkwijze van een van deze vijf methoden. De elf werkwijzen die door experts als verrijkend voor
auditmethodologie zijn aangedragen, komen niet als dusdanig voor binnen deze vijf methoden. Het
kan echter wel zijn dat ze worden toegepast binnen de desbetreffende vijf methoden.
8.3 Betekenis resultaten voor de theorie en praktijk
Met het uitgevoerde onderzoek zijn nieuwe inzichten verkregen voor de theorie en praktijk. Eerdere
onderzoeken toonden aan dat meer flexibiliteit en aanpassingsvermogen noodzakelijk zijn voor de
uitvoering van een audit, maar zij gaven hiervoor geen suggesties. In dit onderzoek is aangetoond dat
agile-werkwijzen wel degelijk een verrijking vormen voor auditmethodologie, en bijdragen aan
flexibiliteit en aanpassingsvermogen. IAF’s kunnen op basis van dit onderzoek gaan experimenteren
met werkwijzen waarvan is aangetoond dat zij een verrijking vormen voor auditmethodologie. De
verwachting is dat, door deze werkwijzen toe te passen, een IAF beter kan inspelen op de
veranderende organisatie en meer flexibiliteit kan tonen. De verwachting is tevens dat de
opdrachtgever hierdoor meer toegevoegde waarde ervaart.
Echter, met uitvoeren van de werkwijzen alleen is de auditor er (nog) niet. Het uitvoeren van
werkwijzen is relatief gemakkelijk. Het creëren van een agile-mindset en het naleven van agile-
waarden is niet van vandaag op morgen gerealiseerd. De auditor moet vooruit leren kijken,
innoveren en heeft een veilige werkomgeving nodig waarin hij of zij mag leren. Daar waar een IAF
gewend is een meerjarenplan te maken, is dit niet meer passend wanneer bij agile-mindset.
Wanneer de IAF te maken heeft met een traditioneel ingestelde manier van werken in de top van de
51
organisatie, is het van belang dat ook hier support wordt verkregen. Traditioneel aansturen van de
IAF zal anders confronteren met de agile-mindset van de auditors.
In dit onderzoek is niet expliciet stilgestaan het IPPF. Het IPPF heeft een belangrijke invloed op de
wijze waarop een IAF haar werkzaamheden uitvoert. In interviews is hier meerdere malen naar
gerefereerd. Hoewel het IPPF vrijheid geeft voor interpretatie, wordt het veelal strikt opgevat. IAF’s
zullen zich daarom moeten afvragen of het IPPF nog passend is. Alleen auditmethodologie
aanpassen zal niet de volledig oplossing bieden voor het beperkte aanpassingsvermogen van de IAF.
Ook het IPPF zal hier meer richting voor moeten geven. Het gehele auditvakgebied zal moeten
groeien op het vlak van aanpassingsvermogen.
Op deze plek is het eveneens van belang te benoemen dat de agile-werkwijzen niet het redmiddel
zijn of een universele oplossing voor iedere IAF. Wanneer de IAF niet openstaat voor agile, agile ziet
als een hype of het niet past bij de waarden van de organisatie zal er geen verandering ontstaan.
8.4 Beperkingen van het uitgevoerde onderzoek
Vanuit het onderzoek zijn enkele beperkingen geconstateerd. Bij de invulling van de vragenlijst
hebben enkele experts te kennen gegeven dat zij het moeilijk vonden een antwoord te kiezen. De
indeling in auditcategorieën zorgde ervoor dat veel keuzemogelijkheden waren gecreëerd. Het is aan
te bevelen voor soortgelijk (vervolg)onderzoek in de vragenlijst enkel ‘ja’ en ‘nee’ als antwoorden op
te nemen, aangevuld met de mogelijkheid ‘ja, tenzij’. Op deze manier hebben de experts meer
keuzevrijheid in hun antwoorden, en hebben zij niet de indruk dat sprake is van auditcategorieën die
mogelijk in hun ogen niet bestaan.
In de uitkomsten van het onderzoek zijn elf werkwijzen (‘multidisciplinair team’,
‘stakeholdermapping’, ‘retro met de klant’, ‘persoonlijke kanban’, ‘werkafspraken’, ‘fysiek op een
locatie werken’, ‘backlog als auditjaarplan’, ‘fastlane’, ‘onderhanden-werk-limiet’ en ‘heartbeats’) als
verrijkend aangenomen enkel op basis van de expertvalidatie. Van deze werkwijzen zijn het effect en
resultaat niet bekend, en is niet duidelijk aan welke agile-kenmerken zij een bijdrage leveren. Om
deze reden kan geen uitspraak worden gedaan in hoeverre de werkwijzen bijdragen aan de
verbetering van de flexibiliteit en het aanpassingsvermogen in een audit.
52
8.5 Aanbevelingen voor vervolgonderzoek
In dit onderzoek is enkel gefocust op de theorie, die vervolgens is gevalideerd door experts.
Vervolgonderzoek is noodzakelijk om na te gaan of de agile-werkwijzen in de praktijk daadwerkelijk
een verrijking vormen voor auditmethodologie. In vervolgonderzoek is het mogelijk te
experimenteren met de werkwijzen die als verrijkend zijn aangenomen. Daarmee kan worden
onderzocht of daadwerkelijk meer flexibiliteit en aanpassingsvermogen in een audit wordt
gerealiseerd. Het is daarbij van belang na te gaan of de elf werkwijzen aangedragen door de experts
daadwerkelijk bijdragen aan deze agile-kenmerken. Vervolgonderzoek zou zich ook kunnen focussen
op de toegevoegde waarde die een opdrachtgever ervaart wanneer de voorgestelde werkwijzen
worden toegepast. Tot slot kan worden onderzocht of het mogelijk is binnen de IAF meer agile toe te
passen, naast de toepassing van werkwijzen binnen audits.
53
Bibliografie
Abrahamsson, P., Conboy, k., & Wang, X. (2009). Lots done, more to do': the current state of agile systems development research. European Journal of Information Systems, 18(4), 281-284.
Abrahamsson, P., Warsta, B., Siponen, M. T., & Ronkainen, j. (2003). New Directions on Agile Methods: A comparative Analysis. 25th International Conference on Software Engineering, (pp. 244-254).
Alqudah, M., & Razali, R. (2017). Key Factors for Selecting an Agile Method: A Systematic Literature Review. International Journal on Advanced Science Engineering Information Technology, 7(2), 526-537.
Al-Zewairi, M., Biltawi, M., Etaiwi, W., & Shaout, A. (2017). Agile Software Development Methodologies:Survey of Surveys. Journal of Computer and Communications, 5, 74-97.
Ayed, H., Vanderose, B., & Habra, N. (2014). Supported Approach for Agile Methods Adaptation:An Adoption Study. Proceedings of the 1st International Workshop on Rapid Continuous Software Engineering, (pp. 36-41). Hyderabad, India.
Beck, K., Beedle, M., Bennekum, A. v., Cockburn, A., Cunningham, W., . . . Thomas, D. (2001). Manifesto for Agile Software Development. Opgeroepen op juni 20, 2017, van agilemanifesto: http://agilemanifesto.org/
Blom, M. (2010). Is Scrum and XP suitable for CSE Development? Procedia Computer Science, 1(1), 1511-1517.
Bos, P., De Korte, R., & Otten, J. (2017). Management Control Auditing: bijdragen aan doelrealisatie en verbetering. Driebergen, Nederland: Auditing.nl.
Bowers, A., Sangwan, R., & Neill, C. (2007). Adoption of XP Practices in the Industry – A Survey. Software Process: Improvement and Practice, 12(3), 283-294.
Burch, S. (2011). Building an internal audit function: whether creating or transforming an audit function, CAEs need to understand all of the critical components-from stakeholder support to the audit methodology. Internal Auditor, 68(1), 46-51.
Cervone, H. F. (2011). Understanding agile project management methods using Scrum. OCLC Systems & Services: International digital library perspectives, 27(1), 18-22.
Chirouze, O., Cleary, D., & Mitchell, G. (2005). A software methodologyfor applied research:eXtreme Researching. Software: Practice and Experience, 35(15), 1441-1454.
Chowdhury, A., & Huda, M. N. (2011). Comparison between Adaptive Software Development and Feature Driven Development. Proceedings of 2011 International Conference on Computer Science and Network Technology,, (pp. 363-367).
Conforto, E. C., Salum, F., Amaral, D. C., Silva, S. L., & Almeida, L. F. (2014). Can agile project management be adopted by industries other than software development. Project Mananagement Journal, 45(3), 21-34.
De Korte, R., & Otten, J. (2003). Operational audit: Van ‘containerbegrip’ naar een methodologisch ondersteunde auditvorm. Opgehaald van Auditing.nl.
Dikert, K., Paasivaara, M., & Lassenius, C. (2016). Challenges and success factors for large-scale agile transformations: A systematic literature review. The Journal of Systems and Software, 119, 87-108.
Dingsøyr, T., Nerur, S., Balijepally, V., & Moe, N. (2012). A decade of agile methodologies: Towards explaining agile software development. The Journal of Systems and Software, 85, 1213-1221.
Driessen, A., & Molenkamp, A. (2012). Internal auditing : een managementkundige benadering (5e, (herz) ed.). Deventer: Kluwer.
Drury, M., Conboy, K., & Power, K. (2012). Obstacles to decision making in Agile software development teams. The Journal of Systems and Software, 85, 1239-1254.
Dybå, T., & Dingsøyr, T. (2008). Empirical studies of agile software development: A systematic review. Information and Software Technology(50), 833-859.
54
Fernandes , J., & Almeida, M. (2010). Classification and Comparison of Agile Methods. 2010 Seventh International Conference on the Quality of Information and Communications Technology (pp. 391-396). IEEE Computer society.
Ghosh, G. (2012). Challenges in Distributed Scrum. 2012 IEEE Seventh International Conference on Global Software Engineering, (pp. 200-220).
Hamed, A., & Abushama, H. (2013). Popular Agile Approaches in Software Development: Review and Analysis. International confrence on computing, electrical an electronic engineering (pp. 160-166). Khartoum, Sudan: University of Khartoum.
Henderson-Sellers, B., & Serour, M. K. (2005). Creating a Dual-Agility Method: The Value of Method Engineering. Journal of Database Management, 16(4), 1-26.
Hoogveld, M. (2016). Agile managen. Culemborg, Nederland: Van Duuren Media. Hu, Z., Yuan, Q., & Zhang, X. (2009). Research on Agile Project Management with Scrum Method. IITA
International Conference on Services Science, Management and Engineering, (pp. 26-29). Zhangjiajie, China.
Inayat, I., Salim, S., Marczak, S., & Daneva, M. (2015). A systematic Literature review on agile requirements engineering practices and challenges. Computers in Human Behavior, 51, 915-929.
Ionel, N. (2008). Critical analysys of the scrum project. Annals of the University of Orade, 435-441. Jalali, S., Wohlin, C., & Angelis, L. (2014). Investigating the applicability of Agility assessment surveys:
A case study. The Journal of Systems and Software(98), 172-190. Koch, A. S. (2005). Agile Software Development, Eveluating the Methods for your Organisation.
Norwood: Artech House. Kongyai, B., & Edi, E. (2011). Adaptation of Agile Practices: A Systematic Review and Survey-
Adaptation of Agile Practices: A Systematic Review and Survey. Dr. Jürgen Blekinge Tekniska Högskola, Sektionen för datavetenskap och kommunikation.
Lee, G., & Xia, W. (2010). Toward Agile: An integrated analysis ofquantative and qualitive field data on software development agility. MIS Quarterly, 34(1), 87-114.
Llamas, V., Coudert, T., Geneste, L., Romero-Bejarano, J., & de Valroger, A. (2016). Proposition of an agile knowledge-based process model. IFAC PapersOnLine, 49(12), 1092-1097.
Lyytinen, K., & Rose, G. M. (2006). Information System Development Agility as Organizational Learning. European Journal of Information Systems, 15(2), 183-199.
Mahadevan, D. (2017, Januari). ING’s agile transformation. Opgeroepen op februari 13, 2017, van www.mckinsey.com: http://www.mckinsey.com/industries/financial-services/our-insights/ings-agile-transformation
Mann, C., & Maurer, F. (2005). A Case Study On The Impact of Scrum On OvertimeAnd Customer Satisfaction. Agile 2005 Conference, (pp. 70-79).
Matharu, G., Mishra, A., Singh, H., & Upadhyay, P. (2015). Empirical Study of Agile Software Development Methodologies: A Comparative Analysis. ACM SIGSOFT Software Engineering Notes, 40(1), 1-6.
Munteanu, V., & Berechet, M. (2016). Challenges of the Audit Profession in the Globalization Era. Academic Journal of Economic Studies, 2(2), 169-178.
Nuijten, A., Van Twist, M., & Van der Steen, M. (2015). Auditing Interactive Complexity: Challenges for the Internal Audit Profession. International Journal of Auditing, 19, 195-205.
Otten, J., Hartog, P. A., & Babeliowsky, A. (2002, December). Auditmethodologie, meta-tool voor klantgericht auditen. Opgehaald van Docplayer: http://docplayer.nl/1516917-Auditmethodologie-meta-tool-voor-klantgericht-auditen.html
Overhage, S., & Schlauderer, S. (2012). Investigating the Long-Term Acceptance of Agile Methodologies:An Empirical Study of Developer Perceptions in Scrum Projects. 45th Hawaii International Conference on System Sciences, (pp. 5453-5461).
Paterson, J. C. (2015). Lean Auditing: Driving Added Value and Efficiency in Internal Audit. Chichester: John Wiley & Sons.
55
Pino, F., Pedreira, O., García, F., Luaces, M., & Piattini, M. (2010). Using Scrum to guide the execution of software process improvement. The Journal of Systems and Software, 83, 1662-1677.
Qumer, A., & Henderson-Sellers, B. (2006). Measuring agility and adoptability of agile methods; a 4-dimensional analytical tool. IADIS International Conference Applied Computing, (pp. 503-507).
Qumer, A., & Henderson-Sellers, B. (2008a). An Evaluation of the Degree of Agility in Six Agile Methods and its Applicability for method engineering. Information and Software Technology, 50(4), 280-295.
Qumer, A., & Henderson-Sellers, B. (2008b). A framework to support the evaluation, adoption and improvement of agile methods in practice. The Journal of Systems & Software, 81(11), 1899-1919.
Qureshi, R., & Hussain, S. (2008). An adaptive software development process model. Advances in Engineering Software, 39(8), 654-658.
Ribeiro, F. L., & Fernandes, M. T. (2009). Exploring agile methods in construction small and medium enterprises: a case study. Journal of Enterprise Information Management, 23(2), 161-180.
Riehle, D. (2000). A Comparison of the Value Systems of Adaptive Software Development and Extreme Programming: How Methodologies May Learn from Each Other. SKYVA International.
Rising, L., & Janoff, N. (2000). The SCRUM software development process for small teams. IEEE Software, 26-32.
Sarens, G., & Lamboglia, R. (2014). The (mis)fit between the profile of internal auditors and internal audit activities. Accounting and Business Research, 44(1), 41-62.
Scheffield, J., & Lemétayer, J. (2013). Factors associated with the software development agility of succesful projects. International Journal of Project Management, 31(3), 459-472.
Sherehiy, B., Karwowski, W., & Layer, J. K. (2007). A review of enterprise agility: Concepts, frameworks, and attributes. International Journal of Industrial Ergonomics, 37, 445-460.
Stray, V., Lindsjørn, Y., & Sjøberg, D. (2013). Obstacles to Efficient Daily Meetings in Agile Development Projects: A Case Study. IEEE International Symposium on Empirical Software Engineering and Measurement, (pp. 95-102).
Sutherland, J. (2014). Scrum, Tweemaal zoveel doen in de helft van de tijd. Amsterdam: Maven Publishing.
Taromirad, M., & Ramsin, R. (2008). CEFAM: Comprehensive Evaluation Framework for Agile Methodologies. 32nd Annual IEEE Software Engineering Workshop, (pp. 195-204).
The institute of Internal Auditors. (2016, 12). Implementation Guide 2200. The institute of Internal Auditors. (2017). International Standards for the Professional Practice of
Internal Auditing (Standards). Opgehaald van The intitute of internal auditors. Verschuren, P., & Doorewaard, H. (2015). Het ontwerpen van een onderzoek. Amsterdam: Boom. Wood, S., Michaelides, G., & Thomson, C. (2013). Successful extreme programming: Fidelity to the
methodology or good teamworking? Information and Software Technology, 55(4), 660-672.
56
Bijlage 1 Begripsbepaling Agile-werkwijzen
• Backlog per audit: Een backlog is een lijst met ‘brokken’ werk in volgorde van urgentie. De
opdrachtgever/ proceseigenaar heeft invloed op het bepalen van de urgentie en de ‘brokken’
werk die op de backlog worden geplaatst (Sutherland, 2014).
• Werken in iteraties (sprints): Een iteratie bestaat uit een vaste periode waarin een gedeelte
van het werk wordt opgeleverd. Iedere iteratie heeft een bepaald einddoel, waarbij de
• Planningsspel: Een methode om in te schatten hoeveel effort in een deel van de
werkzaamheden wordt gestoken. Door alle teamleden worden de verschillende
deelwerkzaamheden door middel van punten ingeschat, waarbij als referentiekader andere
werkzaamheden gelden. De hoogste en laagste toebedeelde punten worden geëvalueerd (Al-
Zewairi, Biltawi, Etaiwi, & Shaout, 2017).
57
• Scrummeester: Een scrummeester is een vaste rol binnen het team. Deze faciliteert alle
rituelen en bewaakt het proces (Sutherland, 2014).
• Persoonlijke kanban: Per auditor wordt een bord gemaakt met ‘to do’, ‘in progress’ en
‘done’, waarin alle taken voor een dag worden geplot. Gedurende de dag verschuift de
auditor de taken over het bord (Expert 2, bijlage 13).
• Fysiek op een locatie werken: Het team werkt samen in een ruimte dicht bij elkaar.
• Backlog als auditjaarplan: Een overzicht met alle gewenste auditopdrachten die na elke
opdracht wordt geëvalueerd. Op basis van prioriteit wordt de volgende opdracht gekozen
(Expert 3, bijlage 13).
• Fastlane: Wanneer er een incident binnen komt, komt het team bij elkaar. Het incident wordt
in de fastlane geplaatst. Een medewerker zet zijn reguliere taken ‘on hold’. Pas als de taak
met prioriteit is afgerond, wordt de reguliere taak weer opgepakt (Expert 2, bijlage 13).
• Onderhanden-werk-limiet: Het aantal deelwerkzaamheden waaraan wordt gewerkt is het
aantal teamleden gedeeld door 2 (naar boven afgerond). Nieuwe werkzaamheden worden
pas gestart als het aantal werkzaamheden onder het onderhanden-werk-limiet is gedaald
Expert 2, bijlage 13).
• Heartbeats: Iedere drie tot vier dagen bestaat er contract tussen de auditor en
belanghebbenden voor afstemming over de resultaten die aan het einde van de iteratie
worden opgeleverd. Een heartbeat heeft een kortere frequentie dan de iteraties (Expert 2,
bijlage 13).
58
Bijlage 2 Overzicht deelnemende experts
De inhoud van deze bijlage is verwijderd i.v.m. de privacy van de respondenten.
59
Bijlage 3 Auditmethodologie geprojecteerd op dimensie 1 van het 4-DAT-model
In het eerste perspectief van het 4-DAT-model worden de scope en toepasbaarheid van de
verschillende methoden in kaart gebracht. Voor de toepasbaarheid van het 4-DAT-model is in deze
analyse ervoor gekozen de stijl van coderen en de dataverkrijgingsmethode achterwege te laten.
Deze twee elementen hebben enkel een technisch component en zijn gericht op IT-
ontwikkelmethoden. Voor het analyseren van auditmethodologie bieden deze elementen derhalve
geen toegevoegde waarde. De resultaten van de analyse voor perspectief 1 zijn opgenomen in Tabel
1: Scope en toepasbaarheid.
Tabel 1 laat zien dat bij het toepassen auditmethodologie sprake is van een gefaseerde werkwijze
waarbij chronologisch in volgorde van tijd wordt gewerkt. Dit in tegenstelling tot de op agile
gebaseerde methoden waarbij iteratief werken gebruikelijk is. Scopeafbakening is cruciaal en leidend
voor het uitvoeren van een audit.
Op basis van de verkregen informatie kan worden geconcludeerd dat auditmethodologie toepasbaar
is binnen een omgeving waarbij voorafgaand aan de uitvoering opdracht de scope bekend is. Voor
het uitvoeren van de opdracht is het van belang dat er zich weinig wijzigingen voordoen in de
omgeving. Immers, wanneer scopeafbakening cruciaal is mag verwacht worden dat hier in de loop
van de opdracht niet meer van af wordt geweken.
Criterium Auditmethodologie en beheersing
1. Omvang van het project
Scopeafbakening cruciaal, niet gespecificeerd hoeveel auditobjecten kunnen worden onderzocht of hoe groot een audit mag zijn.
2. Omvang van het team
Niet gespecificeerd.
3. Ontwikkelmethode Clusteren van inhoudelijke activiteiten in logische stappen van tijd, projectfasen.
4. Technologische omgeving
Niet gespecificeerd.
5. Fysieke omgeving Niet gespecificeerd.
6. Organisatiecultuur Niet gespecificeerd.
Tabel 1: Scope en toepasbaarheid
60
Bijlage 4 Auditmethodologie en de belangrijkste kenmerken van agile
Tabel 1 is ingevuld op basis van beschrijving auditmethodologie van Bos e.a. (2017).
Audit methodologie Flexibiliteit Snelheid Mate van lean Leren Reactievermogen Totaal
Fasen
Selectie van het auditobject Er is voor een gedeelte sprake van opgelegde audits en audits op verzoek. Daarnaast wordt gebruik gemaakt van een risicoanalyse om te komen tot een selectie van objecten met als resultaat een globale auditdoelstelling. Derhalve houdt de selectie van het auditobject rekening met zowel verwachte als onverwachte veranderingen (1).
Objectselectie vindt plaats op basis van risicoanalyse en aandragen door verantwoordelijken. draagvlaksessies zijn nodig voor goedkeuring. Dit proces kan veel tijd in beslag nemen. Derhalve betreft het geen snel proces. Het levert tevens geen direct bruikbaar resultaat voor de opdrachtgever (0).
Objectselectie vindt plaats op basis van risicoanalyse en aandragen door verantwoordelijken. Draagvlaksessies zijn nodig voor goedkeuring. Dit proces kan veel tijd in beslag nemen. Derhalve kan het selecteren van auditobjecten niet als lean worden gekenmerkt (0).
Door de organisatie uitgevoerde risicoanalyses kunnen als input worden gehanteerd, evenals opgedane kennis uit eerdere audits. Dit leidt ertoe dat wordt geleerd/ gebruik wordt gemaakt van eerdere opgedane kennis (1).
De selectie van auditobjecten resulteert in een auditplanning voor 1 of meerdere jaren. Hierdoor is het lastiger om gedurende het jaar te reageren op veranderingen. Deze methode kent tevens geen tussentijdse afstemming. Derhalve is het reactievermogen op basis van de selectie van auditobjecten laag (0).
2
Voorbereiding Binnen de context analyse en technische analyse wordt een vaste set aan onderwerpen onderzocht. Doel is om te komen tot een zo voorspelbaar mogelijke situatie. Op basis van een kosten/baten afweging wordt vervolgens invulling gegeven aan de werkwijzen die in de gehele opdracht worden gehanteerd. In de voorbereiding wordt gekozen welke werkwijzen worden gehanteerd, derhalve is er sprake van flexibiliteit (1).
De omvang en de doorlooptijd moeten beperkt blijven omdat meerwaarde van informatie afneemt en je anders voortijdig conclusies trekt. Derhalve ligt de snelheid van de voorbereiding tot oplevering van een auditontwerp hoog. De opdrachtgever ontvang snel een concept auditontwerp (1).
Het gebruiken van vaste instrumenten (context en technische analyse) en de kortste doorlooptijd worden gestimuleerd, hieruit blijkt dat lean werken van belang is (1).
Er wordt navraag gedaan naar ervaringen uit eerdere audits, hieruit blijkt leervermogen (1).
In een gedegen voorbereiding wordt de context van de opdracht in kaart gebracht. Op basis van de verwachte en onverwachte veranderingen wordt bepaald welke werkwijzen in de opdracht worden toegepast. Deze inventarisatie vindt plaats voorafgaand aan de opdracht. Derhalve leidt de voorbereid tot een resultaat waarbij het inspelen op onverwachte verandering wordt beperkt (0).
4
Gegevensverzameling In het technisch ontwerp is vastgelegd van welke methoden gebruik gemaakt wordt en welke bronnen verzameld dienen te worden verzamelen. Derhalve is er weinig flexibiliteit in de gegevensverzamelingsfase (0).
Er geen sprake van een iteratief proces. De verzameling van gegevens vindt plaats, waarna overgegaan kan worden na de volgende fase. Derhalve levert deze fase levert geen direct resultaat voor de opdrachtgever (0).
Bij de keuzes die worden gemaakt voor gegevensverzameling worden doelmatigheid en betrouwbaarheid als uitgangspunt gehanteerd. Triangulatie wordt als kwaliteitsinstrument gehanteerd. Daarnaast hebben budget en tijd invloed op de keuzes die worden gemaakt. Derhalve kan gesteld worden dat er nagedacht wordt over doorlooptijd en kosten efficiëntie. Daarom wordt gegevensverzameling als lean aangemerkt (1).
Wanneer een audit vaker wordt uitgevoerd, kan worden gekozen voor een gestandaardiseerde werkwijze. Hieruit blijkt het leereffect (1).
Interviews bieden de mogelijkheid om in te spelen op hetgeen er op dat moment speelt bij de auditee. Hoor wederhoor biedt de mogelijkheid te reageren en daardoor werkzaamheden aan te passen. Echter is er sprake van een audit ontwerp waaraan gehouden wordt gedurende de opdracht. Derhalve is het reactievermogen beperkt (0).
2
61
Gegevensverwerking, analyse, oordeelsvorming
In het technisch ontwerp is vastgelegd hoe gegevens worden geanalyseerd en hoe oordeelsvorming plaats zal vinden. De keuze hierin is reeds bepaald, waardoor geen rekening meer wordt gehouden met verwachte en onverwachte veranderingen (0).
Er is geen sprake van een iteratief proces waarbij oordeelsvorming snel plaats vindt nadat het veldwerk is afgerond. De opdrachtgever ziet pas resultaat bij de rapportage. Derhalve is de snelheid laag (0).
Kwaliteitsinstrumenten als hoor/wederhoor en een bronnenmatrix worden ingezet. Documentatie wordt vastgelegd zodat ten alle tijden het onderzoek transparant en reproduceerbaar is. Er wordt met meerdere personen gewerkt aan het opstellen van conclusies om interpretatie niet van 1 persoon af te laten hangen. Geen specifieke stimulans van doorlooptijd of gebruik beperkte resources. Derhalve is de mate van lean beperkt (0).
Wanneer een audit vaker wordt uitgevoerd kan worden gekozen voor een gestandaardiseerde werkwijze die eerder is toegepast. De wijze waarop het team tot een oordeel komt is dan reeds bekend. Hiermee wordt een leereffect behaald. Leren wordt derhalve toegepast (1).
De verwerking van de gegevens en wijze waarop oordeelsvorming plaats vindt is in het auditontwerp bepaald. Deze methode zorgt ervoor dat de werkwijze niet direct wordt aangepast bij verwachte en onverwachte veranderingen. Derhalve kan worden gesteld dat het reactievermogen in deze fase beperkt is (0).
1
Rapportage In het technisch ontwerp is al bepaald hoe wordt gerapporteerd. Hierdoor is er weinig ruimte is om in te spelen op verwachte en onverwachte veranderingen. Derhalve is de rapportage fase niet flexibel (0).
Het proces is niet iteratief, de rapportage wordt in 1 keer opgeleverd waarna nog hoor/wederhoor kan plaatsvinden. Derhalve is het resultaat niet snel beschikbaar voor de klant (0).
Kwaliteitsinstrumenten als hoor wederhoor en kwaliteitsbeheersing worden toegepast in deze fase, geen specifieke stimulering voor korte doorlooptijd of minimale middelen. Derhalve een lage mate van lean (0).
Wanneer een audit vaker wordt uitgevoerd kan worden gekozen voor een gestandaardiseerde werkwijze. Dit leidt ertoe dat gebruikt wordt gemaakt van het leereffect (1).
De wijze van rapporteren is vooraf bepaald. Derhalve is het lastig om de werkwijze aan te passen bij verwachte en onverwachte veranderingen (0).
1
Afronding (opvolging en evaluatie)
Belangrijke onderwerpen voor evalueren zijn benoemd in de auditmethodiek. Evalueren draagt echter niet meer bij aan de werkwijze tijdens de opdracht. Daarnaast zijn er vaste eisen waaraan het auditdossier moet voldoen. Hierop moet worden gecontroleerd. Derhalve draagt deze fase niet bij aan flexibiliteit bij verwachte en onverwachte veranderingen (0).
Snelheid is niet gespecificeerd, evaluatie volgt in delen vrij snel na de audit, dit geldt ook voor afronden dossier. De evaluatiefase levert echter geen resultaat voor de opdrachtgever. Derhalve is de snelheid laag (0).
De afronding van de opdracht dient als kwaliteitsbevordering. De evaluatie is achteraf maar draagt wel bij aan de kwaliteit van een volgende audit. Er zijn geen specifieke eisen aan doorlooptijd voor deze fase. Gezien het feit dat door evaluatie de effectiviteit en efficiëntie voor een volgende opdracht kan worden beïnvloed, heeft het beperkte invloed op de mate van lean van de desbetreffende opdracht (0).
Leerpunten worden meegenomen en verwerkt in handboeken en/of charters. Derhalve is er in deze fase voor de opdracht zelf geen leereffect meer. Het leereffect heeft betrekking op volgende opdrachten (0).
In de evaluatie wordt niet direct ingespeeld op veranderende omstandigheden en/of klantwensen. De afronding kan ook niet meer tot een ander resultaat leiden. Derhalve is er sprake van weinig reactievermogen (0).
0
Totaal 2 1 2 5 0 10
Mate van agile 2/6 1/6 2/6 5/6 0/6 10/(6*5)
Audit methodologie Flexibiliteit Snelheid Mate van lean Leren Reactievermogen Totaal
Werkwijzen
Risicoanalyse voor selectie van opdrachten
Er wordt gebruik gemaakt van een risicoanalyse om te komen tot een selectie van objecten. Voor de selectie van objecten volgt o.a. op basis van de risicoanalyse een globale auditdoelstelling. Dit betekent dat geïnventariseerd wordt welke verandering hebben plaatsgevonden en of er
Voor de inventarisatie van de risico’s vinden afstemming en draagvlaksessies plaatst. Dit proces kan veel tijd in beslag nemen. Derhalve betreft het een werkwijze die niet snel tot resultaat voor de opdrachtgever leidt (0).
Draagvlaksessies en afstemming dragen niet bij aan het verkorten van de doorlooptijd. Derhalve is er sprake van een lage mate van lean (0).
Door de organisatie uitgevoerde risicoanalyses kunnen als input worden gehanteerd, evenals opgedane kennis uit audits. Het gebruiken van eerder opgedane ervaring maakt deel van deze werkwijze (1).
De risicoanalyse wordt jaarlijks gehouden en resulteert in een auditplan voor 1 of meerdere jaren. Hierdoor is het lastiger te reageren op veranderingen die zich voordoen voordat de volgende werksessie wordt gehouden. Derhalve een beperkt reactievermogen (0).
2
62
eventueel nog onbekende elementen zijn die een risico vormen. Hierbij wordt zowel rekening gehouden met verwachte als onverwachte veranderingen. De werkwijzen die worden gehanteerd kunnen hierop worden aangepast (1).
Contextanalyse bepalen type audit en haalbaarheid van de opdracht
In de contextanalyse worden de kenmerken van de opdracht onderzocht, behoeften in kaart gebracht, nagegaan welke problemen er spelen en binnen welke stimulerende en belemmerende factoren de opdracht wordt uitgevoerd. Op basis van wat er wordt gevonden in deze analyse kunnen zijsporen worden bewandeld. Derhalve kan de werkwijze nog worden aangepast en is er sprake van flexibiliteit (1).
De omvang en de doorlooptijd moeten beperkt blijven. Meerwaarde van informatie neemt af bij een lange doorlooptijd. Tevens bestaat het risico dat voortijdig conclusies worden getrokken. Derhalve ligt de snelheid van de voorbereiding tot oplevering van een resultaat (aangeven haalbaarheid opdracht) hoog (1).
Het gebruiken van vaste instrumenten (context en technische analyse) en een korte doorlooptijd worden gestimuleerd. Hieruit blijkt dat lean werken van belang is (1).
Er wordt navraag gedaan naar ervaringen uit eerdere audits. Hieruit blijkt leervermogen (1).
Op basis van wat de auditor tegenkomt kan besloten worden met behulp van de contextanalyse nog andere methoden toe te passen. Bijvoorbeeld een data-analyse om risico’s in kaart te brengen. Derhalve is er sprake van reactievermogen op verwachte en onverwachte veranderingen (1).
5
Auditontwerp (conceptueel en technisch)
Het auditontwerp geeft richting aan wat er in de audit wordt uitgevoerd. Werkwijzen worden gekozen op basis van wat er in de context analyse is aangetroffen. Veranderingen die hier zijn gesignaleerd worden meegenomen in het ontwerp. De voorkeur is om te kiezen voor een gedetailleerd ontwerp. Dit ontwerp maakt het lastig om in latere fase van de audit in te spelen op verwachte en onverwachte veranderingen. Derhalve is de mate van flexibiliteit bij het toepassen van deze methode laag (0).
Het auditontwerp draagt eraan bij dat in de latere fases van het audit proces snel tot conclusies kan worden gekomen. Derhalve zorgt deze werkwijze voor sneller resultaat. Tevens betreft het ontwerp een tussenresultaat dat wordt gepresenteerd aan de opdrachtgever (1).
In het audit ontwerp is vastgelegd hoe de kwaliteit wordt bewaakt, alsmede de voortgang. Tevens wordt in het ontwerpen van de opdracht rekening gehouden met de kosten/baten. Derhalve draagt de werkwijze bij aan het lean uitvoeren van de opdracht (1).
Ervaringen uit eerdere audits worden meegenomen in het audit ontwerp. Derhalve wordt leren toegepast met behulp van een audit ontwerp (1).
Het auditontwerp betreft een gedetailleerde beschrijving van de activiteiten die worden uitgevoerd gedurende de opdracht. Het gebruik maken van deze werkwijze zorgt ervoor dat de werkzaamheden en methoden vast staan. Het reageren op veranderingen wordt hierdoor beperkt (0).
3
Veldwerk voor verzamelen van data (met behulp van verschillende ontsluitingstechnieken)
Verschillende ontsluitingstechnieken kunnen flexibel worden ingezet (diepgang van de analyse) wanneer omstandigheden (verhoogd risico) hierom vragen. Dit wordt echter vooraf aan de opdracht in het auditontwerp bepaald. Bij onverwachte
Opzichzelfstaand geven de verschillende ontsluitingstechnieken niet direct een deugdelijk resultaat, er dient sprake te zijn van triangulatie. Tevens leidt het veldwerk niet direct tot resultaten voor de opdrachtgever. Derhalve is
Bij de keuzes die worden gemaakt voor gegevensverzameling worden doelmatigheid en betrouwbaarheid als uitgangspunt gehanteerd, triangulatie wordt als kwaliteitsinstrument gehanteerd. Daarnaast hebben budget en tijd invloed op de keuzes die worden gemaakt. Derhalve wordt in de
Wanneer een audit vaker wordt uitgevoerd kan worden gekozen voor een gestandaardiseerde werkwijze en daarmee ook gestandaardiseerde ontsluitingstechnieken. Daarmee wordt een leereffect gecreëerd (1).
Gedurende de opdracht is het bij observaties, interviews en inhoudsanalyse mogelijk om de diepgang te vergroten. Hiermee kan worden ingespeeld op verandering binnen de werkzaamheden die worden uitgevoerd. Echter, veranderingen die niet binnen de gedefinieerde veldwerkzaamheden vallen worden niet meegenomen. Derhalve is het reactievermogen beperkt (0).
2
63
veranderingen is het beperkt mogelijk om de werkwijze van het veldwerk aan te passen (0).
er geen sprake van een werkwijze die snelheid ondersteund (0).
werkwijze aandacht besteed aan de mate van lean (1).
Scoren van criteria Voor het scoren van criteria wordt in de beginfase van de opdracht vastgelegd hoe de weging zal zijn. Het wordt afgeraden dit achteraf aan te passen. Dit omdat de auditor beïnvloed kan worden door de praktijk. Derhalve is de werkwijze beperkt flexibel (0).
De werkwijze waarbij criteria worden gescoord vindt plaats als al het veldwerk is afgerond. Derhalve is het resultaat niet snel inzichtelijk voor de opdrachtgever. Alle veldwerkzaamheden moeten eerst zijn afgerond (0).
Door vooraf te bepalen hoe criteria gewogen worden ten opzichte van elkaar, zorgt deze wijze voor een versnelde doorlooptijd. Derhalve draagt deze werkwijze bij aan de mate van lean van de audit (1).
Bij herhaling van de opdracht kan gebruik worden gemaakt van dezelfde werkwijzen. Hier wordt leereffect gecreëerd (1).
De te scoren criteria worden aan de beginfase van de opdracht vastgesteld. Wanneer veranderingen zich voordoen kunnen de criteria niet zomaar gewijzigd worden. Derhalve is er sprake van een laag reactievermogen (0).
2
Hoor en wederhoor Hoor wederhoor vindt zowel plaatst tijdens de opdracht (bijvoorbeeld interviews) als aan het einde van de opdracht bij de bespreking van de bevindingenmatrix. Wanneer uit hoor wederhoor blijkt dat de auditor een verkeerde conclusie heeft getrokken, bestaat de mogelijkheid om binnen de capaciteit en tijdslijnen nog aanvullende werkzaamheden uit te voeren. Derhalve zorgt hoor wederhoor ervoor dat werkwijzen aangepast kunnen worden op basis van nieuwe informatie (1).
Hoor wederhoor met de opdrachtgever vindt plaats aan het einde van de opdracht, wanneer alle veldwerkzaamheden zijn afgerond. Derhalve levert de methode niet snel resultaat voor de opdrachtgever (0).
Bij hoor wederhoor is geen specifieke aandacht voor de doorlooptijd of het gebruik van middelen. Het betreft wel een instrument om te komen tot een goede kwaliteit van het eindoordeel. Derhalve een lage mate van lean (0).
Bij hoor wederhoor wordt niet gebruik gemaakt van specifieke eerder opgedane kennis. Derhalve weinig leereffect (0).
Hoor wederhoor wordt in de opdracht toegepast om bevindingen te bespreken, te bevestigen en eventuele nuanceringen te bespreken. Wanneer blijkt dat de uitkomsten van de opdracht afwijken van de werkelijkheid wordt aanvullend onderzoek gedaan. Dit betreffen onverwachte veranderingen van de uitkomsten waar binnen de methodologie op ingespeeld wordt. Derhalve is er sprake van reactievermogen (1).
2
Rapporteren In het technisch ontwerp is al bepaald hoe wordt gerapporteerd. Hierdoor is er weinig ruimte om in te spelen op verwachte en onverwachte veranderingen. Derhalve is de rapportage methode niet flexibel. (0)
Rapporteren vindt plaatst wanneer alle resultaten bekend zijn. Derhalve levert rapporteren niet snel resultaat voor de opdrachtgever (0).
Het rapporteren zelf draagt niet bij aan het realiseren van een korte doorlooptijd, verbeteren van kwaliteit of verlagen van gebruik van middelen (0).
Wanneer een audit vaker wordt uitgevoerd kan worden gekozen voor een gestandaardiseerd rapport. Dit leidt ertoe dat gebruikt wordt gemaakt van het leereffect (1).
De wijze van rapporteren is vooraf bepaald. Verandering die spelen maken niet dat de werkwijze wordt aangepast (0).
1
Strokenplanning De strokenplanning geeft aan wanneer activiteiten en beslismomenten plaatsvinden en wordt gebruikt als beheersingsinstrument voor de doorlooptijd. Er zijn harde deadlines opgenomen in de strokenplanning. Derhalve kent de werkwijze weinig flexibiliteit (0).
In een strokenplanning worden kritieke paden opgenomen. Echter levert de strokenplanning niet snel resultaat. Het betreft een planning voor de gehele looptijd. (0).
De strokenplanning draagt bij aan het beheersen van de doorlooptijd. Kritieke paden worden geïdentificeerd. De strokenplanning houdt echter niet direct rekening met de kortste doorlooptijd. Derhalve draagt de werkwijze niet direct bij aan de mate van lean (0).
De strokenplanning kan bij een tweede opdracht op hetzelfde onderwerp verbeterd worden op basis van het leereffect (1).
De strokenplanning heeft harde deadlines en beslismomenten. Tevens kunnen kritieke paden zijn opgenomen. Het reageren op verwachte/onverwachte verandering wordt niet bevorderd door de strokenplanning (0).
1
Capaciteitsplanning De capaciteitsplanning bestaat uit de activiteiten en het aantal uren dat een specifieke auditor
De capaciteitsplanning betreft geen product wat resultaat oplevert voor de
De capaciteitsplanning houdt rekening met welke medewerker op welk moment wordt ingezet. Er is geen
Bij herhaalde uitvoering van de opdracht kan de capaciteitsplanning worden
De capaciteitsplanning draag niet specifiek bij aan het identificeren van en reageren op veranderingen in de omgeving (0).
1
64
hieraan zal besteden. De capaciteitsplanning is gekoppeld aan de strokenplanning en kent derhalve weinig flexibiliteit omdat deadlines gerealiseerd moeten worden (0).
opdrachtgever. Het betreft een planning voor de gehele looptijd. Derhalve levert de methode niet snel resultaat (0).
specifieke nadruk op beheersen van doorlooptijd en kosten. Derhalve draagt de capaciteitsplanning niet direct bij aan de mate van lean (0).
aangepast op basis eerdere opdrachten. Derhalve is er sprake van leereffect (1).
Kosten- batenafweging voor inzet capaciteit
De kosten- batenafweging heeft vooral betrekking op het bewust inzetten van de juiste mensen en afbaken van de opdracht om doelmatig tot een resultaat te komen. Bij verwachte en onverwachte veranderingen kan de kosten- batenanalyse bijdragen aan het bepalen of ingespeeld wordt op de verandering. Derhalve is door het toepassen van een kosten- batenafweging mogelijk om in te spelen op veranderingen (1).
De kosten- batenafweging geeft input voor het audit ontwerp. Het is echter geen direct resultaat voor de opdrachtgever. De kosten-batenafweging dient als input voor de capaciteits- en strokenplanning (0).
Bij de kosten- batenafweging wordt aandacht besteed aan kosten, doorlooptijd en op te leveren kwaliteit. Derhalve bevorderd deze werkwijze de mate van lean van een opdracht (1).
Bij het herhaald uitvoeren van een opdracht kan in de kosten-batenafweging worden meegenomen wat de realisatie in de voorgaande opdracht is geweest. Derhalve is sprake van een leereffect (1).
De kosten- batenanalyse vindt plaats aan het begin van de opdracht. De methode zorgt er niet direct voor dat gereageerd wordt op verwachte en onverwachte veranderingen gedurende de looptijd van een opdracht (0)
3
Informatiebeheersing door vooraf vastleggen toegang tot documenten
Informatiebeheersing wordt gedaan volgens een beleidsafspraak die voor alle opdrachten geldt. Het is hierdoor moeilijk om wijzigingen door te voeren op basis van verwachte en onverwachte veranderingen (0).
Informatiebeheersing levert geen resultaten op voor de opdrachtgever. Derhalve geen invloed op de snelheid van de opdracht (0).
Informatiebeheersing heeft geen directe invloed op de doorloopsnelheid, kosten of kwaliteit van de opdracht. Informatiebeheersing heeft als doel eenduidigheid te realiseren. Derhalve draag deze werkwijze niet direct bij aan de mate van lean (0).
Informatiebeheersing wordt uitgevoerd conform beleidsafspraak. Derhalve is er geen sprake van een specifiek leereffect (0).
Informatiebeheersing zorgt ervoor dat documentatie wordt vastgelegd, zodat resultaten eenduidig kunnen worden gereproduceerd. Informatiebeheersing heeft derhalve geen directe relatie met het reageren op veranderingen in de omgeving (0).
0
Voortgangsbewaking op kwaliteit, tijd, kosten en organisatie en informatie door de auditmanager.
Een audit moet controleerbaar, valide en betrouwbaar zijn, waaronder eenduidige begripsbepaling ontstaat. Daarnaast moet informatie vastgelegd worden conform afspraken. Bij de voortgangsbewaking worden resultaten vergeleken met de planning. De frequentie waarop dit gebeurt is afhankelijk van de doorlooptijd van de audit. Op basis van verwachte en onverwachte verandering kan worden bijgestuurd en kan de werkwijze worden aangepast. (1)
Geadviseerd wordt om maandelijks voortgangsbewaking uit te voeren en eventueel af te stemmen met de opdrachtgever. Op basis van de voortgangsbewaking kunnen werkzaamheden worden aangepast. Het betreft een evaluatie die niet frequent plaats vindt. Derhalve geen snel resultaat voor de opdrachtgever (0).
Tijdsbeheersing draagt bij aan beheersen van de doorlooptijd. Kwaliteitsbeheersing draagt bij aan de deugdelijkheid van de audit. Derhalve kunnen beide gezien worden als het leveren van een bijdrage aan het lean uitvoeren van de audit (1).
Onderdelen uit de kwaliteitsbeheersing worden geëvalueerd en meegenomen in het doorvoeren van verbeteringen tijdens de audit zelf en bijvoorbeeld het audit charter. Derhalve zorgt kwaliteitsbeheersing voor een leereffect (1).
Voortgangsbewaking kan leiden tot bijsturing als gevolg van verwachte en onverwachte veranderingen. Hiermee wordt op veranderingen ingespeeld (1).
4
Voortgangsrapportage De voortgangsrapportage is een informerend instrument. Voorafgaand aan de opdracht wordt afgesproken hoe het instrument wordt ingezet. Wanneer uit de voortgangsrapportage
Door het toepassen van de voortgangsrapportage wordt de opdrachtgever tijdig aangehaakt bij de audit. Derhalve levert de voortgangsrapportage snel resultaat (1).
De voortgangsrapportage levert niet specifiek een bijdrage aan de doorlooptijd, kwaliteit of kostenverlaging van de audit. Derhalve draag het niet bij aan het lean uitvoeren van de audit. (0)
De voortgangsrapportage betreft een communicatieinstrument. Derhalve is er geen sprake van een leereffect. (0)
De voortgangsrapport triggert de opdrachtgever om na te denken over de relevantie van de opdracht. Derhalve draagt voortgang rapporteren bij aan identificeren van veranderingen en inspelen op veranderingen (1).
3
65
Tabel 1: Argumentatie mate van agile auditmethodologie
bijzonderheden naar voren komen, kan dit ertoe leiden dat de werkzaamheden worden aangepast (1)
Evaluatie door het team Voor het uitvoeren de evaluatie wordt veelal een gestructureerde aanpak aanbevolen. Resultaten uit de evaluatie kunnen meegenomen worden in een volgende opdracht maar hebben geen directe invloed meer op de werkwijze van een lopende opdracht. Derhalve draagt teamevaluatie niet bij aan flexibiliteit van de werkwijze tijdens de opdracht (0).
De evaluatie heeft niet direct invloed op de resultaten die de opdrachtgever ontvangt. Derhalve is er geen sprake van snelheid (0).
Er zijn geen criteria geformuleerd hoe een evaluatie dient plaats te vinden. De teamevaluatie heeft geen invloed op de opdracht zelf. Derhalve is het geen werkwijze die bijdraagt aan de mate van lean van de opdracht (0).
De evaluatie draagt bij aan het bijstellen van de auditinstrumenten en ontwikkelen van good practices. Het leereffect heeft echter betrekking op volgende opdrachten en niet op de opdracht zelf (0).
Doordat de evaluatie van de opdracht plaatsvindt na afronding van de rapportage, is er geen sprake van reageren op verwachte of onverwachte veranderingen (0).
0
Evaluatie door de opdrachtgever
Evaluatie kan per audit of over meerdere opdrachten heen worden uitgevoerd. Resultaten uit de evaluatie kunnen meegenomen worden in een volgende opdracht, maar hebben geen directe invloed meer op de werkwijze van de lopende opdracht. Derhalve draagt evaluatie door de opdrachtgever niet bij aan flexibiliteit van de werkwijze tijdens de opdracht (0)
De evaluatie heeft niet direct invloed op de resultaten die de opdrachtgever ontvangt. Derhalve is er geen sprake van snelheid (0)
Er zijn geen criteria geformuleerd hoe een evaluatie dient plaats te vinden. De evaluatie heeft geen invloed meer op de opdracht zelf. Derhalve is het geen werkwijze die bijdraagt aan de mate van lean van de opdracht (0).
De evaluatie draagt bij aan het bijstellen van de auditinstrumenten en ontwikkelen van good practices. Het leereffect heeft echter betrekking op volgende opdrachten en niet op de opdracht zelf (0).
Doordat de evaluatie van de opdracht plaatsvindt na afronding van de rapportage, is er geen sprake van reageren op verwachte of onverwachte veranderingen (0).
0
6 3 6 10 4 29
Mate van agile 6/15 3/15 6/15 10/15 4/15 29/(15*5)
66
Bijlage 5 Auditmethodologie geprojecteerd op dimensie 2 van het 4-DAT-model
In het tweede perspectief van het 4-DAT-model is geanalyseerd in hoeverre auditmethodologie
voldoet aan de belangrijkste kenmerken van agile. Dit is gedaan door na te gaan in hoeverre
auditmethodologie voldoet aan de belangrijkste kenmerken van agile. De resultaten van deze
analyse zijn opgenomen in Tabel 1, mate van agile.
Om de mate van agile te bepalen is 1 punt toegekend voor iedere fase of werkwijze die voldoet aan 1
van de 5 kenmerken van agile. Wanneer dit niet zo is, is er een score van 0 toegekend. Een nadere
argumentatie voor de score 1 en 0 is opgenomen in bijlage 4. Door het totaal van de scores te delen
door het aantal toegekende scores is de mate van agile berekend.
Audit methodologie Flexibiliteit Snelheid Mate van lean
Leren Reactievermogen Totaal
Fasen
Selectie van het auditobject 1 0 0 1 0 2
Voorbereiding 1 1 1 1 0 4
Gegevensverzameling 0 0 1 1 0 2
Gegevensverwerking, analyse, oordeelsvorming
0 0 0 1 0 1
Rapportage 0 0 0 1 0 1
Afronding (opvolging en evaluatie)
0 0 0 0 0 0
Totaal 2 1 2 5 0 10
Mate van agile 1/6 1/6 2/6 5/6 0/6 10/(6*5)
= 0.333
Werkwijzen Flexibiliteit Snelheid Mate van lean
Leren Reactievermogen Totaal
Risicoanalyse voor selectie van opdrachten
1 0 0 1 0 2
Contextanalyse bepalen type audit en haalbaarheid van de opdracht
1 1 1 1 1 5
Audit ontwerp (conceptueel en technisch)
0 1 1 1 0 3
Veldwerk voor verzamelen van data (met behulp van verschillende ontsluitingstechnieken)
0 0 1 1 0 2
Scoren van criteria 0 0 1 1 0 2
Hoor en wederhoor 1 0 0 0 1 2
Rapporteren 0 0 0 1 0 1
Strokenplanning 0 0 0 1 0 1
Capaciteitsplanning 0 0 0 1 0 1
Kosten batenafweging voor inzet capaciteit
1 0 1 1 0 3
Informatiebeheersing door vooraf vastleggen hoe toegang tot documenten wordt geborgd.
0 0 0 0 0 0
Voortgangsbewaking op kwaliteit, tijd, kosten en organisatie en informatie door de auditmanager.
1 0 1 1 1 4
Voortgangsrapportage 1 1 0 0 1 3
Evaluatie door het team 0 0 0 0 0 0
Evaluatie door de opdrachtgever
0 0 0 0 0 0
Totaal 6 3 6 10 4 29
Mate van agile 6/15 3/15 6/15 10/15 4/15 29/(15*5)
=0,38667
Tabel 1: Mate van agile
67
In zijn totaliteit is de mate van agile voor auditmethodologie lager dan de volgens Qumer en
Henderson-Sellers minimale toegekende waarde voor een agile methode. Deze minimale waarde ligt
zoals reeds beschreven in hoofdstuk 3 tussen 0,5 en 0,6 (Qumer & Henderson-Sellers, 2008a).
Auditmethodologie scoort hier 0,333 voor de verschillende fasen en 0,39 voor de werkwijzen.
Opvallend (afwijkend) resultaat uit deze analyse is dat de voorbereidingsfase in auditmethodologie
als enige fase een hoge mate van agile kent. In deze beginfase van een audit is er nog een hoge mate
van flexibiliteit, worden snel resultaten geleverd, wordt lean gewerkt en is er sprake van een
leereffect. Ook de werkwijzen in deze fase (context analyse en audit ontwerp) scoren gemiddeld
hoog op de mate van agile. Deze resultaten sluiten aan bij de wijze waarop auditmethodologie is
opgezet. Zoals aangegeven in de beschrijving van auditmethodologie in hoofdstuk 2 zorgt
auditmethodologie voor een auditontwerp dat passend is bij het onderzoeksobject van de opdracht
(Bos e.a., 2017). Dit vindt plaats op basis van de contextanalyse. Dit impliceert in ieder geval dat
gereageerd wordt op veranderingen in de omgeving.
De werkwijze die het meeste bijdraagt aan agile is de voortgangsrapportage. In deze werkwijze wordt
de opdrachtgever tussentijds geïnformeerd en zorgt de opdrachtgever voor eventuele informatie
over nieuwe en/of gewijzigde behoeften. Zoals reeds onderstreept door Bos e.a. (2017) is het wel
van belang dat de voortgangsrapportage periodiek plaatsvindt, dus niet alleen bij bijzonderheden. In
de praktijk blijkt voortgangsrapportage veelal alleen bij bijzonderheden te worden toegepast.
In zijn algemeenheid blijkt uit voorgaande resultaten dat vanaf het afronden van het gedetailleerde
auditontwerp (het einde van de voorbereidingsfase), auditmethodologie vanuit het oogpunt van
agile in beperkte voldoet aan de kenmerken flexibiliteit, snelheid, lean en reactievermogen. Overall
wordt er op het leereffect hoog gescoord. Zowel in de verschillende fasen als in de werkwijzen wordt
opgedane kennis uit eerdere ervaringen toegepast.
68
Bijlage 6 Auditmethodologie geprojecteerd op dimensie 3 van het 4-DAT-model
Agile-waarden vormen het derde perspectief van het 4-DAT-model. Vanuit dit perspectief is op een
kwalitatieve wijze geanalyseerd welke werkwijzen uit auditmethodologie een bijdrage leveren aan de
6 verschillende agile-waarden. De resultaten zijn opgenomen in Tabel 1.
Agile-waarden karakteristieken Auditmethodologie en beheersing
1. Mensen en hun onderlinge interactie boven processen en hulpmiddelen
Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier aandacht aan besteedt.
2. Werkend/goed resultaat boven allesomvattende documentatie
Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier expliciet aandacht aan besteedt.
3. Samenwerking met de klant boven onderhandelingen
1. Hoor en wederhoor. Resultaten worden teruggelegd en besproken met de auditee/opdrachtgever. 2. Voortgangsrapportage. De opdrachtgever wordt gestimuleerd om betrokken te blijven bij de opdracht.
4. Inspelen op verandering boven het volgen van een plan
Er is geen specifieke werkwijze binnen auditmethodologie en beheersing die hier expliciet aandacht aan besteedt.
5. Het proces agile houden Evaluatie door het team en evaluatie door de opdrachtgever zijn expliciet bedoeld om na te gaan wat er in een volgende opdracht beter kan. Er zijn geen werkwijzen die expliciet ervoor zorgen dat de audit eenvoudig blijft of uitmunten goed wordt uitgevoerd.
6. Het proces kosteneffectief houden Kosten-batenafweging voor inzet capaciteit. In het auditontwerp wordt nagedacht welke auditors worden ingezet om tot een gedegen resultaat te komen. Voortgangsbewaking. Tijdens de audit wordt nagegaan of nog steeds conform plan wordt gewerkt. Daarnaast wordt waar nodig bijgestuurd.
Tabel 1: Bijdrage aan agile-waarden vanuit auditmethodologie
Auditmethodologie biedt geen invulling aan de volgende agile-waarden:
1. Mensen en hun onderlinge interactie boven processen en hulpmiddelen.
2. Werkend /goed resultaat boven allesomvattende documentatie.
3. Inspelen op verandering boven het volgen van een plan.
Dat er geen invulling wordt gegeven aan inspelen op verandering boven het volgen van het plan, sluit
aan bij de resultaten van de analyse voor het tweede perspectief (bijlage 5). Het reactievermogen
scoort in perspectief 2 laag. Er zijn dan ook geen werkwijzen binnen auditmethodologie die expliciet
bijdragen aan het identificeren van veranderingen en het reageren op deze veranderingen.
Twee werkwijzen komen naar voor die bijdragen aan samenwerking met de klant, te weten hoor
wederhoor en voortgangsrapportage. Echter valt er nog verbetering te realiseren vanuit de agile-
waarden op dit onderwerp. De samenwerking concentreert zich veelal op de latere fasen in de audit.
Er zijn meerdere werkwijzen geïdentificeerd die het proces agile houden. Deze werkwijzen hebben
echter enkel betrekking op het evalueren en verbeteren van de aanpak. Er zijn geen werkwijzen
geïdentificeerd die bijdragen aan uitmuntend presteren of het eenvoudig houden van de audit.
69
De werkwijzen zoals opgenomen bij het proces kosteneffectief houden sluiten aan bij de gemiddelde
mate van lean uit perspectief 2. Passend bij auditmethodologie is de kosten- batenafweging tijdens
het opstellen van het plan van aanpak in de voorbereidingsfase. Dit is een belangrijke activiteit in het
kader van de kosteneffectiviteit.
70
Bijlage 7 Auditmethodologie geprojecteerd op dimensie 4 van het 4-DAT-model
Het vierde perspectief van het 4-DAT-model betreft een kwalitatieve analyse van processen. Uit
Tabel 1 blijkt dat op alle elementen sprake is van ondersteunende werkwijzen.
Processen Auditmethodologie
1. Uitvoeren De levenscyclus van de audit bestaat uit de volgende (belangrijkste) werkwijzen:
• Risicoanalyse voor selectie opdrachten;
• Contextanalyse voor bepalen type audit en haalbaarheid van de opdracht;
• Auditontwerp (conceptueel en technisch);
• Veldwerk voor verzamelen van data;
• Scoren van criteria;
• Hoor en wederhoor;
• Rapporteren.
• Evalueren
Kwaliteitscontrole wordt voornamelijk vormgegeven in de voortgangsbewaking op kwaliteit.
2. Projectmanagement proces
Het project managen komt voornamelijk naar voren in de volgende werkwijzen:
Daarnaast zijn er diverse werkwijzen die veel lijken op de werkwijzen in auditmethodologie, maar
waar vanuit de beschrijving van auditmethodologie niet is gebleken dat hiermee expliciet de
onderlinge interactie wordt verbeterd. Dit betreffen o.a.:
• Collectief eigenaarschap;
• Werken in teams; en
• Inspecties (kwaliteitscontroles).
Als laatste betreft het actief gebruikers betrokkenheid. Echter, hiervan is ook al bij de analyse van
dimensie twee gebleken dat dit niet direct bijdraagt aan de doelstelling van auditmethodologie.
Derhalve zijn er vanuit dimensie 3 geen aanvullende werkwijzen die een verrijking vormen op
auditmethodologie. Tevens zijn er geen werkwijzen gevonden die ingaan op uitmunten presteren.
77
Dimensie 4
Vanuit de analyse vanuit dimensie 4 was reeds bekend dat alle werkwijzen worden ondersteund door
werkwijzen vanuit auditmethodologie. Derhalve is hier niet gezocht naar aanvullende verrijking.
78
Bijlage 10 Uitnodiging Delphi-studie
79
Bijlage 11 Onthouding van nadere medewerking
De inhoud van deze bijlage is verwijderd i.v.m. de privacy van de respondenten.
80
Bijlage 12 Interviewvragen
Inleidende vragen: Er worden een aantal inleidende vragen gesteld om na te gaan in hoeverre de geïnterviewde op de hoogte is van auditmethodologie en agile zoals toegepast in het onderzoek.
Ervaring met auditmethodologie
• Ken je de theorie van auditmethodologie zoals deze is opgesteld door Peter Bos, Ron de Korte en Jan Otten?
• Wat zijn de belangrijkste voordelen van deze methodologie volgens jou (vanuit theoretisch en/of toepassingsperspectief)?
• Welke verbetermogelijkheden ten aanzien van deze methodologie onderken je (vanuit theoretisch en/of toepassingsperspectief)?
Ervaring met agile In het geval van audit experts
• Ben je bekend met de theorie over agile?
• Ben je werkzaam (geweest) in een functie waarin agile werken wordt toegepast?
• In wat voor functies heb je agile werken toegepast? Alle respondenten
• Wat zijn voor jou de belangrijkste kenmerken van agile?
• Met welke methoden gebaseerd op agile ben je bekend?
Hoofdvragen: Middels deze vragen wordt nagegaan welke kenmerken uit agile methoden de geïnterviewde als verrijkend voor auditmethodologie classificeert.
Audit methodologie verrijken met kenmerken van agile Ik heb je zojuist een overzicht laten zien in hoeverre auditmethodologie voldoet aan de belangrijkste kenmerken van agile conform mijn literatuuronderzoek en afstemming met een expert op het gebied van auditmethodologie. Op basis van dit overzicht wil ik je een aantal vragen stellen: Welke kenmerken van agile zoals in het overzicht opgenomen kunnen jouws inziens auditmethodologie van Bos, de Korte en Otten verrijken?
• Minimaal de resultaten uit de analyse bespreken
• Iteratief werken
• Snelheid
• Flexibiliteit
• Reactievermogen
• Lean
• Mensen en hun onderlinge interactie boven processen en hulpmiddelen
• Het proces agile houden (Uitmuntend presteren) n.b. de uitleg over de kenmerken van auditmethodologie voor agile experts wordt met behulp van de praatplaat toegelicht. Per kenmerk:
• Waarom vind je dit kenmerk verrijkend voor auditmethodologie (zoals omschreven door Bos, de Korte en Otten)?
• Welke toegevoegde waarde zie je hierin?
81
• Kun je dit verder uitleggen?
• Hoe draagt dit kenmerk jouws inziens bij aan het realiseren van de doelstelling van auditmethodologie (van Bos, de Korte en Otten) of een deelaspecten van deze doelstelling (samenvatting en validatievraag)?
• Hoe draagt dit kenmerk van agile bij aan de door jou genoemde elementen van auditmethodologie (zoals omschreven door Bos, de Korte en Otten) die nog verbeterd kunnen worden?
• Wat zijn de nadelen van dit kenmerk van agile wanneer je het toepast in auditmethodologie (zoals omschreven door Bos, de Korte en Otten)?
• Zie je onderscheid in verschillende type (audit)opdrachten waarbij dit kenmerken toepasbaar is of juist niet?
• Welke verschillen onderken je hierin?
• Kun je dit verder uitleggen? Wanneer kenmerken die uit de literatuurstudie naar voren zijn gekomen als verrijkend, maar niet zijn benoemd door de geïnterviewde, deze separaat bespreken door middel van bovenstaande vragen. Voor de kenmerken die uit de analyse als verrijkend zijn benoemd maar niet worden aangedragen als verrijkend door de geïnterviewde:
• Waarom zie je dit/deze element(en) niet als verrijkend voor auditmethodologie (zoals omschreven door Bos, de Korte en Otten)?
Zijn er kenmerken van agile die we nu niet hebben besproken maar jouws inziens wel relevant zijn? (Indien ja, de vragen hierboven opnieuw behandelen).
Auditmethodologie verrijken met elementen uit methoden gebaseerd op kenmerken van agile Onder elementen uit methoden gebaseerd op kenmerken van agile worden de verschillende werkwijzen verstaan die worden toegepast in de methoden. Hierbij wordt uitgegaan van de methoden XP, Scrum, DSDM, ASD en FDD. Uit mijn analyse zijn een aantal elementen/basis principes naar voren gekomen als verrijkend voor auditmethodologie. Deze elementen wil ik graag met je doornemen.
• Iteratief werken
• Backlog: Proceseigenaar (productowner) betrekken bij prioritering uitvoeren werkprogramma en mogelijkheid bieden toevoegen normen tijdens opdracht
• Dagelijkse scrum
• Sprint/korte releases/regelmatig leveren van producten
• Scrummeester/adaptief managementmodel: Wegnemen van problemen door de leidinggevende rol
Welke van deze elementen uit methoden gebaseerd op agile vormen volgens jou een verrijking van auditmethodologie? Per element doorvragen met o.a. de volgende vragen:
• Waarom vind je dit element als verrijkend voor auditmethodologie (zoals omschreven door Bos, de Korte en Otten)?
• Welke toegevoegde waarde zie je hierin?
• Kun je dit verder uitleggen?
82
• Hoe draagt dit element jouws inziens bij aan het realiseren van de doelstelling van auditmethodologie (zoals omschreven door Bos, de Korte en Otten) of een deelaspecten van deze doelstelling (samenvatting en validatievraag)?
• Hoe draagt dit element bij aan de door jou genoemde elementen van auditmethodologie (zoals omschreven door Bos, de Korte en Otten) die nog verbeterd kunnen worden?
• Wat zijn de nadelen van dit element wanneer je het toepast in auditmethodologie (zoals omschreven door Bos, de Korte en Otten)?
• Zie je onderscheid in verschillende type (audit)opdrachten waarbij het element wel toepasbaar is of juist niet?
• Welke verschillen onderken je hierin?
• Kun je dit verder uitleggen? Voor de elementen uit bovenstaand overzicht die niet worden aangedragen als verrijkend:
• Waarom ziet je dit/deze element(en) niet als verrijkend voor auditmethodologie? Ik heb zojuist een overzicht laten zien van diverse elementen uit methoden gebaseerd op agile en waar nodig deze elementen toegelicht. In dit overzicht is opgenomen aan welke agile kenmerken deze elementen voldoen.
• Zijn er in dit overzicht elementen opgenomen, die (naast de eerder behandelde elementen) een verrijking vormen van auditmethodologie?
• Welke van deze elementen vormen volgens jou naast de eerder behandelde elementen een verrijking van auditmethodologie? (
• Zijn er elementen uit methoden gebaseerd op agile die we nu niet hebben besproken maar jouws inziens wel relevant zijn?
Afsluitende vraag om na te gaan of er geen onderdelen zijn gemist
• Heb je nog relevante aanvullingen die nu niet zijn besproken?
• Heeft het gesprek inzichten opgeleverd waarmee je in de praktijk verder zou kunnen, zo ja welke en hoe?
• Hoe heb je het gesprek ervaren?
83
Bijlage 13 Interviewverslagen
De inhoud van deze bijlage is verwijderd i.v.m. de privacy van de respondenten.
84
Bijlage 14 Vragenlijst expertvalidatie
Naam:
Datum:
Introductie
Graag wil ik je vragen om onderstaande vraag te beantwoorden voor de 19 genoemde elementen
(werkwijzen) op basis van jouw expertise. In de bijlage bij deze vragenlijst vind je een korte
toelichting over de verschillende werkwijzen en de argumentatie die door mede geïnterviewden is
aangedragen om genoemde elementen (werkwijzen) als verrijkend voor auditmethodologie te zien.
Onderzoeksvraag:
Vormen onderstaande elementen (werkwijzen) uit methoden gebaseerd op agile volgens jou een
1 Een backlog per audit met auditstories. De opdrachtgever en/of proceseigenaar worden betrokken bij het bepalen van de elementen op de backlog en de urgentie van de verschillende elementen.
☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
2 Werken in iteraties (sprints) ☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
3 Dagstart ☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
85
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
3a Dagstart zoals in ‘krimi’s’ ☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
4 Multidisciplinair team ☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
5 Meedraaien in agile-businessteams ☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
6 Stakeholdermapping/stakeholder management
☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
86
7 Tussentijds rapporteren aan de klant (demo/review/)
☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
8 Tussentijds evalueren met de klant (retrospectieve met de klant)
☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
9 Tussentijds evalueren met het team (retrospective)
☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
10 Planningsspel ☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
11 Scrummeester ☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
87
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
12 Persoonlijke kanban ☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
13 Werkafspraken (Foundations) ☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
14 Fysiek op één locatie werken ☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
15 Backlog als auditjaarplan ☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
88
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
16 Fastlane ☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
17 Onderhanden-werk-limiet ☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.
18 Heartbeats ☐ Ja, in alle onderstaande gevallen
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende de verantwoordelijke voor de werkzaamheden is (proceseigenaar)
☐ Ja, bij opdrachten waarbij de belangrijkste belanghebbende (niet zijnde de verantwoordelijke) zekerheid wil over het proces (bijvoorbeeld DNB/AFM/ RvC en RvB)
☐ Ja, bij opdrachten met een doorlooptijd < 2 weken
☐ Ja, bij opdrachten met een doorlooptijd > 2 weken en < 6 weken
☐ Ja, bij opdrachten met een doorlooptijd > 6 weken
☐ Ja, bij opdrachten met een beperkte scope
☐ Ja, bij opdrachten met een omvangrijke (en/of internationale) scope of
☐ Nee
☐ Nee, het betreft een werkwijze die al bestaat binnen auditmethodologie maar explicieter kan worden benadrukt.