WORDT ER WEL GELEERD VAN UITKOMSTMATEN IN DE ZORG? Het gebruik van ROM voor strategisch leren met professionals binnen de GGZ Thesis Master of Health Business Administration Erasmus Centrum voor Zorgbestuur Erasmus University Rotterdam dr. Jochanan Huijser, psychiater, directeur behandelzaken Arkin Thesis begeleider: dr. Marlies Ott Amsterdam, mei 2015
71
Embed
WORDT ER WEL GELEERD VAN UITKOMSTMATEN IN DE ZORG?
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
WORDT ER WEL GELEERD VAN UITKOMSTMATEN IN DE ZORG?
Het gebruik van ROM voor strategisch leren met professionals binnen de GGZ
Thesis Master of Health Business Administration
Erasmus Centrum voor Zorgbestuur
Erasmus University Rotterdam
dr. Jochanan Huijser, psychiater, directeur behandelzaken Arkin
Thesis begeleider: dr. Marlies Ott
Amsterdam, mei 2015
2
3
WORDT ER WEL GELEERD VAN UITKOMSTMATEN IN DE ZORG?
Het gebruik van ROM voor strategisch leren met professionals binnen de GGZ
Thesis Master of Health Business Administration
Erasmus Centrum voor Zorgbestuur
Erasmus University Rotterdam
dr. Jochanan Huijser, psychiater, directeur behandelzaken Arkin
Thesis begeleider: dr. Marlies Ott
Amsterdam, mei 2015
4
Master of Health Business Administration De MHBA is een internationaal geaccrediteerd bedrijfskundig masterprogramma voor managers in de zorgsector aan het Erasmus Centrum voor Zorgbestuur. Het richt zich op optimaal vraaggerichte en efficiënte zorgverlening. Een strategisch perspectief wordt gecombineerd met de toepassing van innoverende bedrijfsconcepten. Het programma is een “executive MHBA program”. Het richt zich op managers die gevorderd zijn in hun loopbaan en zich eerder in leergangen en of de praktijk het gang-‐bare bedrijfskundig instrumentarium hebben eigen gemaakt. Aan het diploma van de opleiding is de titel "Master of Health Business Administration" verbonden. http://www.erasmuscentrumzorgbestuur.nl Afbeelding op de voorpagina: Leren van ROM van Maarten Melis (www.maartenmelis.nl).
5
INHOUDSOPGAVE
Voorwoord 7
Management summary 9
Management samenvatting 11
1. Inleiding 13
1.1. Probleemstelling 13
1.2. Doelstelling 18
1.3. Vraagstelling 18
1.4. Maatschappelijke relevantie 18
2. Conceptueel model 21
3. Onderzoeksopzet 27
3.1. Inleiding 27
3.2. Sampling strategie 27
3.3. Dataverzameling 28
3.3.1. Groepsinterviews 28
3.3.2. Bijeenkomst Leren van ROM 29
3.3.3. Presentaties van de drie best practices 29
3.4. Data analyse 30
4. Resultaten 31
4.1. Beschrijving van de organisaties en uitkomsten interviews 31
4.1.1. Arkin 31
4.1.2. GGz Breburg 36
4.1.3. GGZ Noord-‐Holland-‐Noord (NHN) 41
4.2. Uitkomsten observationeel onderzoek Arkin 45
4.3. De drie onderzochte instellingen vergeleken
5. Conclusie en aanbevelingen 53
5.1. Conclusies
5.1.1. Wordt er wel van ROM geleerd? 54
5.1.2. Factoren voor professionals die bijdragen aan het leren van ROM,
het eigenaarschap 55
5.1.3. Organisatorische aspecten van leren van ROM, de veranderstrategie 56
5.1.4. Het conceptuele model in het licht van de onderzoeksresultaten 56
5.2. Aanbevelingen 60
6
5.3. Beperkingen van het onderzoek 62
5.4. Vervolgonderzoek 63
Bijlagen
Bijlage 1. Topic lijst interview 65
Bijlage 2. Vragenlijst interview 66
Bijlage 3. Axiale codering ROM 67
Literatuur 69
7
VOORWOORD
Twee jaar gelden leidde ik als directeur behandelzaken bij Arkin een bijeenkomst over de uitkomsten
van een klanttevredenheidsonderzoek. Over de uitkomsten kon ik tevreden zijn. Op een aantal items
scoorden wij hoger en op een aantal items lager dan andere instellingen in de benchmark. Voor de
lage scores waren een aantal gegronde redenen aan te wijzen. Verbeterplannen werden opgesteld
en ingevoerd in het verbeterregister. Een mooi voorbeeld hoe je als directeur omgaat met uitkomst-‐
maten.
Een jaar later gebruikte ik dezelfde data in het kader van mijn MHBA-‐health opleiding voor de analy-‐
se van de waardeketen. Met de blik van de student en redenerend vanuit de klantwaarde bleken
dezelfde data een heel ander beeld te laten zien. Op belangrijke onderdelen bleken we zelfs net op
of onder de drempelwaarde te presteren. Onvoldoende in mijn ogen om echt onderscheidend te zijn.
De tevredenheid maakte plaats voor onrust.
Wat maakte dat ik de uitkomsten van het klanttevredenheidsonderzoek in beide situaties zo verschil-‐
lend heb geïnterpreteerd? Aan de data kon het moeilijk liggen. Kwam het door de context waarin de
uitkomsten werden besproken? En, zo ja, is deze context dan te beïnvloeden? Deze vragen vormen
de basis van de thesis.
Het meten van uitkomsten heeft mijn loopbaan als behandelaar, onderzoeker en manager sterk ge-‐
kleurd. Ik ben gepromoveerd op de diagnostiek van angststoornissen en depressieve stoornissen en
heb vorm gegeven aan het Zorgprogramma Stemmingsstoornissen van de afdeling psychiatrie van
het AMC. Nu ben ik directeur behandelzaken bij Arkin. Steeds met de vraag hoe we het beste gebruik
kunnen maken van wetenschappelijke kennis om de zorg voor onze cliënten te verbeteren. Behalve
directeur ben ik met hart en ziel werkzaam als psychiater. In de thesis heb ik er voor gekozen om de
vraag naar het leren van uitkomstmaten te beantwoorden vanuit het perspectief van de professional.
Verschil wordt gemaakt door de talenten op de werkvloer.
Tot slot mijn woord van dank. Met de afronding van de thesis is een eind gekomen aan twee jaar
MHBA opleiding. Een zeer inspirerende ervaring om met één en twintig door en door gemotiveerde
medestudenten aan een ware expeditie te beginnen met zoveel inspirerende docenten, begeleiders,
buschauffeurs en restauranthouders.
Allereerst wil ik de Raad van Bestuur van Arkin bedanken voor de mogelijkheid die zij mij boden om
de opleiding te volgen. Het heeft mij veel rust gebracht om zicht te krijgen op complexe processen
binnen organisaties.
8
Mijn thesisbegeleider Marlies Ott wil ik danken voor haar beschouwend commentaar en haar hulp
om de gevonden resultaten steeds in breder verband te zien. Het eigenaarschap van de thesis liet je
steeds bij mij. En op de valreep, het klopt, in wezen gaat het ook bij ROM om leiderschap .
Zonder de bereidwilligheid en open houding van al mijn gesprekspartners kon het onderzoek niet
worden uitgevoerd. Speciaal wil ik hierbij de projectleiders ROM noemen: Jack Dekker, Margot Metz
en Annet Nugter. Met Michiel Kooper, mijn mede-‐interviewer, heb ik vele discussies gevoerd over
het gebruik van data door professionals, waarvoor dank.
Zonder het thuisfront had de MHBA expeditie niet zo veel ontdekkingen opgeleverd. De fiets en de
muziek waren er voor de verbinding tussen lijf en hoofd. Tini en Medard uit de Achterhoek wil ik
danken voor hun gastvrijheid om weer grond te voelen bij het schrijven. Leon en Dan, twee lang jaar
hadden we alle drie een collegekaart. Daar waren we terecht trots op. Ik hoop een goed voorbeeld
voor permanent leren. Kathy, nu dit deel van mijn trektocht is voltooid, is er weer ruimte om onze
expeditie met veel energie voort te zetten.
9
MANAGEMENT SUMMARY
The aim of the study is to formulate recommendations to promote the learning of ROM among pro-‐
fessionals in the mental health care in the Netherlands
Given the current cuts in health care budgets, health care providers are having to design the care
process more effectively and efficiently. Ever greater demands are being made on the quality of care.
Clients are being given an increasingly significant role in choosing their treatment. Transparency is
seen as one of the ways of making care more effective and efficient. The mental health care in the
Netherlands has embarked on Routine Outcome Monitoring (ROM), the use of routine measure-‐
ment, evaluation and feedback of treatment outcomes. Providing transparency about these out-‐
comes enables comparisons to be made between health care institutions and to learn from them.
Linking treatment outcomes to treatment programmes makes it possible to evaluate the effective-‐
ness of the latter.
Learning from treatment outcomes in the health care sector is impossible without the key players,
the professionals themselves, since it is the interaction between the practitioner and the client that
determines the quality of care. As yet little is known about how professionals can be involved in
learning from treatment outcomes.
The introduction of ROM into the mental health care in the Netherlands has not been an entirely
smooth process. Ownership of ROM has shifted from the professionals to the world of managers and
financiers, thus creating considerable resistance among professionals towards using ROM and learn-‐
ing from it.
In the study the practice of ROM is studied to find out how outcome measurements in health care
can be learned from. On the basis of the literature a conceptual model has been set up to enable
professionals to learn in teams. Using this model, the practice of learning ROM has been studied in
three mental health institutions in the Netherlands. The conclusion is that, without ownership, pro-‐
fessionals are unable to learn from ROM. It is important that institutions view ROM as a means for
attaining their strategic objectives. An implementation strategy must be chosen that is in line with
the intrinsic motivation of professionals. Apart from adequate outcome measurements (data), learn-‐
ing ROM also requires attention to the actual substance and process of learning in teams and the
support it calls for.
10
Recommendations from the study are as follows:
• ROM is a method that is primarily intended for the treatment itself. By connecting ROM with
the intrinsic motivation of professionals arises ownership.
• Use a implementation strategy that is in line with the intrinsic motivation of professionals.
• Be clear about the objectives of using ROM and the norms that are applied.
• With regard to the data: (a) to make sense of the data, results of measurement scales must
first be made meaningful at the individual level; (b) the timeliness of the data is determined
by the goal of the evaluation. Feedback of outcomes must be included in the policy decisions
made in the care process; (c) to make sense of the data at the aggregated level, feedback
must be given at least twice a year; (d) make the outcomes of ROM as specific as possible.
Link ROM to clinical pathways and use specific means of measurement geared to the target
group; (e) presenting the outcomes always entails an judgment. Do not deny this, and formu-‐
late the substantive goals in advance. The suggestion of a value-‐free examination of outcome
measurements without a clear objective creates unease and suspension among profession-‐
als.
• With regard to team learning: (a) link the goal of team learning to the strategic goals of the
organisation; (b) team learning is not for free. Clarify roles and responsibilities and articulate
expectations about the goals to be achieved; (c) determine the teams' degree of autonomy
in the learning process; (d) learning in teams requires constancy and practice time. Design
room for experimenting to achieve this; (e) show prospects of team effectiveness in bringing
about behavioural changes.
• With regard to support: (a) make time and space available to support team learning (b) sup-‐
port team learning by devoting attention to the team process; (c) define the teams' margin
for making errors; (d) organise active management involvement in the team learning pro-‐
cess.
11
MANAGEMENT SAMENVATTING
De doelstelling van het onderzoek is om aanbevelingen te kunnen doen om het leren van ROM met
professionals binnen de GGZ te bevorderen.
De huidige bezuinigingen in de zorg vragen van zorgverleners om het zorgproces efficiënt en doelma-‐
tig in te richten. Er worden steeds hogere eisen gesteld aan de kwaliteit van de zorg. Cliënten krijgen
een steeds belangrijker rol bij het kiezen van de behandeling. Transparantie wordt gezien als één van
de manieren om de zorg efficiënter en doelmatiger te maken.
Binnen de GGZ is gestart met Routine Outcome Monitoring (ROM). Het routinematig meten, evalue-‐
ren en terugkoppelen van uitkomsten. Door het bieden van transparantie over de behandeluitkom-‐
sten is het mogelijk vergelijkingen te maken tussen instellingen en hiervan te leren. Het koppelen van
behandeluitkomsten aan behandelprogramma’s maakt het mogelijk de effectiviteit van de pro-‐
gramma’s te beoordelen.
Het leren van behandeluitkomsten in de zorg kan niet zonder de hoofdrolspelers, de professionals.
Immers, de kwaliteit van zorg wordt bepaald door de interactie tussen behandelaar en cliënt. Er is
nog weinig bekend op welke wijze professionals betrokken kunnen worden bij het leren van zorguit-‐
komsten.
De introductie van ROM binnen de GGZ in Nederland is niet zonder slag of stoot gegaan. Het eige-‐
naarschap van ROM is uit de spreekkamer verdwenen en van de professionals verschoven naar de
wereld van de managers en de financiers. Hierdoor bestaat er grote weerstand bij professionals om
ROM te gebruiken en hiervan te leren.
In deze studie is de praktijk van ROM binnen de GGZ bestudeerd om zicht te krijgen op welke wijze er
geleerd kan worden van uitkomstmaten. Op basis van de literatuur is een conceptueel model opge-‐
steld voor het leren door professionals in teams. Op basis van het conceptuele model is de praktijk
van leren van ROM onderzocht bij drie GGZ instellingen in Nederland.
Geconcludeerd werd dat het leren van ROM niet zonder eigenaarschap bij professionals kan. Voor
organisaties is het van belang om ROM te zien als middel om strategische organisatiedoelen te berei-‐
ken. Leren van ROM is alleen maar mogelijk als er gekozen wordt voor een implementatiestrategie
welke aansluit bij de intrinsieke motivatie van de professional. Naast adequate uitkomstmaten (de
12
data) moet bij leren van ROM aandacht worden besteed aan de inhoud en het proces van teamleren
en de ondersteuning die dit vraagt.
Aanbevelingen uit het onderzoek zijn de volgende:
• ROM is als instrument primair bedoeld voor de behandeling. Door aan te sluiten bij de intrin-‐
sieke motivatie van de professionals ontstaat eigenaarschap.
• Gebruik een ontwikkelstrategie die aansluit bij de intrinsieke motivatie van professionals.
• Wees duidelijk over de doelen waarvoor ROM wordt ingezet en de hierbij gehanteerde nor-‐
men.
• Ten aanzien van de data: (a) om vertrouwdheid met data te verkrijgen moeten uitslagen van
meetschalen voor behandelaren eerst op individueel niveau betekenis krijgen; (b) de tijdig-‐
heid van de data wordt bepaald door het doel van de evaluatie. Terugkoppeling van uitkom-‐
sten moet onderdeel uitmaken van (beleids)beslissingen in de zorg; (c) om vertrouwd te ra-‐
ken met data op geaggregeerd niveau zal de frequentie van de terugkoppeling minimaal
twee maal per jaar moeten plaats vinden; (d) maak de uitkomsten van ROM zo specifiek mo-‐
gelijk. Koppel ROM aan zorgpaden en gebruik specifieke meetinstrumenten toegesneden op
de doelgroep; (e) het presenteren van uitkomsten heeft altijd een beoordelend karakter.
Ontken dit niet en formuleer van te voren de inhoudelijke doelen. De suggestie van waarde-‐
vrij kijken naar uitkomstmaten zonder duidelijk doel veroorzaakt onrust en achterdocht bij
professionals.
• Ten aanzien van teamleren: (a) breng het doel van het teamleren in verbinding met de stra-‐
tegische doelen van de organisatie; (b) teamleren is ‘not for free’. Maak duidelijk wat de rol-‐
len en verantwoordelijkheden zijn en spreek verwachtingen uit over de te behalen doelen;
(c) bepaal de regelruimte van de teams voor het leren; (d) voor teamleren is constantheid
en oefentijd nodig. Creëer hiervoor experimenteer ruimte; (e) geef zicht op de teameffecti-‐
viteit in het realiseren van gedragsveranderingen.
• Ten aanzien van de ondersteuning: (a) stel tijd en ruimte beschikbaar om het teamleren te
ondersteunen; (b) ondersteun het teamleren door aandacht te besteden aan het teampro-‐
ces; (c) bepaal de kaders voor de teams om fouten te mogen maken; (d) organiseer actieve
betrokkenheid van het management bij het teamleren.
13
1. INLEIDING
1.1. Probleemstelling
Sturen op behandeluitkomsten, het kwaliteitsdenken
De huidige bezuinigingen in de zorg vragen van zorgverleners om het zorgproces efficiënt en transpa-‐
rant in te richten. Er worden steeds hogere eisen gesteld aan de kwaliteit van de zorg. Cliënten heb-‐
ben steeds meer toegang tot informatie over de uitkomsten van de zorg. Deze informatie gaat voor
hen een steeds belangrijkere rol spelen bij de keuze voor de meest passende behandeling. Verzeke-‐
raars trachten op basis van behandeluitkomsten de zorg voor hun verzekerden zo goed mogelijk in te
kopen. Het transparant maken van de behandeluitkomsten wordt gezien als een manier om de zorg
zowel doelmatiger (de best mogelijke zorg tegen aanvaardbare kosten) als verantwoord (zorg die
voldoet aan de wetenschappelijk standaarden en richtlijnen) te maken.
Achmea vat het sturen op kwaliteit als volgt samen: “Om te kunnen sturen op kwaliteit van zorg kijkt
Achmea naar behandelresultaten. We stellen belangrijke vragen aan zorgverleners als: wat is de bes-‐
te manier van behandelen, verzorgen en verplegen? En welk resultaat mag je verwachten? De kwali-‐
teit van een behandeling gaat nog vaak over het proces, zoals de service of wachttijden van een zie-‐
kenhuis. Achmea kijkt juist, samen met zorgverleners, naar het resultaat. De zorguitkomsten. Ben je
in één keer goed geholpen, zonder bijvoorbeeld een complicatie? En hoe snel kun je na een knieopera-‐
tie weer goed lopen, zonder pijn?” (Programma Kwaliteit van Zorg, Achmea
http://www.achmeacongres2014-‐zorguitkomsten.nl, geciteerd op 27 april 2015).
Het vergelijken van uitkomstgegevens van verschillende aanbieders (benchmarken) maakt het moge-‐
lijk om van elkaar te leren met als doel de kwaliteit te verhogen. In de GGZ wordt deze kwaliteitscy-‐
clus in het meerjarenprogramma Kwaliteitsontwikkeling GGz, netwerk voor goede zorg 2015 – 2017
van het Landelijk Samenwerkingsverband Kwaliteitsstandaarden GGz (LSKS, 2014) als volgt omschre-‐
ven:
• De indicatiestelling, de inhoud en de organisatie van de zorg worden vastgelegd in modulair
opgebouwde zorgstandaarden en zorgpaden (inclusief de specificatie van hoofdbehandelaar-‐
schap).
• De zorgstandaarden en hieruit voortvloeiende zorgpaden zijn gebaseerd op multidisciplinaire
richtlijnen die voor zover als mogelijk evidence-‐based zijn opgesteld, aangevuld met practice-‐
based informatie.
• De zorgstandaarden zijn voorzien van bijpassend meetinstrumenten (set kwaliteits-‐
indicatoren en gevalideerde vragenlijsten).
14
• Op basis van het gebruik van deze meetinstrumenten komt transparante informatie over de
kwaliteit en effectiviteit van de zorg beschikbaar voor patiënten en professionals, met als be-‐
langrijkste uitkomstmaten: effectiviteit, patiëntwaardering, kwaliteit van leven en kosten.
• Het inzicht in deze uitkomsten draagt vervolgens bij aan een verbeterde kwaliteit en efficiën-‐
tie van de zorg en de uitkomsten van de metingen worden op een continue wijze terugge-‐
koppeld aan patiënten, professionals (incl. de hoofdbehandelaar), zorgaanbieders en zorg-‐
verzekeraars.
• De uitkomsten worden geaggregeerd op het niveau van aard van de klachten en aandoenin-‐
gen en deze gegevens worden beschikbaar gesteld aan patiënten en aan zorgverleners om
hun eigen resultaten van de geleverde zorg te benchmarken.
• Zorgprofessionals en zorgaanbieders komen daarmee tot verbetering van de geleverde zorg
en tot uitwisseling van kennis en methodieken (cursief JH).
• Een selectie van de benchmarkgegevens wordt verstrekt aan patiënten en stakeholders voor
externe verantwoording, zoals inspectie, zorgverzekeraars.
• De benchmarkgegevens worden vervolgens geanalyseerd door topexperts (incl. vertegen-‐
woordigers van patiënten) die op basis van deze bevindingen weer aanbevelingen doen voor
aanpassing van zorgstandaarden en zorgpaden (LSK).
Aangenomen wordt dat het sturen op behandeluitkomsten zorgprofessionals en zorgaanbieders
aanzet tot kwaliteitsverbeteringen in de zorg.
Het ongemak bij professionals met kwaliteitsdenken
De zorgprofessional zal de kwaliteit moeten waarmaken in de spreekkamer. Het leren van uitkomst-‐
maten moet in lijn gebracht worden met doelstelling van de organisatie en financier; het bieden van
doelmatige en verantwoorde zorg. En juist op dit laatste punt botst het met de relatief autonome
professional. Zij willen de beste zorg bieden los van kosten en richtlijnen. Dit betekent dat er zelden
een gedeeld vertrekpunt tussen is tussen professionals, organisatie en financiers over welke waarde
gecreëerd dient te worden. Omdat het per definitie gaat om meervoudige waardecreaties wordt het
leren met professionals door Kloosterboer (2012) gezien als een wicked problem. Een probleem dat
vooral niet volledig analyseerbaar en oplosbaar is en na iedere actie nieuwe kanten van zichzelf laat
zien.
In kennisintensieve organisaties geldt dat in een snel veranderende, complexe omgeving, organisa-‐
ties ingericht moeten zijn om van en met elkaar te leren. Het verborgen potentieel van professionals
moet niet verspild worden om met elkaar te leren. De professional moet zich eigenaar kunnen voe-‐
15
len van het veranderingsproces en de organisatie moet zijn strategische doelen hiermee kunnen
bereiken. Kloosterboer spreekt in dit verband over strategisch leren om waarde te creëren voor zo-‐
wel klanten, financiers als professionals. Strategisch leren wordt gedefinieerd als een verandering in
een patroon van (bedrijfs)activiteiten en gedragingen op organisatieniveau, leidend tot waardever-‐
groting voor de primair belanghebbenden (Kloosterboer, 2011, 2012).
Strategisch leren in teams met professionals
Don Berwick, voormalig hoofd van het Amerikaans Institute for Healthcare Improvement benadrukt
in zijn denken de rol van de professionals bij de kwaliteitsverbetering van de zorg. Hij stelt dat het
Taylorsime in de zorg, met de nadruk op standaardisatie, protocollering en procesbeschrijvingen veel
heeft gebracht, maar dat de gezondheidszorg meer nodig heeft om de kwaliteit te verbeteren. Be-‐
staande modellen voor kwaliteitsverbetering zijn ineffectief en veelal gebaseerd op controle en stan-‐
daardisatie. Hij ziet de kracht van professionals als belangrijke voorwaarde om tot kwaliteitsverbete-‐
ring in de zorg te komen. Deze verandering kan niet door buitenstaanders worden opgelegd: “it has
to be done by the people who are trying to improve themselves and it is often to be done in groups ”.
Kwaliteit wordt door Berwick gezien als een systeem kenmerk en niet alleen als individuele kenmer-‐
ken van de professional (Berwick 2003).
Als eerste stap in het veranderingsproces is het van belang dat professionals de huidige prestaties
onder ogen te zien (facing reality). Dit onder ogen zien vraagt om een attitudeverandering. Om dit
proces aan te duiden gebruikt hij de Japanse termen taseki en jiseki. Taseki betekent ‘”de bal ligt bij
jou, het probleem is niet van mij”. Jiseki betekent “ de verantwoordelijkheid ligt bij mij, ik pak de
handschoen op”. Verandering begint in de ogen van Berwick bij de attitudeverandering van taseki
naar jiseki die in stappen plaats vindt en door teams moeten worden doorlopen.
Oudejans, Spits & Schippers (2011) werkten deze stadia verder uit voor de toepassing van het terug-‐
koppelen van geaggregeerde gegevens aan teams. In het eerste stadium wordt met ongeloof gerea-‐
geerd op de gegevens en wordt gesteld dat de data niet kloppen. Gevolgd door een tweede stadium
waarbij de gegevens wel als kloppend worden beschouwd maar er geen probleem is. In het derde
stadium worden de gegevens als kloppend gezien en door het team als probleem ervaren. De oplos-‐
sing van het probleem wordt echter niet binnen de beïnvloedingssfeer van het team gezien maar
daarbuiten. In het vierde stadium worden de gegevens als kloppend beschouwd, er is een probleem,
het is ons probleem en we gaan er iets aan doen. In andere woorden: het eigenaarschap wordt door
het team gevoeld en de verandering wordt door het team ingezet. Berwick’s advies is om zo snel
mogelijk de vier noodzakelijke stadia van team coping te doorlopen want alleen in het vierde “jiseki”
stadium kan pas van kwaliteitsverbetering gesproken worden.
16
Leren we van uitkomstmaten?
Weinig is bekend over de relatie tussen het terugkoppelen van geaggregeerde gegevens en de kwali-‐
teitsverbetering in de zorg. De literatuur is schaars en vaak teleurstellend (Perris 2002, De Boer, Mar-‐
• ROM is als instrument primair bedoeld voor de behandeling. Door aan te sluiten bij de intrin-‐
sieke motivatie van de professionals ontstaat eigenaarschap.
Ontwikkelstrategie
• Gebruik een ontwikkelstrategie die aansluit bij de intrinsieke motivatie van professionals.
Leerproces
• Wees duidelijk over de doelen waarvoor ROM wordt ingezet en de hierbij gehanteerde nor-‐
men.
Leerstimulus
• Om vertrouwdheid met data te verkrijgen moeten uitslagen van meetschalen voor behande-‐
laren eerst op individueel niveau betekenis krijgen.
• De tijdigheid van de data wordt bepaald door het doel van de evaluatie. Terugkoppeling van
uitkomsten moet onderdeel uitmaken van (beleids-‐)beslissingen in de zorg.
• Om vertrouwd te raken met data op geaggregeerd niveau zal de frequentie van de terugkop-‐
peling minimaal twee maal per jaar moeten plaats vinden.
• Maak de uitkomsten van ROM zo specifiek mogelijk. Koppel ROM aan zorgpaden en gebruik
specifieke meetinstrumenten, toegesneden op de doelgroep.
• Het presenteren van uitkomsten heeft altijd een beoordelend karakter. Ontken dit niet en
formuleer van te voren de inhoudelijke doelen. De suggestie van waardevrij kijken naar uit-‐
komstmaten zonder duidelijk doel veroorzaakt onrust en achterdocht bij professionals.
Teamleren
• Breng het doel van het teamleren in verbinding met de strategische doelen van de organisa-‐
tie.
• Teamleren is ‘not for free’. Maak duidelijk wat de rollen en verantwoordelijkheden zijn en
spreek verwachtingen uit over de te behalen doelen.
• Bepaal de regelruimte van de teams voor het leren.
• Voor teamleren is constantheid en oefentijd nodig. Creëer hiervoor experimenteer ruimte.
• Geef zicht op de teameffectiviteit in het realiseren van gedragsveranderingen.
62
Ondersteuning
• Stel tijd en ruimte beschikbaar om het teamleren te ondersteunen.
• Ondersteun het teamleren door aandacht te besteden aan het teamproces.
• Bepaal de kaders voor de teams om fouten te mogen maken.
• Organiseer actieve betrokkenheid van het management bij het teamleren.
5.3. Beperkingen van dit onderzoek
Het hier gepresenteerde onderzoek is explorerend van opzet en binnen een tijdsbestek van vier
maanden uitgevoerd. In deze paragraaf worden beperkingen van het onderzoek besproken.
Het wetenschappelijk onderzoek naar het leren van geaggregeerde uitkomstmaten met professionals
is beperkt. Een uitzondering hierop is het promotieonderzoek van Oudejans (2012) in de verslavings-‐
zorg. Op basis van de beschikbare literatuur is een conceptueel model opgesteld. De vraag is of het
model ook daadwerkelijk de factoren meet die het construct leren van uitkomstmaten omvat (con-‐
struct validiteit). Het model is gebruikt voor de interviews en tijdens het observationeel onderzoek.
Mogelijk kunnen door deze opzet verklarende factoren voor het leren van ROM gemist zijn. Door de
toevoeging van het observationeel deel van het onderzoek vond verder exploratie plaats waarin
geen aanvullende factoren werden gevonden.
Drie GGZ instellingen zijn onderzocht voor de praktijk van het leren van ROM. Hierdoor is de groeps-‐
grootte, de ‘sample size’, beperkt. Bij de selectie is gekozen voor instellingen die een ruime ervaring
hebben met leren van ROM en deel uitmaakten van het Doorbraakproject ROM van het Trimbos
instituut. Mogelijk zijn er binnen de Nederlandse GGZ instellingen die een ander beeld geven van de
praktijk van leren van ROM (generaliseerbaarheid). Voorzichtigheid moet betracht worden om de
conclusies en aanbevelingen te vertalen naar andere instellingen binnen de GGZ. De mate waarin de
ervaringen binnen de GGZ met het leren van uitkomstmaten ook van toepassing zijn op andere delen
van zorg is met dit onderzoek niet aan te geven. Verder onderzoek is hiervoor noodzakelijk.
De opzet om bij alle drie de instellingen groepsinterviews te houden met een goede afspiegeling van
management, staf en professionals is slechts gedeeltelijk gelukt. Dit kwam mede door agendapro-‐
blemen, productiedruk bij behandelaren en de beperkte tijd waarin dit onderzoek is uitgevoerd. Bij
GGZ-‐NHN en GGZ-‐Breburg zijn professionals die geen lijnfunctie hebben niet rechtstreeks gesproken.
De informatie van professionals is hierdoor uit tweede hand. Door management en staf kan mogelijk
een te rooskleurig beeld geschetst zijn over de mate waarin geleerd wordt van ROM. Daarentegen
zijn mogelijk factoren die van belang zijn voor professionals te beperkt in beeld gebracht.
Het onderzoek is ook uitgevoerd binnen Arkin waar ik werkzaam ben als directeur behandelzaken.
Onderzoek binnen de eigen organisatie kan leiden tot verwarring over mijn rol (onderzoeker en ma-‐
63
nager) tijdens het onderzoek. Hierdoor kan terughoudendheid ontstaan bij de respondenten bij het
beantwoorden van de vragen en kan een te sociaal wenselijk beeld worden geschetst. De resultaten
van het onderzoek en de openhartigheid waarmee over het onderwerp is gesproken geven hier ech-‐
ter geen aanleiding toe.
De interviews zijn door één onderzoeker gecodeerd en beoordeeld. De interbeoordelaarsbetrouw-‐
baarheid is niet onderzocht, waardoor een confirmatiebias niet uitgesloten is. Bijna alle interviews
zijn door twee interviewers verricht en de conclusies uit dit onderzoek zijn door de onderzoeker met
de tweede interviewer (drs. Michiel Kooper) besproken. Van alle interviews zijn audio-‐opnames ge-‐
maakt waardoor in de toekomst de reproduceerbaarheid van de uitkomsten door een tweede on-‐
derzoeker kan worden onderzocht.
5.4. Vervolgonderzoek
Het onderzoek naar leren van uitkomstmaten in de zorg in kader van kwaliteitsverbetering staat nog
in de kinderschoenen (Perrin 2002, Oudejans e.a. 2012, Lizarondo e.a. 2014). Er zijn nog weinig aan-‐
wijzingen dat sturen op uitkomstmaten ook daadwerkelijk leidt tot kwaliteitsverbeteringen in de
zorg. Perrin (2002) stelt hierbij de terechte vraag wat de causale relatie is tussen de uitkomsten van
de zorg en de structuur en processen (het gezondheidssysteem) die hieraan ten grondslag liggen. Het
vaststellen van uitkomstmaten is een eerste stap in uitkomstmanagement, maar nog onvoldoende
om daadwerkelijk de kwaliteit van zorg te verbeteren. Hiervoor is meer nodig. Onderzoek naar de
uitkomsten van de zorg zal ook op de relatie tussen de structuren en processen binnen de zorg en de
uitkomst moeten onderzoeken. Want alleen de structuren en processen zijn beïnvloedbaar, niet de
uitkomst. In andere woorden, als we niet weten wat we moeten veranderen, dan leidt het sturen van
uitkomstmaten tot een gevoel van onmacht bij professionals en strategisch scoren (gaming).
Het hier gepresenteerde onderzoek is een tussenstand naar de praktijk van leren van ROM in de
GGZ. Het aangepaste conceptuele model moet verder worden onderzocht op de toepasbaarheid bij
de noodzakelijke expedities naar waarde met professionals met ROM. Ik besef mij dat de rol van de
cliënt in dit onderzoek nog onvoldoende is belicht. Juist dit perspectief biedt de mogelijkheid om het
leren van ROM weer in de spreekkamer terug te brengen.
64
65
Bijlage 1. Topic lijst interviews
Thema Subthema
Leerstimulus Tijdigheid
Specifiek
niet bestraffend
Ondersteuning teamleren tijd voor teamleren
team ondersteuning
support van management
Bereidheid tot teamleren samenstelling team
eerdere positieve leerervaringen
geloofwaardigheid en relevantie data
ervaren cognitieve dissonantie
ervaren controle en zelfvertrouwen
ervaren ondersteuning door management
Teamproces gemeenschappelijke kijk op team prestaties
… op prestatie gap
… op doelen
… op noodzakelijke verandering
Leerproces adaptief
formatief
transformatief
66
Bijlage 2. Vragenlijst interviews
Leerstimulus o Hoe worden de ROM behandeluitkomsten aan de teams gepresenteerd (teamverband, indi-‐
vidueel, grafisch, van te voren uitgedeeld etc.)? o Zijn de data tijdig (denk hierbij aan de tijd tussen afname en presentatie, de frequentie van
de presentatie)? o Gaan de data over de prestaties van het team (sluiten de data aan bij de doelen van het
team?)? o Worden de data gepresenteerd met een vooraf bepaalde verschil-‐score die gehaald moet
worden (bestraffend?)? Ondersteuning voor teamleren
o Wat zijn de praktische randvoorwaarden voor teams om te leren op basis van ROM? § Wordt er tijd vrijgemaakt voor de professionals, zo ja op welke wijze? § Welke praktische ondersteuning wordt geboden (denk aan projectleider, administratieve
ondersteuning etc.)? o Staat naar uw mening het management achter het leren van ROM op teamniveau? Zo ja,
waaruit blijkt deze betrokkenheid? Bereidheid tot teamleren
o Wat is de teamsamenstelling aan wie de behandeluitkomsten worden gepresenteerd (denk hierbij aan teamleden met verschillende rollen: behandelaren, staf, leidinggevenden en ho-‐ger management)?
o Wat zijn de eerdere ervaringen van het team met leren van ROM/kwaliteitsverbeterprojecten? Maakt deze ervaring uit voor het teamleren?
o Worden de gepresenteerde ROM uitkomsten als geloofwaardig en relevant ervaren door het team?
o Is het team in staat om de uitkomsten te vergelijken met wat in de richtlijnen en in het vak-‐gebied wordt verstaan onder kwalitatief goede zorg voor de betreffende doelgroep?
o Is het team in staat om op basis van uitkomsten aan te geven wat nodig is om de zorg te ver-‐beteren?
o Voelt het team zich in staat om veranderingen in de zorg aan te brengen (denk hierbij aan voldoende zelfvertrouwen en controle)?
o Voelt het team zich ondersteund door het management om te leren van ROM (denk hierbij om de ruimte om ook veranderplannen te maken) ?
Teamproces § Op welke wijze verloopt het leerproces binnen teams (denk aan gezamenlijke kijk op de
teamprestatie, het verschil met het doel, de gemeenschappelijke doelen en de noodza-‐kelijke verandering die daarbij past?
Leerproces
o Kunt u aangeven of, en zo ja wat voor verbeterplannen/acties zijn opgesteld naar aanleiding van het bespreken van behandeluitkomsten?
o Op welke wijze zijn de verbeterplannen uitgevoerd? Afronding Zijn naar uw mening nog zaken niet besproken die naar uw mening van belang zijn voor het leren van ROM?
67
Bijlage 3: Axiaal codering ROM Besturingsmodel ROM binnen de organisatie (voorwaarden voor teamleren) Beleggen van rollen en taken in de lijn ten aanzien van ROM Doel ROM in relatie met missie van de organisatie Duidelijkheid over op welk niveau planvorming plaatsvindt voor verbetering Duidelijkheid over de beïnvloedingenruimte van het veranderteam Doelen van ROM (op geaggregeerd niveau)
Professionalisering van medewerkers (gemeenschappelijke taal) Empowerment van cliënten (shared decision) Doelgroepomschrijving en verbeteren indicatiestelling (risicoprofielen) Terugdringen van ongewenste variatie (standaardisatie) tussen teams en medewerkers Benchmarken Evaluatie van ingezet beleid Ondersteuning en draagvlak voor veranderingen Middel voor lerende organisaties om gedragsverandering bij medewerkers door te voeren (cultuurverandering)
Gebruik van ROM data
Data moeten van toepassing zijn op de huidige zorg (tijdigheid) Data moeten van belang zijn voor de beleidscyclus van de organisatie Data moeten aansluiten bij de vragen van het team en niet andersom Data zijn zo specifiek mogelijk gericht op de doelgroep en hebben een relatie met de inter-‐ventie (zorgpaden) Data moeten in relatie gebracht worden met wat anders gedaan kan worden (gedragsveran-‐dering)
Operationalisatie van gezondheidswinst Interpretatie van uitkomsten Gewenning is nodig om tot betekenisverlening van ROM data te komen
Betrouwbaarheid van de afname van het meetinstrument is van belang voor de geloofwaar-‐digheid
Herkenbaarheid van geaggregeerde gegevens Beoordeling
Niet vrijblijvend Verantwoording afleggen versus afrekenen
Wegverklaren versus willen veranderen Neutraal kunnen scoren
Afspraak is afspraak
68
Ondersteuning Tijd Ruimte voor reflectie (uit de waan van de dag) Leren over gebruik data Ondersteuning aan teams ten aanzien van de eigen effectiviteit Medewerkers Aansluiten bij de intrinsieke motivatie van medewerkers Team voelt zich eigenaar van de data
Leiderschap gericht op toename van de eigen effectiviteit bij het sturen op gedragsverande-‐ring
Psychiaters geven grenzen aan in de betekenisverlening Verbeteren Verbetercyclus moet een aantal malen doorlopen worden
69
LITERATUUR
Argylis, C. (1991). Teaching smart people how to learn. Harvard Business Review. May-‐June 99-‐109. Boeije, H. (2014). Analyseren in kwalitatief onderzoek. Denken en doen. 2e druk . Boom Lemma. Den Haag. Carlier I.V.E., Meuldijk D., Van Vliet I.M, Fenema van E., Van der Wee N.J.A., & Zitman, F.G. (2012). Routine outcome monitoring and feedback on physical or mental health status: evidence and theory. Journal of Evalua-‐tion in Clinical Practice 18; 104-‐110.. Berwick, D.M. (2003). Improvement, trust, and the healthcare workforce. Qual Saf Health Care, 12, 448-‐452. Bickman, L. (2008). A measurement feedback system (MFS) is necessary to improve mental health outcomes. J Am. Acd. Child Adolesc. Psychiatry 47,1114-‐1118. Boer, F., Markus, M., & Vermeiren, R. (2011). Kinderen en jeugd – verandering meten tijdens de ontwikkeling. In: Hees S van, Vlist P, van, & Mulder N. (red). ROM van weten naar meten. ROM in de GGZ. Amsterdam: Boom. Delespaul, Ph. (2011). Hulpverlening . ‘Back to basics’. In: Hees S van, Vlist P, van, & Mulder N. (red) (2011). ROM van weten naar meten. ROM in de GGZ. Amsterdam: Boom. Feltz-‐Cornelis C.M., Volker, D., & de Heer, E. (2010) Routine outcome monitoring ontwikkelingen: in de GGZ . Trimbos instituut. Hart W. (2012). Verdraaide organisaties. Terug naar de bedoeling. Vakmedianet, Deventer. Hysong S.J., Best R.G., & Pugh J.A. (2006). Audit and feedback and clinical practice guideline adherence: making feedback actionable. Implementation Science 1:9. Hysong S.J. (2009). Meta-‐analysis. Audit and feedback features impact effectiveness on care quality. Medical Care 47, 356-‐363. Hysong S.J., Teal C.R., Khan, M.J., & Haidet, P. (2012). Improving quality of care through improved audit and feedback. Implementation Science 2012, 7:45. Hysong S.J., Knox M.K., & Haidet, P. (2014). Examining clinical performance feedback in patient-‐aligned care teams. J. Gen Intern Med 29(suppl 2):S667-‐74. Jong, K., de. (2012a) A chance for change: building and outcome monitoring feedback system for outpatient mental health care. (Proefschrift). Leiden University. Jong, K., de. (2012b). De rol van de behandelaar: de ‘vergeten” factor in ROM. Tijdschrift voor Psychiatrie, 54, 197-‐201. Jong , K, de & Nugter, M.A. (2011). De kunst van effectief feedback geven: waarom weten niet altijd tot verbe-‐tering leidt. In V.J.M. Buwalda, MA Nugter, JA Swinkels, CL Mulder (Red). Praktijkboek ROM in de ggz. Een leid-‐raad voor gebruik en implementatie van meetinstrumenten (pp. 51-‐61). Utrecht: De Tijdstroom. Jong, K, de, Van Sluis, P., Nugter, M.A., Heiser, W.J., & Spinhoven, Ph. (2012). Understanding the differential impact of outcome monitoring: Therapist variables that moderate feedback effects in a randomized clinical trail. Psychotherapy Research 22,464-‐474. Kloosterboer, P. (2011). Expeditie naar waarde. Strategie ontdekken met professionals. (Proefschrift). Vrije Universiteit van Amsterdam. Academic Service Press Den Haag.
70
Kloosterboer, P. (2012). Van waarnemen naar waarmaken. Expeditie naar waarde met professionals. Academic Service Den Haag. Kluger ,A.N., en DiNisi, A. (1996). The effect of feedback intervention on performance: a historical review, a meta-‐analysis and a preliminary feedback intervention theory. Psychological Bulletin 119:254-‐284. Knaup, C., Koesters, M., Schoefer, D., Becker, Th., & Puschner, B. (2009). Effect of feedback of treatment out-‐come in specialist mental healthcare: a meta-‐analysis. British Journal of Psychiatry 195, 15-‐22. Landelijk Samenwerkingsverband Kwaliteitsstandaarden GGZ (LSKG). (2014). Kwaliteitsontwikkeling GGz, net-‐werk voor goede zorg 2015 – 2017. Lizarondo, L., Grimmer, K., & Kumar, S. (2014). Assisting allied health in performance evaluation: a systematic review. Health Services Research 14:572-‐584. London, M., en Sessa, V.I. (2006). Group feedback for continuous learning. Human Resource Development Review 5,303-‐329. London, M., & Sessa, V.I. (2007a). How groups learn, continuously. Human Resource Management 46:651-‐669. London, M.,& Sessa, VI (2007b). The development of group interaction patterns: how groups become adap-‐tive, generative and transformative learners. Human Resource Development Review,353-‐376. Mulder, N. (2011). Inleiding. In S. van Hees, P van der Vlist & N. Mulder (red). Van weten naar meten. ROM in de GGZ. Amsterdam Boom Nugter, M.A., & Buwalda, V.J.A., (2012) Achtergronden en gebruiksmogelijkheden van ROM in de ggz. Tijd-‐schrift voor Psychiatrie, 54, 111-‐120. Nolan, T.W. (1998). Understanding medical systems. Ann Intern Med, 128, 293-‐298. Oudejans, S.C.C. (2009). Routine Outcome Monitoring and learning organizations in substance abuse treatment (proefschrift). Amsterdam: Universiteit van Amsterdam. Oudejans, S., Spits, M., & Schippers, G. (2011). Leren van uitkomsten – van taseki naar jiseki. In S. van Hees, P van der Vlist & N. Mulder (red). Van weten naar meten. ROM in de GGZ. Amsterdam Boom. Oudejans, S.C.C., Schippers, G.M., Spits, M.E., Stollinga, & M., Brink, W, van den (2012). Vijf jaar ‘routine out-‐come management’ in de ambulante verslavingszorg. Tijdschrift voor Psychiatrie, 54, 185-‐190. Oudejans, S.C.C., & Schippers G.M. (2013). In: Buwalda, V.J.A., Nugter, M.A., Van Tilburg, W., Beekman, A.F.T (red). Praktijkboek Rom in de GGZ II. Implementatie en gebruik bij verschillende doelgroepen. De Tijdstroom Utrecht. Perrin, E.B. (2002). Some thoughts on outcome research, quality improvement, and performance measure-‐ment. Medical Care 40,6, suppl. III-‐89-‐III-‐90. Sapyta, J, Riemer, M.,& Bickman, L. (2005). Feedback to clinicians: theory, research, and practice. J Clin Psychol 61, 145-‐153. Senge, P.M. (1992). De vijfde discipline. De kunst & praktijk van de lerende organisatie. Scriptum management. Schiedam. Sessa, V.I., & London, M. (2006). Continuous learning about continuous learning: clarifying and expanding a multi-‐level, living system’s analysis. Continuous learning about continuous learning 5, 201-‐213.
71
Sonsbeek, M.A.M.S., Hutschemaekers, G.G.J.M., Veermand, J.W., & Tiemens, B.B.G. (2014). Effective compo-‐nents of feedback from Routine Outcome monitoring (ROM) in youth mental health care: study protocol of a three-‐arm parallel-‐group randomized controlled trial. BMC Psychiatry, 14,3. Vachon, B., Desorcy B., Camirand M., e.a. (2013). Engaging primary care practitioners in quality improvement: making explicit the program theory of an interprofessional education intervention. BMC Health Services Re-‐search 13:106. Verschuren, P. & Doorewaard ,H. (2010). Het ontwerpen van een onderzoek. Vierde druk. Boom Lemma Den Haag. Vlist, P van der. (2011). Indeling en leeswijzer. In S. van Hees, P., Van der Vlist & N. Mulder (red). Van weten naar meten. ROM in de GGZ. Amsterdam Boom. Witte, M., de. en Jonker, J. (2014). De kunst van veranderen. Bewegen naar de kern. Kluwer Deventer.