Onderzoek naar indicator ontwikkeling voor gezondheidsbevordering 2007

ONDERZOEK NAAR INDICATOR-ONTWIKKELING VOOR

GEZONDHEIDSBEVORDERING Dit rapport maakt onderdeel uit van het eindverslag van het project Pilot Referentiekader Gezondheidsbevordering, uitgegeven door het NIGZ in 2007. De Pilot Referentiekader Gezondheidsbevordering is gefinancierd door ZONMW. De overige rapporten zijn te vinden op de website van het NIGZ www.nigz.nl en te downloaden via de winkel op deze site. CF Hekkink G Molleman JFEM Keijsers H Saan NIGZ, Oktober 2007

2

ONDERZOEK NAAR INDICATOR-ONTWIKKELING VOOR GEZONDHE IDSBEVORDERING 1. Inleiding De kwaliteit van gezondheidsbevordering is volgens het Referentiekader afhankelijk van in hoeverre men er in een bepaalde context met succes is georganiseerd om het interventieproces optimaal voor te bereiden en te doen verlopen zodat de beoogde resultaten gerealiseerd worden (1). Het gaat hier dus om drie dingen:

- de organisatie van de context - het interventieproces - het beoogde resultaat

Om een oordeel te kunnen geven over de kwaliteit van (de lokale) gezondheidsbevordering is informatie nodig. Om informatie te verkrijgen moeten gegevens worden verzameld. Gegevens worden verkregen door te meten. Door die gegevens te vergelijken met een norm, ontleend aan ervaring of andere bron (Saan en de Haes 2005, pag 192) kan men aangeven of de prestatie goed, voldoende of onvoldoende is. Een prestatie-indicator is een meetbaar aspect dat door vergelijking met een norm een aanwijzing geeft over de kwaliteit van het project. Een prestatie-indicator heeft een signaalfunctie, vaak zal er om de betekenis van het signaal goed te begrijpen nader onderzoek nodig zijn. 1.1 Indicator-ontwikkeling nationaal en internation aal Binnen de zorgsector wordt in toenemende mate gebruik gemaakt van prestatie-indicatoren (2). De zorgsector loopt hiermee vooruit op het preventieveld. Wel is er de laatste jaren in Nederland in toenemende mate aandacht voor prestatie-indicatoren voor het preventieveld. - VWS heeft in 2004 een lijst van 138 indicatoren opgesteld die aansluiten bij de doelen en subdoelen van het preventieveld. Het doel hierbij was het vergroten van inzicht in de resultaten van het preventieveld. - Het RIVM heeft bekeken voor welke van deze indicatoren bronnen beschikbaar zijn (3). - In opdracht van de Inspectie voor de Gezondheidszorg heeft NIVEL een basisset met indicatoren voor de openbare gezondheidszorg opgesteld (4). De beoogde toepassing hiervan is het houden van toezicht. Deze indicatoren richten zich op de risico’s voor de volksgezondheid in regio’s en de activiteiten die instellingen (GGD-en) doen om de OGZ op dat gebied te beïnvloeden. - Daarnaast is er een basisset prestatie-indicatoren voor de geestelijke gezondheidszorg en verslavingszorg samengesteld (5). Naar aanleiding van het congres Kennis Beter Delen 2006, hebben IGZ, GGD-NL en NIGZ een afstemmingsoverleg met betrekking tot prestatie-indicatoren geïnitieerd om elkaar op de hoogte te houden van wie zich op welk gebied met prestatie-indicatoren binnen Nederland bezig houdt. Bijlage 1 het is resultaat van deze afstemmingsbijeenkomsten (die later met meerdere partijen zijn uitgebreid) en geeft een overzicht van spelers en initiatieven met betrekking tot prestatie-indicatoren preventie/gezondheidsbevordering. Ook internationaal wordt er gewerkt aan de formulering van prestatie-indicatoren voor het preventieveld. Zoals bijv. binnen:

- project European Community Health Indicators (ECHI) van de EU. Het betreft een lijst met indicatoren voor volksgezondheid, risicofactoren voor gezondheid en het

3

gezondheidszorgsysteem. De lijst is samengesteld om internationale vergelijking van EU-landen mogelijk te maken en bestrijkt meer dan alleen het preventieveld (6).

- Health Care Quality Indicators (HCQI) door de OESO, is een lijst met indicatoren die inzicht geeft in de kwaliteit van de gezondheidszorg door te kijken naar de invloed van de gezondheidszorg op gezondheid. De lijst bevat ook indicatoren die inzicht geven in de kwaliteit van de preventie, met name de preventieactiviteiten die binnen de gezondheidszorg worden uitgevoerd (7).

- EUHPID: ontwikkeling van Europese indicatoren voor preventie. Het Europese project EUHPID is opgezet om een gezamenlijke set indicatoren te formuleren op het gebied van gezondheidsbevordering en ziektepreventie voor Europa. Bij het project zijn experts betrokken uit alle EU-landen, Noorwegen en Zwitserland. Uitgangspunt is een gedetailleerd overzicht te maken van alle nationale pogingen om health promotion indicatoren te maken en een theoretisch model te ontwikkelen voor de constructie, selectie en classificatie van Europese indicatoren (8).

- Capacity building indicatoren uit Australie. In dit project zet men het concept capacity building uiteen en ontwikkeld men indicatoren om te kunnen beoordelen of gezondheidsbevorderaars goed bezig zijn in het kader van capacity building (9).

1.2 Beoordeling van de stand van zaken Reeds ontwikkelde indicatoren zijn vaak uitkomstmaten op het gebied van morbiditeit, mortaliteit of gedrag. Deze Indicatoren op uitkomst/eindresultaten geven geen aanwijzingen over hoe de kwaliteit van gezondheidsbevordering verbeterd kan worden. Het zijn als het ware black box indicatoren, die meer gericht zijn op externe verantwoording en niet zozeer op interne kwaliteitsverbetering. Prestatie-indicatoren op andere niveaus zijn echter nog maar in beperkte mate beschikbaar. Ons overzicht van niveaus die van belang zijn bij gezondheidsbevordering sluit aan bij het referentiekader gezondheidbevordering (1). Te onderscheiden zijn organisatie, interventie en resultaten (intermediair-, determinanten-, en gezondheidsniveau). Gezondheidsbevordering bouwt voort op de ervaringen en het onderzoek naar GVO. Naar gezondheidsgedrag is al veel onderzoek gedaan en daarom zijn op dat resultaat wel indicatoren beschikbaar. Prestatie-indicatoren die betrekking hebben op organisatie-, interventie- en determinantenniveau zijn nog onvoldoende voorhanden. Deze zouden een belangrijke rol kunnen spelen bij doorlichten van de stand van zaken in het preventieveld en het tussentijds bijsturen van processen op deze niveaus. Analoog zien we in de zorgsector dat de Nederlandse vereniging voor neurologie in Medisch Contact van mei 2006 het volgende stelt: “de mortaliteitsindicator in de basisset dient te worden vervangen door indicatoren die meer inzicht geven in de kwaliteit van zorg” (10). 1.3 Eisen voor een goede prestatie-indicator Een goede indicator dient aan de volgende eisen te voldoen: 1. Onderbouwing Onderbouwing van de indicatoren is van belang. Zolang er onvoldoende wetenschappelijke kennis beschikbaar is, kan een consensus traject onder experts uit wetenschap, praktijk en beleid ingezet worden om de indicator te onderbouwen. 2. Signaalfunctie Het kiezen van indicatoren leidt vaak tot lange lijsten van relevante variabelen. Het is de kunst om daaruit een beperkte set zo te kiezen, dan ieder van deze indicatoren een aantal

4

variabelen afdekt en als een aanwijzing (indicatie) kan dienen dat in deze groep variabelen alles al dan niet goed is, 3. Cijfermatig uitdrukken het benoemen van relevante variabelen is een stap, het omzetten daarvan in een meetbaar criterium vergt vaak aanvullende stappen van instrumentontwikkeling. In het sociale veld ontkomt men er dan niet aan voor een bepaalde variabele toch een (zo mogelijk korte) lijst van vragen te stellen en dan de score op enigerlei wijze te comprimeren. 4. Uitkomsten afzetten tegen een norm Een indicator heeft pas echt betekenis, als er ook een norm (streefniveau) is vastgesteld. Wordt er afgeweken van die norm, dan is bijsturing nodig. Dit is echter een lange termijntraject aangezien er eerst indicatoren moeten zijn voordat er van normering sprake kan zijn. Pas als ervaring met de indicatoren toeneemt en cijfers over grotere groepen gebruikers of cases bekend zijn, kan aan de bijregeling van de normering gewerkt worden. 1.4. De noodzaak van indicatoren. Vanuit het NIGZ bestaat er een behoefte aan prestatie-indicatoren voor gezondheidsbevordering om een aantal redenen.

1. Prestatie-indicatoren bieden op gebied van interventie en tussentijdse uitkomsten mogelijkheden om bij te sturen.

2. Prestatie-indicatoren geven informatie op basis waarvan besloten kan worden over continuïteit.

3. Prestatie-indicatoren kunnen evaluatie faciliteren. Binnen projecten (waaronder die welke onder het Convenant “Lokaal Gezond” vallen) zijn een aantal generieke processen aan te wijzen die inzicht geven in (randvoorwaarden voor) succes van deze projecten. Door voor deze processen prestatie-indicatoren aan te leveren wordt het veld ondersteund bij het uitvoeren van evaluatie. Het op grotere schaal uitvoeren van evaluatie draagt bij aan de onderbouwing van het veld.

4. Prestatie-indicatoren kunnen het begrip ‘best practices’ operationaliseren. Prestatie- indicatoren geven inzicht in de randvoorwaarden van succesvolle interventies en kunnen gebruikt worden bij het certificeren van interventies.

5. Prestatie-indicatoren bieden daar waar overeenstemming bestaat over normen de mogelijkheid voor het formuleren van doelen in cijfers.

In de praktijk van GB wordt veel gewerkt met interventies. Te vaak wordt daarbij onvoldoende cijfermatig gewerkt, zowel bij planning als evaluatie. Prestatie-indicatoren kunnen het veld dienen door via ingebouwd onderzoek signalen af te geven over de kwaliteit van interventies. Om deze reden is er voor gekozen om met voorrang na te gaan hoe men indicatoren kan ontwikkelen op organisatie- en interventieniveau met preventiemedewerkers, beleidsmedewerkers en onderzoekers op het gebied van gezondheidsbevordering als primaire doelgroep. De beoogde toepassing is vooral om door directe terugkoppeling feedback te geven op de werkprocessen en zo interne kwaliteitsverbetering van interventies te bespoedigen. Om dit te bereiken zijn mn kolom 1-3 van het referentiekader gezondheidsbevordering (structuur en proces) van belang.

5

2. Methode Het gebruikelijke werkproces om te komen tot een lijst van prestatie-indicatoren bevat de volgende stappen:

1. beschrijven van het werkproces in een model 2. brainstorm met (interne) experts:

- waarna uit een lange lijst mogelijke indicatoren - een keuze en uitdieping van de variabelen die als indicator op de korte lijst in aanmerking komen is gemaakt

3. uitwerken van een meetinstrument per indicator 4. toetsing van dat instrument in de praktijk 5. voorlopig vaststellen van de normen waarmee de scores beoordeeld zullen worden 6. ervaring opdoen met de set indicatoren en deze vergelijken met bij voorbeeld het

oordeel van experts 7. vaststellen van de auditprocedure, het instrument, de scoring en de beoordeling

ad1. beschrijven van het werkproces in een model

Lange

lijst

ConsensusKorte

lijst

I 1

I 2

I 3

I 4

I 5

I 6

Meet-instru-ment

Consensus

Werkproces indicatorontwikkeling

NORM

AKTIE

fig 1. Met OPUS (een tool voor projectmanagement) en de Preffi 2.0 (Preventie Effectmanagement Instrument) heeft het NIGZ al de nodige ervaring opgedaan in het proces van indicator-ontwikkeling. Met het Referentiekader erbij zijn dat drie instrumenten die goede aanknopingspunten bieden voor het ontwikkelen van een samenhangende set prestatie-indicatoren voor gezondheidsbevordering. Ad 2. Brainstorm met (interne) experts Opstellen van een lijst met mogelijke indicatoren GB door het houden van brainstormsessie(s) met inhoudsexperts rond de vraag: wat zijn cruciale factoren om in GB effect te bereiken?

6

Met de experts is uit de brainstorm een selectie gemaakt van 10 indicatoren die essentieel zijn voor kwaliteit van gezondheidsbevordering en mogelijk voldoende signalerende kracht hebben. Deze lijst van 10 indicatoren (hfdst 3.1) is vervolgens op verschillende (inter)nationale bijeenkomsten gepresenteerd en aan een breder publiek voorgelegd (zie bijlage 2). Ad 3 Uitwerken van mogelijke indicator Uitwerken van één van de mogelijke indicatoren van de lijst opgesteld door experts. Hier is gekozen voor de indicator continuïteit omdat dit vanuit het pilot project refka ook een van de onderliggende principes van het referentiekader bleek te zijn en daardoor dus het beste zou aansluiten. De uitwerking is gedaan op basis van een brainstorm tussen de onderzoekers over wat continuïteit nu omvat, aangevuld met kleinschalig literatuuronderzoek (meer ter bevestiging van brainstorm). Daarnaast is gekeken in hoeverre men continuïteit binnen gezondheidsbevordering zou kunnen meten (zie hfdst 3.2.) NB de overige stappen waren:

• voorlopig vaststellen van de normen waarmee de scores beoordeeld zullen worden • ervaring opdoen met de set indicatoren en deze vergelijken met bij voorbeeld het

oordeel van experts • vaststellen van de auditprocedure, het instrument, de scoring en de beoordeling

In het kader van dit project zijn die nog niet aan de orde geweest.

7

3. Resultaten 3.1.1 Indicatoren algemeen Uit de brainstormsessie met experts kwam een lijst met 10 indicatoren die naar hun mening een duidelijke rol spelen om binnen gezondheidsbevordering effect te bereiken. Deze zogenaamde hoofd-indicatoren zijn weergegeven in tabel 1 waarbij ook is aangegeven of en welke meetmogelijkheden er voor deze indicatoren werden gezien. Tabel 1 Hoofd-indicatoren en eventuele meetmogelijk heden Hoofd-Indicator Onderbouwing Sluit aan bij: Referentie-

kader overig

Planmatig werken In het vak gezondheidsbevordering en preventie is planmatig en systematisch werken een essentiële voorwaarde voor effectiviteit (11). Om greep te krijgen op het werkproces in een project is het gebruik van een vast werkmodel belangrijk. Projectmanagement is een manier om onzekerheden die zich voordoen bij het werk van de gezondheidsbevordering en preventie te beperken (12). Planning in programme development is essential to succesful quality assurance (13). Om de planning en uitvoering van interventies te sturen is systematisch en projectmatig werken noodzakelijk (1). Verschillende evaluaties van het ZonMw-beleid voor overdracht, benutting en implementatie van kennis en innovaties laten zien dat met een planmatige en programmatische aanpak de doorgeleiding van resultaten uit projecten wordt bevorderd (14). De interventie moet gebaseerd zijn op a) gevalideerde theoretische modellen, b) probleem- en situatieanalyse en c) solide haalbaarheidstudies. Op basis hiervan kunnen duidelijke doelen worden vastgesteld op intermediaire en eindmaten (15).

Kolom 1 en 2 Preffi 2.0

Mix van methoden/strategieën

Het is van belang dat interventies tegelijkertijd op verschillende niveaus uit worden gevoerd en meerdere activiteiten inzet. Vaak haal je meer effect en je bereikt een groter deel van de groep (11). Interventies kunnen het beste in combinatie worden ingezet: voorwaarde voor enkelvoudige interventies is dat de andere factoren een geringe invloed hebben (1). Projectresultaten zijn in het algemeen niet geschikt om één voor één te worden geïmplementeerd. Vaak zijn ze slechts een klein stukje van de puzzel (14). Gebruikmaking van meerdere interventiemethodieken tegelijkertijd verhoogt

- Kolom 2 interventies - principe 4: determinanten belemmeren en bevorderen - principe 7 complexiteit als uitdaging

Preffi 2.0

8

Hoofd-Indicator Onderbouwing Sluit aan bij: Referentie-

kader overig

het effect. Dat wil zeggen dat er naast algemene voorlichting ook aandacht moet zijn voor een persoonlijk afgestemd advies, informatie op een website of wet- en regelgeving (15).

Gebruik beschikbare data

Het verzamelen van informatie, het analyseren van deze informatie maar ook het zelf onderzoek doen naar bijv. behoeften van doelgroep dient ter onderbouwing van de gekozen interventie en doelgroep (12). Zonder actuele gegevens is het moeilijk beleidsbeslissingen te nemen, de strategie te onderbouwen, de logistiek op orde te krijgen en het potentiële resultaat vast te stellen (1). In de werkzaamheden dient routinematige registratie en monitoring van logistieke en financiële cijfers een vaste plaats te krijgen. Rapportage daarover kan een beter beeld van de relatie tussen capaciteit en redelijke resultaten bieden (1).

Kennis (kolom 1)

Preffi 2.0

Leiderschap De factor leiderschap is cruciaal en toch onderbelicht. De leider is naar buiten het gezicht en daarmee het aanspreekpunt voor de activiteiten (1). De prestaties van een team worden mede bepaald door voorzien in (team)leiderschap dat resulteert in hoge standaarden, aanmoedigen interacties, communiceren over heldere doelen en verwachtingen; gehoor geven aan veranderingsbehoeften, voorzien in noodzakelijke middelen en hoge mate van interpersoonlijke vaardigheden binnen teams (16). Eén van de centrale problemen in de uitvoering van preventie en gezondheidsbevordering is de onduidelijke verdeling van verantwoordelijkheden. Veel partijen bevolken het speelveld, maar onduidelijk blijft wie het spel leidt (17).

Leiderschap (kolom 1)

Expertise projectteam De prestaties van de teams die belast zijn met de implementatie worden bepaald door een aantal factoren, waaronder: vaststellen van de juiste teamomvang gelet op probleem/taak en van de rollen van individuele teamleden, evenals rol team binnen totale organisatie (16). Projectteamleden dienen bijvoorbeeld te worden gekozen op basis van kennis, betrokkenheid, vermogen en eventueel ervaring om doelgericht aan verbeteringen te kunnen werken.

Menskracht/ deskundigheid (kolom 1)

KVA – eisen Vakwerklijst NPVG

Inbreng einddoelgroep

Community participation in the planning, implementation and evaluation phases of programming seems to be an essential ingredient for succes (13)

Empowerment (kolom 3) Principe 1:

EKI - Empowerment instrume

9

Hoofd-Indicator Onderbouwing Sluit aan bij: Referentie-

kader overig

Participation forms the backbone of empowering stategies, but participation alone is insufficient and can be manipulative and passive, rather than active, empowering and based on community control (18). There is evidence based on multi level research designs that empowering initiatives can lead to health outcome and that empowerment is a viable public health strategy (18).

participatie is de hoeksteen

nt

Bestuurlijk draagvlak Er moet inbreng en draagvlak zijn van belangrijke betrokkenen en van de doelgroep. Er moet langdurige financiering en voldoende politiek draagvlak zijn (15).

Beleid/stategie (kolom 1)

Meerdere partners betrokken

Wanneer partijen elkaars perspectief en belang erkennen, kan dit een basis vormen voor een sterke coalitie en voor het ontwikkelen van een gezamenlijke aanpak (11). Samenwerken geeft een gedeeld commitment en een gedragen resultaat, en bovendien kun je veel beter kapitaliseren op elkaars expertise (14).

Netwerk (kolom 1)

Eigenaarschap Eén van de centrale problemen in de uitvoering van preventie en gezondheidsbevordering is de onduidelijke verdeling van verantwoordelijkheden. Veel partijen bevolken het speelveld, maar onduidelijk blijft wie het spel leidt (17).

- Organisatie /netwerk (kolom 1) - Leiderschap (kolom 1)

Continuïteit Het uitvoeren van projecten van gezondheidsbevordering is een proces dat lang moet worden volgehouden om succesvol te kunnen zijn (1). Inbedding van een project in de bestaande structuur kan de continuïteit waarborgen. Daarvoor moeten lange termijn afspraken worden gemaakt met betrokken partners (15).

Principe 6: projecten als bouwstenen

3.1.2 Discussie In de zoektocht naar indicatoren voor gezondheidsbevordering proberen we als het ware een dashboard te maken waar indicatoren (lampjes) gaan knipperen wanneer er binnen een interventie iets fout gaat in het organiseren of het uitvoeren van de interventie. Wat zijn de cruciale elementen binnen het proces van een interventie om te zorgen dat project goed loopt (“need to know”) tegenover de elementen die mogelijk wel van belang zijn maar niet direct het einde van een project betekenen (“nice to know”). (vergelijk bijvoorbeeld met een auto: met kapotte ruitenwissers komt men nog wel thuis maar met een lege benzinetank niet). Wij hebben getracht om met een groep experts de cruciale aspecten te benoemen. Bij de selectie van de 10 hoofd-indicatoren vallen een aantal zaken op: 1. Selectie van indicatoren komen niet geheel overeen met Refka vakken:

10

• niet alle vakken uit het referentiekader zijn genoemd. Zo wordt bijvoorbeeld investering en goodwill door experts niet genoemd in de selectie van lijst met 10 indicatoren. Mogelijk worden niet alle vakken van het refka als even cruciaal voor het verlopen van het project gezien en kan hier nog onderscheid gemaakt worden tussen “need en nice to know”. Een andere verklaring kan zijn dat bepaalde vakken onderdeel zijn van de indicatoren die door experts zijn genoemd, (bijv investering als onderdeel van continuïteit)

• Experts hebben indicatoren genoemd die niet in referentiekader zitten, zoals continuïteit, inbreng einddoelgroep. Deze indicatoren zijn inmiddels wel in het werken met het Refka opgenomen via de toegevoegde principes.

2. Er is overlap tussen verschillende aspecten van het Refka.

Zo kan eigenaarschap onder organisatie/netwerk maar ook onder leiderschap vallen en gaat het bij een mix van methoden en strategieën om de hele 2e kolom maar spelen ook principe 4 (belemmerende en bevorderende determinanten) en principe 7 (complexiteit als uitdaging) hier een rol.

3. Herkenbare aspecten. Alle aspecten die genoemd zijn, blijken te herleiden naar het referentiekader of een van de onderliggende principes. Kunnen we daarmee stellen dat het Refka compleet is? Ook binnen de pilot refka hebben we geleerd dat er nog mogelijke ander aspecten zijn die meegenomen moeten worden zoals empowerment, bereik of tevredenheid.

3.2 Nader uitgewerkt: Continuïteit 3.2.1 Conceptuele verkenning Om een indicator nader in te vullen is eerst een conceptuele verkenning nodig: wat zijn de ingrediënten van deze indicator. Continuïteit wordt beschreven als ononderbroken samenhang (19), een onophoudelijke opvolging of stroom (20) of het doorlopend verband, doorlopend proces (21). In de literatuur worden 4 punten genoemd waarom continuïteit binnen de gezondheidsbevordering van belang is (22, 23):

1) Langdurige programma’s handhaven hun effect vaak over een langere periode en geven de mogelijkheid om naar lange termijn effecten te kijken.

2) Er is vaak een bepaalde tijd (latency period) nodig tussen het begin van een programma en het zichtbaar worden van effecten op de gezondheid van de populatie

3) Daar waar programmas met een heilzame/nuttige uitwerking op de gezondheid niet worden gecontinueerd leidt dit tot verlies voor de betrokken organisaties en betrokkenen.

4) Niet gecontinueerde community programmas leiden tot desillusie bij deelnemers en mogelijk obstakels bij volgende initiatieven binnen de community (afbraak van capacity building)

Daarnaast is continuïteit nodig om tot een voldoende groot bereik gericht op een groter deel van de doelgroep te komen, mogelijke nieuwe doelgroepen te bereiken en aanpassingen aan zulke nieuwe contexten te bevorderen. Shediac-Rizkallah en Bone (23) benoemen drie belangrijke categorieën indicatoren met betrekking tot continuïteit: 1) blijvende gezondheidseffecten; 2) inbedding van programma activiteiten binnen een organisatie; en

11

3) capacity-building binnen de community. Daarnaast zien zij 3 factoren die de continuïteit van een programma beïnvloeden: 1) projectplanning en implementatie factoren; 2) factoren binnen de organisatie; en 3) factoren uit de omgeving. Deze vormen samen een conceptueel model (fig 2).

Fig 2. Model continuïteit van een programma (23). 3.2.2 Het meten van continuïteit Wij hebben dus nadere indicatoren gedefinieerd op deze drie niveaus: project, organisatie en omgeving en hebben daarnaast nog het niveau van samenwerking opgenomen. Dit omdat samenwerking een van de kernfuncties is op de grens van project en organisatie en dus over de grenzen van het projectniveau heen gaat. Op projectniveau gaat het om de volgende indicatoren: - gegevens uit evaluatie worden gebruikt, - interventie wordt gedocumenteerd, - PR wordt gerealiseerd, - voldoende capaciteit binnen het project voor de uitvoering, - plannen voor follow-up en vervolgfinanciering. Voor het niveau van de organisatie gaat het over indicatoren als - stabiele organisatie, - draagvlak binnen organisatie en - aansluiten bij missie en doelstellingen projectdragende organisatie. Indicatoren op omgevingsniveau zijn: - sociaal draagvlak, - verbreding/uitbreiding project en - opgenomen in landelijk of lokaal beleid. Samenwerking omvat betrokkenheid (lokale) partners en communicatie met relevante

Factoren uit de omgeving

Factoren binnen de organisatie

Projectplanning en implementatie factoren

Continuiteit programma

• Blijvende gezondheidseffecten

• Inbedding van programma binnen een organisatie

• Capacity-building binnen de community

12

partijen. In bijlage 3 is een nadere uitwerking van deze variabelen weergegeven. Bij iedere variabele is een onderbouwing gegeven en wordt een vraag geformuleerd waarmee deze variabele te meten is. Na een voorbeeld van de score-mogelijkheden zijn in de laatste kolom eventueel nadere opmerkingen opgenomen. Naam variablele

Onderbouwing Manier van meten

Gegevens uit evaluatie worden gebruikt

Gegevens over effecten/resultaten zijn nodig om de juiste vervolgstappen te bepalen De resultaten kunnen als een gedeeld succes gepositioneerd worden en zo een basis vormen voor beslissingen over verdere voortgang of financiering van het project.

Zijn de projectopbrengsten voor de deelnemers en de omgeving helder gespecificeerd?

0= geen 1= er is alleen proces evaluatie gedaan 2= er is zowel proces als effect evaluatie gedaan

Opm; gaat in feite om goed gebruik van de resultaten van de evaluatie met het oog op implementatie en verankering Staat in principe los van de financiering

Continuiteit op organisatieniveau Pluye et al. (24) hebben gekeken naar factoren van continuïteit op organisatieniveau. Zij stellen dat routinematig werken / standaardiseren (routinization) een fundamenteel proces binnen de continuïteit van gezondheidsbevorderingsprogramma’s is. Dit routinematig werken / standaardiseren verwijst naar continuïteit in organisaties die is onder te verdelen in 4 kenmerken van routinematig werken binnen een organisatie, te weten: geheugen, adaptatie, waarden en regelgeving. Bij geheugen in een organisatie doelt men op gedeelde visie uit eerdere activiteiten toepassen op nieuwe activiteiten en heeft 3 componenten: 1) sociaal netwerk, 2) handboeken en 3) elektronisch geheugen. Onder adaptatie verstaat men het feit dat routinematige activiteiten zijn aangepast aan hun omstandigheden. Met betrekking tot waarden geeft men aan dat routinematige activiteiten de collectieve waarden en overtuigingen binnen een organisatie weerspiegelen. Regelgeving wil zeggen dat routinematige activiteiten aansluiten bij bestuurlijke beslissingen en acties (of wel “dat is de manier waarop wij dingen hier doen”). Deze 4 kenmerken zijn geoperationaliseerd in 15 vragen (zie bijlage 4) waarvan er 11 zijn gebaseerd op items die zijn gedefinieerd door Goodman et al. (25). Deze vragenlijst zou je kunnen zien als een verdieping op de vragen die door ons op het organisatieniveau zijn meegenomen. 3.2.3. Discussie Voor continuïteit hebben we de eerste stappen van het werkproces doorlopen. We zijn tot mogelijke meetopties gekomen en zijn daarmee aangekomen bij de fase van praktische

13

bruikbaarheid en consensus. Bij deze fases zullen de volgende vier vragen aan de orde moeten komen: 1. Is de gekozen conceptuele uitwerking goed vertaald in variabelen en dekken we daarmee het begrip voldoende af. 2. Is de variabele goed vertaald in een vraagstelling en is de voorgestelde score adequaat. 3. Hoe kunnen we de verkregen scores combineren tot een rapportcijfer en wat is dan de norm (voldoende of onvoldoende) 4. Biedt de einduitkomst voldoende houvast om tot actie over te gaan: kunnen we van het rapportcijfer terugredeneren naar welke variabelen juist die score veroorzaakten?

14

4. Reflecties op het proces van indicator-ontwikkel ing In dit onderdeel van de pilot Referentiekader gezondheidsbevordering is naar het algehele proces van indicator ontwikkeling gekeken: welke stappen zijn nodig voor indicator ontwikkeling en waar loop je tegen aan. Het thema “Continuïteit” is hierbij als illustratie meegenomen. Hiermee wijkt dit deelrapport af van de overige deelrapporten die direct ingezoomd hebben op een vak van het Referentiekader en daar een meetinstrument bij hebben gezocht. Een belangrijk terrein voor het NIGZ Het werken aan prestatie-indicatoren heeft zijn invloed gehad voor het werken als NIGZ. Het werken aan prestatie-indicatoren heeft ons gedwongen om op een overstijgende manier te kijken wat we nu echt belangrijk vinden aan projecten en welke delen uit verschillende instrumenten die binnen het NIGZ ontwikkeld en gebruikt worden (zoals Preffi, OPUS en Refka) op die kritieke factoren gericht zijn. Voor het beleid van het NIGZ hebben prestatie-indicatoren een inzicht gegeven hoe een volgende bijdrage geleverd zou kunnen worden in het veld van gezondheidsbevordering en wordt tegelijkertijd een onderzoeksveld gecreëerd, namelijk de prestatie-indicatoren in de praktijk toetsen. Voor het NIGZ is de ontwikkeling van prestatie-indicatoren voor gezondheidsbevordering een veelbelovende lijn, waar veel draagvlak voor is op managementniveau binnen de organisatie. Dit blijkt ook wel uit de opname van de 10 indicatoren in het visiestuk over de toekomst van het NIGZ en een subsidieaanvraag samen met GGD-Nederland bij ZonMw. Uit het werkproces wordt zichtbaar dat men constant bezig is met divergeren en convergeren. Men moet zich realiseren dat men keuzes moet maken en die gaat uittesten. Het is dus van belang niet te snel keuzes los te laten maar in gedachten te houden dat de gemaakte keuzes een weerspiegeling zijn van de stand van zaken van een bepaald moment. En dat men al werkende tot mogelijk voortschrijdend inzicht komt en dit tot een verdere differentiatie voor mogelijke bruikbare indicatoren kan leiden. Vooruitblik op het vervolg Het is goed om zich te realiseren dat op de tien indicatoren al de nodige informatie voor handen is. Mede door de uitwerking van het referentiekader liggen er grote bouwstenen die voorwerk vormen voor het ontwikkelen van prestatie-indicatoren. Zo sluit de uitdieping van beleid en strategie aan bij de indicator bestuurlijk draagvlak, leiderschap is een vak binnen het Refka dat is uitgewerkt, organisatie en netwerkontwikkeling sluit aan bij aantal betrokken partners, het empowerment-insturment EKI zou gebruikt kunnen worden voor uitwerking van de inbreng van de einddoelgroep, OPUS en Preffi 2.0 bij planmatig werken en mix van methoden en strategieën. Bij de uitwerking van continuïteit bleek dat het uitwerken van deze indicator in verschillende versnellingen moet worden toegepast, omdat je constant tussen verschillende niveaus schakelt (project, organisatie, omgeving). Dit is ook één van de lessen die naar voren kwam bij het auditten van projecten tijdens de werkbezoeken in het pilot referentiekader project. In de nabije toekomst zijn de volgende stappen nodig: 1.Op ieder van de tien hier genoemde indicatoren en vooral op de in de vijf teams uitgewerkte concepten zal in de praktijk met de meetinstrumenten die nu beschikbaar zijn ervaring opgedaan moeten worden. 2. Bij die uitwerking zal steeds moeten worden gezocht naar goed meetbare en tegelijk representatieve variabelen.

15

3. Ook is het net als bij andere metingen belangrijk om vast te stellen wie het instrument hanteert, op welk moment er gemeten wordt en of dat gevolgen heeft voor de uitkomsten. 4. Een goede indicator geeft daarnaast ook aanwijzingen hoe dan vervolgens de actie op de gevonden resultaten tot stand komt. 5. Nadat op deze tien en/of andere factoren meetinstrumenten ontwikkeld zijn, zal het een opgave worden om uit die pool van gemeten variabelen een zodanige handige keuze te maken, dat een overzichtelijke set van meetpunten ontstaat, die als dashboard kan dienen. Indien daarop een indicator een signaal geeft moet er ook een nadere analyse van achterliggende informatie te maken zijn. Zo zal er dus een hiërarchie van metingen ontstaan, die de sturing van het werk zal vereenvoudigen. Beschikbaar of benodigd. Bij de ontwikkeling van de indicatoren valt men nu dikwijls terug op reeds beschikbare cijfers. Het voordeel van het gebruik van het referentiekader is, dat daarmee langs het hele werkproces naar meetpunten gekeken wordt en dat dus zowel de relevantie als de scoorbaarheid wordt gewogen. Inbedding Kwaliteitsverbetering met prestatie-indicatoren heeft waarschijnlijk het meeste resultaat als binnen de organisatie het deel uitmaakt van de kwaliteitsroutines en als er van buiten af, bij voorbeeld door inspectie of door beroepsverenigingen, toezicht is op de toepassing van dergelijke feedbacksystemen. Bij de vervolgstappen is dan ook overleg met dergelijke stakeholders van groot belang.

16

Referenties 1. Saan H, de Haes W. Gezond effect bevorderen. Woerden: NIGZ; 2005. 2. Het resultaat telt 2004. Den Haag: IGZ; 2006. 3. Verweij A, Witte K, Schuit A. Inventarisatie van de bruikbaarheid van gegevensbronnen. Bilthoven: RIVM; 2005. 4. Indicatoren openbare gezondheidszorg. Basisset 2007. Den Haag: IGZ; 2007. 5. Prestatie-indicatoren geestelijke gezondheidszorg en verslavingszorg. Basisset. Den Haag: IGZ; 2006. 6. Public Health indicators for Europe: context, selection, definition: ECHI; 2005. 7. Marshall M, Leatherman S, Mattke S. Selecting indicators for the quality of health promotion, prevention and primary care at the health systems level in OECD countries. Paris: OECD; 2004. 8. Bauer G, Davies JK, Pelikan J, Noack H, Broesskamp U, Hill C. Advancing a theoretical model for public health and health promotion indicator development: proposal from the EUPHID consortium. European Journal of Public Health 2003;13(3 suppl):107-113. 9. Hawe P, King L, Noort M, Jordens C, Lloyd B. Indicators to help with capacity building in health promotion. Sidney: NSW Health department; 2000. 10. Kremer B. De juiste meetlat. Andere indicatoren nodig voor kwaliteitsmeting neurologen. Medisch Contact 2006;61(18):751-753. 11. Kok H, Molleman G, Saan H, Ploeg M. Handboek Preffi 2.0: richtlijn voor effectieve gezondheidsbevordering en preventie. Woerden: NIGZ; 2005. 12. Saan H, Molleman G, Vermeer V, van Dale D. Projectmanagement voor gezondheidsbevordering en preventie. Woerden: NIGZ; 2004. 13. Rootman I, Goodstadt M, Hyndman B, McQueen DV, Potvin L, Springett J, et al., editors. Evaluation in health promotion. Principles and perspectives: WHO; 2001. 14. Ravensbergen J, Zandvliet J, editors. Dat verandert de zaak! Geleerde implementatielessen van ZonMw. Assen: Koninklijke Van Gorcum; 2006. 15. Preventie in soorten. In: VTV-2006 <http://www.vtv2006.nl> Gezondheid, preventie en zorg in Nederland\ Preventie, 23 juni 2006. Bilthoven: RIVM; 2006. 16. Ex ante evaluatie Sneller beter pijler 3. Utrecht: Nivel; 2005. 17. Bestuur NPHF. Nationaal Platform Gezondheid: NPHF; 2004. 18. Wallerstein N. What is the evidence on effectiveness of empowerment to improve health? Kopenhagen: WHO; 2006. 19. Van Dale J. Groot woordenboek der Nederlandse taal. twaalfde herziene druk ed. Utrecht/Antwerpen: Van Dale Lexicografie; 1992. 20. Continuiteit. In: Wikepedia de vrije encyclopedie. http://nl.wikipedia.org/w/index.php?title=Speciaal:Cite&page=Continu%C3%AFteit&id=5961577. 21. Laszlo E. Je kunt de wereld veranderen: Ankh Hermes; 2004. 22. Pluye P, Potvin L, Denis JL. Making public health programs last: conceptualizing sustainability. Evaluation and Program planning 2004;27:121-133. 23. Shediac-Rizkallah MC, Bone LR. Planning for the sustainability of community-based health programs: conceptual frameworks and future directions for research, practice and policy. Health Educ Res 1998;13(1):87-108. 24. Pluye P, Potvin L, Denis JL, Pelletier J. Program sustainability: focus on organizational routines. Health Promot Int 2004;19(4):489-500. 25. Goodman RM, McLeroy KR, Steckler AB, Hoyle RH. Development of level of institutionalization scales for health promotion programs. Health Educ Q 1993;20(2):161-78.

17

Bijlagen 1. Overzicht van spelers en initiatieven mbt prestatie-indicatoren gezondheidsbevordering 2. Interne experts en externe toetsing 3. Indicatoren continuïteit algemeen 4. Indicatoren continuïteit op organisatieniveau (Pluye et al. 2004)

Bijlage 1. Overzicht van spelers en initiatieven mb t prestatie-indicatoren preventie/gezondheidsbevord ering (versie d.d. 2006-09-11) Instituut RIVM IGZ GGD NL GGD NL/Actiz

Naam Zorgbalans Bronnen (PIP) Clinical logics VTV 2006

(gezondheidsindex)

Toetsen OGZ GGD Benchmark Beter

voorkomen

Kwaliteits-

thermometer

GGD’en

Maatschappelijke

verantwoording

Niveau Macro / Uitkomst Macro / Uitkomst Macro / Proces,

keten

Macro, uitkomst

(proces)

Regio en instituut /

uitkomst in

tweede instantie

proces

Indiv.GGDen en landelijk

(Micro/macro) / input en

proces

Micro en

macro nivo /

proces

Macro nivo /

samenvatting alle

gegevens over de

sector , input /

proces /

uitkomst

Waar

dienen de

indicatoren

voor?

De prestaties van

de Nederlandse

gezondheidszorg in

beeld brengen

Inzicht in de

resultaten van het

preventiebeleid

(doel project:

vaststellen van

bronnen)

Inzicht in het

presteren van de zorg

in sleutelstadia van

een ziekte

(doel project:

beslispunten id zorg

identificeren)

Inzicht in VGZ-

toestand

(gezondheidsproblem

en en determinanten)

prestaties van OGZ

(aanbod

interventies).

Inzicht in mate

waarin bestaande

problematiek tot

een adequate

respons leidt in

een GGD regio

Inzicht in doelmatigheid

van de GGD

Toekomst:

Inzicht in klantervaring en

medewerkerstevredenhei

d kwaliteit

Mate van

opbouw van

een KMS van

GGD’en

Verantwoordings

document

Doelgroep/f

unctie

VWS

Extern

beleidsvorming

VWS

Extern

Beleidsvorming

Zorgsector

Intern???

Bijsturen zorgproces

VWS

Extern

Beleidsvorming

IGZ

Extern

Toezicht

Verbeteren

& verantwoording

(CBS/SCP)

Intern & extern

Sector

verantwoordi

ng

Intern leren

Wat/hoe Selectie door VWS

ism

RIVM gebruik

makende van

internationale

initiatieven en

consensus in veld.

Toetsing bij

selectie: Balanced

Score Card

Operationalisatie

van doelen van

VWS, gebruik

makende van

beschikbare data-

bronnen, en op

basis van

wetenschap en

consensus

Monitoren

overgangsstadia

Geografische

weergaven van

spreiding van

gezondheidsproblem

en, determinanten en

gebruik van evidence

based interventies.

Selectie op basis

van bestaande

literatuur en

bestaande

monitors op

andere in gebruik

zijnde bronnen

(QUI database).

Inbreng van het

veld

Op basis van

vragenlijsten

Omgang

met

evidence

Indicatoren komen

van VWS en zijn

niet verder

beoordeeld.

Bronnen wel

beoordeeld.

Empirische

onderbouwing dmv

onderzoek

Selectie op basis

van literatuur en

beschikbaarheid

bronnen.

Pragmatisch.

Indicator in

principe

aangetoond

verband met

outcome.

Indicatoren obv ggd

productboeken en

literatuur

Beoordeling door het veld

Model based,

door veld

getoetst

Aantal 11 indicatoren, 138 indicatoren, In ontwikkeling? ? 20 in principe 3 per product (totaal Set van 10 Mogelijk zelfde

19

indicatoren

en bron

bestaande bronnen bestaande bronnen Slechts deels mbt

preventie?

bestaande info:

monitors,

entadministratie

etc

150) nieuwe info indicatoren,

obv INK/HKZ

nieuwe info

als benchmark

beter voorkomen

20

Instituut Divers? NIGZ HKZ GGD NL / Actiz VNG / SGBO VNG

Naam Academische

werkplaatsen

Operationalisatie

refka

Ontwikkeling PI GB Indicatoren interne

verantwoording

Benchmark JGZ in kader

van Beter voorkomen

Indicatoren

WMO

Bestuurlijke

benchmark

Niveau Interventie / output Interventie / proces Proces, soms output Organisatieniveau /

input, proces , uitkomst

(alleen

klanttevreddenheid)

Per gemeente

input en proces

Per gemeente

input en proces

Waar dienen de

indicatoren voor?

Inzicht in de

resultaten van een

interventie

(doel project:

eenduidige manier

van meten

stimuleren)

Inzicht in de

kwaliteit van de

interventie

(doel project:

Voorstudie!

Identificatie

mogelijke

indicatoren)

Interne organisatie

en

kwaliteitsverbetering

Inzicht in bestuur en

financiers bij Thuiszorg

JGZ organisaties en

GGD-en 4 t/m 19 jaar

Inclusief klantervaring en

medewerkertevredenheid

en primaire

zorgprocessen

Horizontale

verantwoording

WMO

Interne

organisatie en

externe

verantwoording?

Doelgroep/functie Veld: GB-ers

Intern

Kwaliteitsverbetering

Veld: GB-ers

Intern

Kwaliteitsverbetering

Management GGD

en functies of

afdelingen GGD

Verbeteren

& verantwoording

(CBS/SCP)

Intern & extern

Geschikt om

maatschappelijke

verantwoording mee af

te leggen aan

gemeenten.

Relatie met indicatoren

Gemeente,

burger

Gemeente,

burger, rijk

Wat/hoe Uitwerken op basis

van literatuur.

Checken bij experts.

Opstellen van

groslijst op basis van

brainstorm met

inhoudsexperts.

Quick scan:

- Mogelijke

toepassing

- Mogelijkheden om

te meten

Zelf te definieren

indicatoren voor

verbeterprocessen

of kwaliteit van zorg

zie b.v. HKZ

schema…nummer…

Wordt webbased

benchmark instrument

Nog niet

bekend

Omgang met

evidence

Op basis van

literatuur

Alleen brainstorm

onder experts.

Zelf te bepalen Op basis van ervaringen

met eerdere benchmarks

Thuiszorg, JGZ en GGD

en op basis van

consensus

??

Aantal

indicatoren en

bron

Nog in ontwikkeling Nog in ontwikkeling Zelf te bepalen Nog niet uitgewerkt

Benchmark JGZ 0-19

moet nog ontwikkeld

??

21

worden

22

Bijlage 2 Interne experts en externe toetsing Experts: Erik Ruland Hans Saan Gerard Molleman Jolanda Keijsers Jan Bouwens Vivian Bos Toetsing op: IUHPE Boedapest 2006 Werkconferentie Referentiekader 2006 NIGZ congres 2007 IUHPE Vancouver 2007

23

Bijlage 3 Indicatoren Continuïteit Algemeen Project niveau Naam indicator Onderbouwing Manier van meten

gegevens uit evaluatie worden gebruikt

Gegevens over effecten/resultaten zijn nodig om de juiste vervolgstappen te bepalen De resultaten kunnen een basis vormen voor beslissingen over verdere voortgang of financiering van het project.

Zijn de projectopbrengsten voor de deelnemers en de omgeving helder gespecificeerd?

0= geen 1= er is alleen proces evaluatie gedaan 2= er is zowel proces als effect evaluatie gedaan

Opm; gaat in feite om goed gebruik van de resultaten van de evaluatie met het oog op implementatie en verankering Staat in principe los van de financiering

Er is een projectplan 0=nee 1=ja, matig uitgewerkt 2= ja, goed uitgewerkt

Er is een eindrapportage 0=nee 1=ja, matig uitgewerkt 2= ja, goed uitgewerkt

Er is een draaiboek /protocol/ stappenplan voor de uitvoering van de interventie

0=nee 1=ja, matig uitgewerkt 2= ja, goed uitgewerkt, duidelijk is welke elementen met/zonder aanpassing worden voortgezet

De documentatie is een goed toegankelijk 0=nee 1=ja, matig uitgewerkt 2= ja, goed uitgewerkt

interventie wordt gedocumenteerd

Om de continuïteitskansen te verhogen is het van belang om duidelijk en concreet de organisatie en aanpak en context op papier te zetten. Instrumenten als draaiboeken brengen lijn in de werkwijze, geven betrokkenen houvast bij hun taken en kunnen nieuwkomers snel wegwijs maken. Zonder documentatie geen herhaling op zelfde wijze mogelijk of zicht op (noodzakelijke) aanpassingen Toegankelijkheid

Er is een duidelijk aanspreekpunt 0= nee 1= bekend is bij welke organisatie informatie ingewonnen kan worden 2= bekend is bij welke persoon informatie ingewonnen kan worden

Er is pr ten aanzien van: Einddoelgroep (deelnemers/(nog)niet deelnemers

0= nee 1= enigszins 2= ja

PR wordt gerealiseerd Bij het ontwikkelen van draagvlak is een goede PR heel belangrijk. Draagvlak (van einddoelgroep, intermediairen en beslissers) kan een project maken of breken. Intermediairen/partners 0= nee

1= enigszins

24

Naam indicator Onderbouwing Manier van meten

2= ja Financiers/beleidsmakers/(externen) 0= nee

1= enigszins 2= ja

Is er op dit moment voldoende menskracht aanwezig?

0= Nee 1= Enigszins 2=Ja

Heeft de nu aanwezige menskracht de juiste deskundigheid?

0= Nee 1= Enigszins 2=Ja

Voorzie je problemen met (omvang van de) menskracht in de nog resterende projectperiode?

2= Nee 1= Enigszins 0=Ja

Voorzie je problemen met deskundigheid (van de aanwezige menskracht) in de nog resterende projectperiode?

2= Nee 1= Enigszins 0=Ja

voldoende capaciteit (menskracht en deskundigheid) binnen het project voor de uitvoering?

De prestaties van teams die belast zijn met de implementatie worden bepaald door een aantal factoren, waaronder: vaststellen van juiste teamomvang gelet op probleem/taak en vestigen rollen van individuele teamleden evenals rol team binnen totale organisatie

Voorzie je problemen met menskracht en/of deskundigheid voor een eventueel vervolgproject?

2= Nee 1= Enigszins 0=Ja

Staan inhoudelijke plannen voor follow-up op papier?

0= Nee 1= Er zijn ideeën, maar ze zijn nog niet opgeschreven 2= Ja

Plannen voor follow-up

Gebruik van gegevens en geleerde lessen als input voor de vraag hoe het project het beste kan worden gecontinueerd

Is er een inschatting gemaakt van de continueringmogelijkheden van het project?

0=nee 1= globale inschatting 3= gedetailleerde inschatting en vervolgplan

Vervolgfinanciering

Zonder middelen geen voortgang Is vervolgfinanciering reeds toegekend? 0=Nee en er is (nog) niets gedaan 1= nee, maar er wordt over vervolgfinanciering gesproken 2=nee, maar er wordt aan een plan voor aanvraag vervolg financiering gewerkt 3= nee, maar er is een plan/ aanvraag ingediend 4= Ja, is deels toegekend (min 50% ) 5= ja, is geheel toegekend

25

Instelling/Organisatie niveau Naam indicator onderbouwing Manier van meten

Uitvoerder van interventie is stabiele organisatie

0= nee, met sluiting bedreigd 1= nee, reorganisatie in vooruitzicht 2= ja, stabiele organisatie,

Organisatie is financieel gezond 0= nee, grote financiële tekorten aanwezig 1=ja, financieel gezonde organisatie

Stabiele organisatie Kenmerken organisatie, stabiliteit is deels voorwaarde voor continuïteit

Organisatie biedt mogelijkheden om door te ontwikkelen (ruimte om breder te bekijken en extra mogelijkheden benutten)

0= nee 1= ja, organisatie beschikt over kennis

draagvlak binnen organisatie

De eigen organisatie is de eerste omgeving voor de professional en bepaalt vaak de mogelijkheden op het gebied van capaciteit.

Draagvlak voor interventie op management niveau in de organisatie

0= nee 1= ja 2= ja bij meerdere personen

Missie en doelstellingen projectdragende organisatie

Een belangrijke voorwaarde voor verankering van activiteiten en resultaten op het vlak van gezondheid, is dat de participerende instellingen deze na de officiële projectafloop opnemen in hun reguliere activiteiten en planning.

Interventie is onderdeel van planning en control cyclus

0= nee 1 = ja

26

Samenwerking niveau Naam indicator onderbouwing Manier van meten

Huidig aantal lokale partners 0= geen 1= 1 2 = 2 of meer

Huidige mate van betrokkenheid van (lokale) partners (per partner uitsplitsen)

1= meedenken 2= mede uitvoeren (3= verantwoordelijkheid dragen)

Toekomstig aantal lokale partners met wie afspraken zijn gemaakt in het kader van de continuering van het project.

0= geen/niet bekend 1 = met 1 partner zijn afspraken gemaakt 2= met 2 of meer partners zijn afspraken gemaakt

betrokkenheid (lokale) partners

Samenwerken geeft een gedeeld commitment en een gedragen resultaat, en bovendien kun je veel beter kapitaliseren op elkaars expertise

Toekomstige mate van betrokkenheid van (lokale) partners (per partner uitsplitsen)

1= meedenken 2= mede uitvoeren 3= verantwoordelijkheid dragen

Communicatie relevante partijen

Communicatie is van belang om iedereen in dezelfde richting te laten bewegen en het doel niet uit het oog te verliezen.

Is er een communicatieplan? 0= nee 1= ja

27

Omgeving niveau Naam indicator onderbouwing Manier van meten

Sociaal draagvlak Draagvlak is van belang in de vorm van acceptatie en werkelijke steun. Project sluit aan bij publieke opinie en beleid

Is er sprake van sociaal draagvlak? 0= nee 1= ja, mensen zijn overtuigd van het nut van het project 3 = ja, mensen in de omgeving zetten zich in voor behoud van het project

Verbreding/uitbreiding project

Draagvlak binnen meerder sectoren vergroot de kans op continuering

Is vastgesteld waar het project raakvlakken heeft met andere sectoren die aangesproken kunnen worden op hun verantwoordelijkheid?

0=nee 1=ja

opgenomen in landelijk of lokaal beleid

Wanneer het project door landelijk dan wel lokaal beleid wordt geformaliseerd wordt de kans op continuering geoptimaliseerd

Is de continuering van het project bestuurlijk verankerd

0=nee 1=ja, opgenomen in gemeentelijk /landelijk beleidsplan

28

Indicatoren continuïteit op organisatie niveau (Pluye et al. 2004) Memory • Does the formal budget include the financial resources necessary to employ key personnel with permanent funding?* • Are there human resources in place in the form of permanent positions, either managerial or otherwise?* • Are there material resources such as permanent office space or tools required for the activities?* • How much time is committed to the activities, and is it on a permanent basis?* Adaptation • Are the activities adapted to the local context?* • Are the activities adapted to their estimated effects, for example, are they adapted to annual activity reports or to assessment results?* • Are the activities carried over from one year to the next because they were enjoyed and in spite of uncertainty concerning their continued relevance? Values • Do the activities correspond to written objectives?* • Are symbols such as logos attached to the activities? • Are there established rituals, such as periodic meetings, related to the activities? • Has a specific language, like jargon, been developed in relation to the activities? Rules • Is a supervisor formally assigned to the activities?* • Are the activities included in a formal planning process?* • Are specific activities covered by task descriptions?* • Are there activities that are subject to written rules, such as procedural manual?* *Questions adapted from Goodman et al. (1993)’s items.