Workshop 'Doelstellingen en indicatoren'
Post on 12-Jun-2015
3419 Views
Preview:
DESCRIPTION
Transcript
1
Het 7-‐fasen-‐plan 1. De start 2. De missie 3. De gegevensverzameling 4. De beleidsuitdagingen 5. De doelstellingen 6. De strategie 7. De afronding
2
Gegevens verzamelen
Over en van “Stakeholders”
Over en van “Ext.
omgeving”
Over en van “Interne werking”
Samenbrengen in één gezamenlijke analyse (= SWOT)
BELEIDSUITDAGINGEN
Opmaak van een profiel
3
Fase 5: Doelstellingen
4
Samenhang doelstellingen’systeem’
Meerdere operationele doelstellingen
Lange termijn
Korte termijn
Volledige organisatie
Teams/onderdelen
(Nog) meerdere acties
Algemeen
Zoekvelden
Strategische doelstelling
Meerdere operationele doelstellingen
Lange termijn
Korte termijn
Volledige organisatie
Teams/onderdelen
(Nog) meerdere acties
Algemeen
Zoekvelden
5
Missie
Vele beleidsuitdagingen
BeleidsopGe 2 BeleidsopGe 1
Strategische doelst 1 Strategische doelst 2
OperaGonele
doelst 1.1
OperaGonele
doelst 1.2
OperaGonele
doelst 2.1
OperaGonele
doelst 2.2
Beleidsindicator(en) Beleidsindicator(en)
Resultaatsindicator(en) Resultaatsindicator(en)
AcGe 1.1.1 AcGe 1.1.2 AcGe 1.1.3 AcGe 2.2.1 AcGe 2.2.2 AcGe 2.2.3
6
Een doelstelling is …
… een formulering van een gewenste situaGe, gepreciseerd met beoogde effecten en/of gewenste
resultaten
… dus: wat je wil bereikt hebben/gerealiseerd zien
… en: zo weinig mogelijk hoe je dit gaat bereiken
Iedere doelstelling beschrijW dus (zo veel mogelijk) een bepaald effect of resultaat
dat bereikt moet worden!
7
Stijging van het aantal vormingsuren met 15% tegen 2015
2011 : + 2%
2012 : + 4%
2013 : + 5%
2014 : + 4%
Prov. A’pen : ICT (+ 3%)
Prov. OVL : NL (+ 2%)
Prov. WVL : Talen (+ 4%)
Brussel : ICT (+ 1%)
Nieuwe PR-kanalen
Samenwerking
Nieuwe thema’s
Nieuw prijzenbeleid
Meerdere activiteiten
Een voorbeeld:
8
Tegen eind 2015 een meetinstrumentenpakket introduceren
april ’10 : Bevraging
juli ’11 : Pakket Land.
dec. ’12 : Pakket Prov.
april ’13 : Bevraging lok.
juli ’14 : Testfase lok.
dec. ’15 : Pakket lok.
Landelijk (100%)
Provinciaal (100%)
Lokaal (50%)
Externe vorming
Overlegstructuren
Interne vorming
ICT + bibliotheek
Meerdere activiteiten
Nog een voorbeeld:
9
Doelstellingen formuleren • Een doelstelling legt de focus op het DOEL, niet (of zo
weinig mogelijk) op de MIDDELEN. Ze zegt op een algemeen niveau hoe je naar de missie en de decretale opdrachten zal werken.
• Ze zijn op zijn best retrospecGef, geformuleerd vanuit de toekomst
• Hoe zal je de realisaGe toetsen: gebruik indicatoren! SMART of START?
• Zij zijn de basis voor het beleid en het dagelijkse werk als referenGekader.
• Ze vormen de toetssteen bij de jaarlijkse voortgangsrapportage.
10
De voorbereiding • Bekijk het overzicht van de doelstellingen uit het vorige beleidsplan.
• Check na of deze verwezenlijkt werden/zullen worden (Zo niet … zoek naar een plausibele verklaring!).
• Leg deze doelstellingen naast de beleidskeuzes uit de nieuwe planning of al geformuleerde strategische doelen.
• Kijk na of – er overlappingen zijn – verlenging nodig is – er een goede verhouding is tussen conGnuïteit en vernieuwing
11
Het formuleren van strategische of algemene doelen
• Bekijk de doelstellingen en de achtergond ervan: beleidsuitdagingen (SWOT).
• Bekijk eventueel de nog niet gerealiseerde strategische doelstellingen van vorig plan (en de redenen van niet-‐realisaGe).
• Zijn ze algemeen genoeg? • Overspannen ze een periode van 5 jaar? • Zijn er niet teveel? Hoeveel? Niet meer dan 6, 7, 8, …?
• Is de formulering eenduidig? Niet te vaag?
12
Het operaGonaliseren van strategische doelen
• Analyseer de formuleringen en probeer voor elk de samenstellende onderdelen voor realisaGe te vinden.
• Splits zo nodig op volgens Gjdsbestek, spreiding, organisaGe-‐onderdelen, realisaGefasen.
• Op basis van de samenstellende elementen bij ieder strategisch doel en met behulp van de SMART techniek kunnen de operaGonele doelen in een eerste versie geformuleerd worden.
• Wat met de overgang tussen 2 beleidsperiodes?
13
Het START SMART-‐principe
• Specifiek
• Concreet en herkenbaar (intern en extern) • Gericht op één richgactor (één situaGe die moet veranderen) à kiezen invalshoek
• Geen verwarring over waar de doelstellingen over gaan en tegenover wie
• Hoe meer je de realisaGe zélf in de hand hebt, hoe groter de kans dat hij gerealiseerd zal worden à welke (bescheiden?) rol kunnen wij spelen?
Een doelstelling moet in één oogopslag weergeven
wat de organisaGe wil bereiken, eenduidig en eenvoudig
14
START SMART
• Specifiek • Meetbaar / Toetsbaar
• Evalueerbaar à hoe ver staan we hiermee? • Wanneer bereikt à een doel heeW een eindpunt • Belang van indicatoren … zij bepalen meetbaarheid of toetsbaarheid
• In ons werk: meten is meestal verifiëren of toetsen! (dus niet noodzakelijk tellen). Vandaar « START »
Een doelstelling moet in één oogopslag weergeven
wanneer de organisaGe dit doel heeW bereikt
15
START SMART
• Specifiek • Meetbaar / Toetsbaar • AkracGef, ambiGeus & aanvaard
• Iedereen is het er mee eens • Houdt een uitdaging in • Nodigt uit tot acGe • Aansluiten bij de belevingswereld
16
START SMART
• Specifiek • Meetbaar / Toetsbaar • AkracGef, ambiGeus & aanvaard • RealisGsch, resultaatsgericht
• Haalbaar • Rekening houden met mogelijkheden/omstandigheden/belemmeringen
• Link met resultaten
17
START SMART
• Specifiek • Meetbaar / Toetsbaar • AkracGef, ambiGeus & aanvaard • RealisGsch, resultaatsgericht • Tijdsgebonden (voorzien v/e Gming)
• Een evaluaGemoment in de toekomst • Inbouwen tussenGjdse meGngen • RetrospecGef • Deadline = automaGsch einde beleidsperiode
18
Toets der Toerekenbaarheid
Andermans werk
Eigen werk
Boze buitenwereld
19
Een voorbeeld Doelstelling:
“Onze vrijwilligers zijn méér en beter begeleid en ondersteund”
Tekstanalyse: • Twee situaties: méér begeleiding & betere begeleiding • Element 1: is ‘beter’ een evaluatie intern of van de vrijw.? • Indien intern: bepalen hoe ‘beter’ we willen begeleiden • Element 2 (als extern): waarop moeten wij dan ‘beter’
worden? • Element 3: welke domeinen van de begeleiding willen we
aanpakken?
20
Doelstelling: “Onze vrijwilligers zijn méér en beter begeleid
en ondersteund”
Mogelijke SMART oplossingen = 3 operationaliseringen 1. Tegen eind 2015 besteden wij gemiddeld 2 keer zoveel tijd
aan de begeleiding van de vrijwilligers, vergeleken met de nulmeting in 2010
2. Vanaf het einde van de ontwikkelingsfase maakt jaarlijks min. 5% meer vrijwilligers gebruik van onze instrumenten
3. In aanloop naar het volgende beleidsplan geeft 80% van de vrijwilligers aan ‘tevreden’ tot ‘zeer tevreden’ te zijn over onze begeleiding en ondersteuning
21
Doelstelling: “Onze vrijwilligers zijn méér en beter begeleid
en ondersteund”
Mogelijke START oplossingen = 1. … 2. … 3. …
22
Oefening 1: doelstellingen operaGonaliseren
• Jullie krijgen 1 strategische doelstelling, geplukt uit bestaande beleidsplannen.
• Analyseer de formulering. Probeer ze op te splitsen in samenstellende elementen.
• Probeer van de samenstellende elementen opera@onele doelen te maken (zo SMART mogelijk).
• Denk daarom ook na over de ‘eindsitua@e’, de ‘mate van toetsbaarheid’, de ‘@ming’.
• Noteer op het oefenblad.
23
Doelstelling : “Wij willen het niet-formele educatieve aanbod van alle
verstrekkers binnen de regio op elkaar afstemmen én op de vormingsbehoeften”
Vragen : • Twee soorten afstemming: ‘tss. verstrekkers’ en ‘op behoeften’
• Het eerste gaat over complementariteit en spreiden van ‘investeringen’
• Het tweede gaat over vraaggericht werken
• BELANGRIJK: welk effect willen wij genereren?
Zoek de kapitale fout
24
Dit is één mogelijke oplossing. Meerdere invalshoeken zijn mogelijk!
Doelstelling : “Wij willen het niet-formele educatieve aanbod van alle
verstrekkers binnen de regio op elkaar afstemmen én op de vormingsbehoeften”
SM/TART’er : 1. Vanaf het werkjaar 2013 hebben méér dan de helft van alle verstrekkers
binnen het niet-formele educatieve circuit zich ingeschreven in een programmatie-uitwisselingssysteem.
2. Tegen juli 2011 hebben alle verstrekkers toegang tot een instrumentarium om hun aanbod af te stemmen op de specifieke behoeften van hun specifieke doelgroep(en).
25
Oefening 2
• Neem een strategische doelstelling uit een eigen beleidsplan.
• Detecteer de samenstellende elementen. • Vinden jullie de samenstellende elementen terug in de geformuleerde operaGonele doelstellingen?
• Is het verband OD’s en SD in dit beleidsplan duidelijk?
26
De gouden doelstelling…
… bestaat niet
27
“Doelstellingen-‐zorg”
• Werkbare systemaGek van opvolging gebruiken en planlast beheersen.
• Medewerkers behouden zicht op die systemaGek door communicaGe en jaarlijkse voortgangsrapportage.
• Doseer de registraGe van uitvoeringsgegevens (al of niet expliciete indicatoren).
• Negeer de “verantwoordingsdruk” van hogerhand niet. • En vergeet niet: feedback van derden (visitaGe bijvb) te confronteren met de zelfanalyse… 28
SMART is niet alGjd
smart
...verlies de achterban
niet!
29
Vaststellen of doelen gerealiseerd zijn
• RealisaGe in funcGe van de missie! • Bewijzen of indicaGes? • De afgelegde weg richGng reisdoel kunnen tonen.
• Feiten en gegevens verzamelen voor, Gjdens en na het realisaGeproces: geen gebakken lucht verkopen.
• Indicatoren met normen, meten is weten.
30
Indicatoren: een definiGe
… geven een aanwijzing (“indicatie”) over een bepaalde situatie
… geven informatie, vaak in cijfers en/of grafieken over de richting of evolutie
… zijn kengegevens die een algemeen beeld geven van aspecten of het geheel van een reeks activiteiten
… geven een inzicht in de mate waarin beoogde effecten/resultaten gerealiseerd worden
31
Link met doelstellingen
• Doelstelling = een formulering van een gewenste situaGe, liefst gepreciseerd met beoogde effecten en/of gewenste resultaten à de indicator verifieert dit
• … dus: wat je wil bereikt hebben/gerealiseerd zien • … dus: iedere START SMART-‐doelstelling geeW aanleiding tot het verzamelen van toets-‐ of meetgegevens à “T” of “M”
Hoe START’er of SMART’er je doelstellingen, hoe eenvoudiger de indicator gevonden wordt
32
Probleemstelling
• Gewenst: niet enkel naar de inspanningen kijken maar vooral naar het resultaat.
• Realiteit = – Meet-‐ of toetsbare indicatoren vinden is moeilijk – Goed meetbare indicatoren zijn niet alGjd relevant – Resultaten kunnen niet eenduidig aan één actor toegewezen worden (zie Toets der Toerekenbaarheid)
33
InformaGeparadox vermijden • SelecGviteit is bij het kiezen van indicatoren een belangrijk uitgangspunt. Meer indicatoren leveren niet automaGsch een beter beeld van de prestaGes op: hoe meer informa@e, hoe beperkter het beeld…
• Perfecte indicatoren bestaan niet, kies voor meer aangrijpingspunten en beperk het aantal indicatoren.
• Pas op voor perverse effecten. • Doe de toets der toerekenbaarheid (zie eerder). • “What you measure is what you get”.
34
De voorbereiding
• Maak een overzicht van de indicatoren uit het lopende beleidsplan.
• Check na of deze ‘goed’ en ‘bruikbaar’ waren. • Zo niet … zoek naar een plausibele verklaring. • Leg deze indicatoren naast de huidige operaGonele doelstellingen.
• Kunnen indicatoren gerecycleerd worden? Dat kan zinvol zijn om Gjdreeksen te maken!
• Bij nieuwe indicatoren: denk aan de nulmeGng!
35
Soorten indicatoren
Een belangrijk onderscheid is te maken tussen :
1. Directe versus indirecte indicatoren 2. KwalitaGeve versus kwanGtaGeve indicatoren
(meten is niet alGjd tellen) 3. Effect-‐ versus resultaats-‐ versus proces-‐ of
inspanningsindicatoren
Er zijn nog andere opdelingen mogelijk … indicatoren zijn te vinden in alle soorten, maten, gewichten en vormen!
36
Criteria Relevante en adequate indicatoren
• Enkel ‘meten’ wat je kan en gaat gebruiken, wat zinvol en nusg is.
• Evenwicht tussen systemaGek en spontaniteit. • Kies voor meer aangrijpingspunten (bijvoorbeeld niet enkel het aantal deelnemers) en beperk de hoeveelheid indicatoren.
Vragen : Wat ga ik meten? Hoe ga ik meten? Wat kom ik hiermee te weten? Is dit zinvol? GeeW dit een meerwaarde? Heb ik hier behoeWe aan? Wat kost mij dit?
37
Een ‘perfecte’ indicator is dus … 1. … valide 2. … funcGoneel 3. … legiGem 4. … eenvoudig 5. … actueel 6. … nauwkeurig 7. … betrouwbaar 8. … geen wetenschap maar
een indica1e
Zie deelnemersmap: criteria voor adequate indicatoren 38
Meten versus Toetsen X of Y processen
• CijfermaGg meten gaat uit van vooronderstellingen die niet op alle werkings-‐ of organisaGeprocessen van toepassing zijn
• Er zijn processen met X en Y kenmerken (Spoorboekje blz. 83-‐87)
• X kenmerken = verhogen onzekerheid m.b.t. meten
• Y kenmerken = verhogen zekerheid m.b.t. meten
39
Oefening 3
• Neem de operaGonele doelstellingen uit de vorige oefening op oefenblad 1 (voorbeelden).
• Toets ze aan de tabel van Bullen en geef ze een X en Y score.
• Hoe zal je de indicator kiezen: M of T ?
40
Wat bij overwicht Y-‐kenmerken?
• SMART
41
Wat bij overwicht X-‐kenmerken?
START Aantonen van resultaten van de geformuleerde doelen kan door:
• Toch proberen te operaGonaliseren in Y-‐variabelen.
• KwalitaGeve beschrijving(en), evaluaGeverslag. • Aantonen dat de juiste dingen worden gedaan. • Focusgroepen en komen tot betekenisvolle en gedragen uitspraken over de werking.
42
Het zoekproces bij de START SMART werkwijze
Vinden van ‘zoek’velden of die elementen uit een doelstelling die het resultaat of de prestaGe van die doelstelling kunnen “bewijzen”
1. Wat moeten we “weten” om aan te kunnen tonen dat deze
doelstelling verwezenlijkt werd? Daartoe analyseren we de tekst van de doelstelling.
2. Hoe kunnen we dit meten, toetsen, verifiëren, aantonen of bewijzen?
Deze ‘zoek’velden zijn richGnggevend voor het vinden van de meest relevante indicator(en)
43
Doelstelling: “Het aantal leden in de categorie 25-‐40 jaar
is toegenomen met 10% tegen 2015”
WAT MOETEN WE WETEN? HOE KUNNEN WE DAT METEN?
Aantal leden nu à Telling uit ledenbestand
(nulmeting)
[ Evolutie laatste 5 jaar à Vergelijking stand per 31/12 ]
[ Evolutie leden per initiatief à Tussentijdse telling van % stijging ]
Aantal leden in 2015 à Telling uit ledenbestand
In uw eindevaluatie staat dan het percentuele verschil tussen de 1ste meting en de meting in 2015
Voorbeeld:
44
Doelstelling: “Tegen eind 2015 geven onze vrijwilligers aan dat ze zich
opmerkelijk meer gewaardeerd voelen”
WAT MOETEN WE WETEN? HOE KUNNEN WE DAT METEN?
Wat bepaalt deze waardering? à Steekproefbevraging
Op welke criteria stijging? à Bespreking intern (of extern?)
Hoe gewaardeerd nu? à Vragenlijst ontw. & gebruiken
Hoe gewaardeerd in 2015? à Idem
In uw eindevaluatie staat dan het meetbare verschil tussen de 1ste meting en de meting in 2015
Nog een voorbeeld:
45
Oefening 4
We nemen de operaGonele doelstellingen uit de 2 eerste oefeningen
Bekijk de indicatoren
die bij jullie gemeten of getoetst worden Bespreek
het X en Y gehalte van de doelstelling
46
Het vervolledigen van zoekvelden tot indicatoren
• Bepalen meetmethode (hoe) • Bepalen maatstaf (wat) • Bepalen meetnorm
(wanneer OK = beredeneerd gokken?)
Invullen meeVabel voor iedere indicator, samen met : meeteigenaar, meetbewaker, meetfrequen@e,
meetmoment, meetbron(nen)
Meetplan … = M3
47
Oefening 5
• Neem de reeds gebruikte doelstellingen en jullie indicatoren.
• Stel de vragen, zoals aangegeven in de vorige dia’s.
• Formuleer maatstaf, meetmethode en meetnorm op oefenblad.
• Wat bij kwalitaGeve indicatoren? Expliciteer criteria!
48
Start met het correcte gebruik van de indicatoren en evalueer de bruikbaarheid per keer ze gebruikt worden. Bijpassingen van indicatoren kunnen:
• als doelstellingen veranderen • als organisaGe en/of maatschappij verandert • op basis van ‘gebruikservaringen’ • op basis van het aanleren van het gebruik
Maar niet zonder verantwoording of verklaring!
Tips voor gebruik van indicatoren
49
50
Overdaad schaadt!
• Gebruik een ‘boordtabel’ met de belangrijkste centrale gegevens van je organisaGe en de werksoortelijke beoordelingselementen om de hoeveelheid indicatoren beheersbaar te houden!
• Vul aan met de indicatoren bij de belangrijkste (of prioritaire) operaGonele doelstellingen.
51
Beoordelingselementen per werksoort
• Verenigingen: 12 • Volkshogescholen: 16 • Gespecialiseerde vormingsinstellingen: 11 • Syndicale vormingsinstellingen: 9 • Vormingsinstellingen voor personen met een handicap: 9
• Bewegingen: 12
52
Oefening 6
• We nemen zo meteen steunpunt SoCiuS als voorbeeld met een uikreksel uit het voortgangsrapport 2008.
• Oefening: Becommentarieer wat je ziet en probeer vergelijkbare centrale gegevens voor jouw organisaGe op te sommen.
Individueel en dan in groep
53
Overzicht begeleidingen
Aantal vragen 61
Spreiding over sector 30 buiten de sector 12 verenigingen 5 V+ 8 LVI 4 bewegingen 2 migrantenfederaties
Negatieve beoordeling 11
Positieve beoordeling 50
54
In globo: Aantal ac1viteiten/bereik
• 47 publieksac@viteiten / 277 dagdelen • 1176 deelnemende personen of organisa@es (+ 23% tov 2007)
– 913 personen (goed voor 530 unieke) en 263 organisaGes – 68% sector (sGjging van 13,5% tov 2007) / 32% buiten sector – Aandeel verenigingen sGjgt. Aandeel deelnemers neemt voor alle
werksoorten toe behoudens gespecialiseerde vormingsinstellingen, instellingen bijzondere doelgroep en bewegingen
– Werksoortelijk: • 29% V+ • 19% verenigingen • 5 % migrantenfederaGes • 7% gespecialiseerde vormingsinstellingen • 3 % bewegingen • 3 % instellingen bijzondere doelgroepen • 1 % syndicale vormingsinstellingen
55
Bereik organisa1es
• Bereik organisaGes: – 100% V+ – 100% MigrantenfederaGes – 100 % gespecialiseerde vormingsinstellingen – 100 % vormingsinstellingen met bijzondere doelgroep
– 100 % syndicale vormingsinstellingen – 86% verenigingen – 68% bewegingen
56
Trends
2006 2007 2008 Aantal publieksactiviteiten
49 45 47
Aantal dagdelen 207 183 277
Aantal deelnemers 850 958 1176
Aantal dln sector 682 705 800
Aantal dln buiten sector
168 253 376
Aantal unieke dln 389 429 530
Bereik % sectororganisaties
88 87 87
57
Kennis-‐ en informa1ecentrum
media www.prettiggeleerd.be www.socius.be E-zine wisselWERK
WisselWERK-cahier
509.671 bezoeken 385.840 unieke 9.752 activiteiten 166 invoerders
591.282 bezoeken 353.976 bezoekers 487 nieuws-berichten 795 vacatures
2.781 abonnees
2.096 abonnees
58
Kennis-‐ en informa1ecentrum
• Presggeleerd.be: +70% bezoekers, + 40% bezoeken, + 17% ingevoerde acGviteiten
• Socius.be: 1.600 bezoeken per dag, groeipercentage van 60%
• Bijleren.be: gebruiksvriendelijke restyling • E-‐zine: 22 nummers naar 2.781 abonnees • wisselWERK: vier nummers, 33 arGkels • 1 WisselWERK-‐Cahier: Het land van Maas en Waal • Eenmalige publicaGes • DocumentaGecentrum: 2000 boeken, arGkels of
rapporten 59
Middelenbesteding in rela1e tot inhoudelijk programma
Begroot 2008 Afrekening 2008
voorwaardenscheppend 21,30% 20,75%
Spoor 1 25,79% 25,91%
Spoor 2 12,50% 13,52%
Spoor 3 17,95% 14,10%
Spoor 4 10,32% 10,74%
Spoor 5 12,13% 14,99%
60
Kosten 2008
61
Resultaten van oefening
• Na dit voorbeeld: welke centrale gegevens zou je zelf in je “boordtabel” zeken?
62
Hoe verder?
• Wat met de acGes onder de operaGonele doelstellingen?
• Wat met niet gehaalde normen bij indicatoren?
63
Slot • Zet jezelf niet vast
– Mijden van te rigide planning
– Open staan voor ontwikkelingen
– Verkeerd geformuleerde doelen of indicatoren: durf dumpen of bijstellen
• Zorg voor argumenten en plausibele verklaring wanneer bijgestuurd wordt.
• Beoordelingselementen spelen mee…
64
top related