Efficiëntie meten in de publieke sector Methodologieën en toepassingen op lokale besturen Rapport Jesse Stroobants & Geert Bouckaert
Efficiëntie meten in de publieke sector Methodologieën en toepassingen op lokale besturen
Rapport
Jesse Stroobants & Geert Bouckaert
i
Inhoudstafel
Samenvatting 7
Inleiding 13
1. Een inleiding tot prestatiemeting 17
> 1.1. Doel van prestatiemeting 17
> 1.2. Soorten prestatiemetingen 18
> 1.2.1. Enkelvoudige maatstaven 19
> 1.2.2. Combinatie-indicatoren 20
> 1.3. Conclusie 22
2. Efficiëntie- versus effectiviteitsmeting 23
3. Publieke sector karakteristieken en efficiëntie 25
4. Methoden voor het meten van efficiëntie 27
> 4.1. Types van efficiëntie 27
> 4.2. Types van efficiëntiemetingen 28
> 4.3. Gedeeltelijke versus globale efficiëntiemeting 30
> 4.3.1. Gedeeltelijke efficiëntiemetingen (indicatoren) 30
> 4.3.2. Totale factor productiviteitsmetingen 32
> 4.4. Prijsgebaseerde indexnummer (PIN)-methoden 33
> 4.5. Grensmethoden 34
> 4.6. Parametrische methode 38
> 4.6.1. Deterministic Frontier Approach (DFA) 38
> 4.6.2. Stochastic Frontier Analysis (SFA) 38
> 4.6.3. Grafisch 39
> 4.6.4. Beperkingen 41
> 4.7. Niet-parametrische methode 42
> 4.7.1. Free Disposal Hull (FDH) 43
> 4.7.2. Data Envelopment Analysis (DEA) 44
> 4.7.3. Grafisch 46
ii
> 4.7.4. Beperkingen 49
5. Empirische studies omtrent efficiëntie in lokale besturen 51
> 5.1. Adequate grensmethoden 51
> 5.2. In de beleidspraktijk 53
6. Datavereisten voor efficiëntiemetingen 55
> 6.1. Inputs 55
> 6.2. Outputs 57
> 6.3. Omgevingsfactoren 59
> 6.4. Illustratie 60
> 6.5. Kwaliteit van de gegevens 61
> 6.6. Vergelijkbare data 62
> 6.7. Beschikbaarheid van de data 63
> 6.8. Audit van dataverzameling 64
Conclusie 67
Bijlage A: Uitwerking en illustratie van de FDH- en DEA-methodologie 71
Referenties 77
iii
Lijst tabellen
Tabel 1: Efficiëntiestudies omtrent lokale overheden d.m.v. DEA 53 Tabel 2: Voorbeeld van ideale data voor efficiëntiemeting (bibliotheek) 61 Tabel 3: Mogelijke databronnen 65
iv
Lijst figuren
Figuur 1: Overzicht van methodologieën voor efficiëntiemetingen 29 Figuur 2: Productie- of transformatiefunctie 35 Figuur 3: Set van inputbenodigdheden 36 Figuur 4: Set van produceerbare output 36 Figuur 5: Parametrische methode, DFA versus SFA 40 Figuur 6: Efficiëntiegrens, DEA versus FDH 47 Figuur 7: Inputefficiëntie, DEA versus FDH 48 Figuur 8: Outputefficiëntie, DEA versus FDH 49
v
vi
Measure what can be measured
and make measurable what cannot be measured.
Galileo Galilei (1564-1642)
7
Samenvatting
In dit eerste onderzoeksrapport binnen het project „Lokale Efficiëntie‟
richten we ons specifiek op het meten en analyseren van de efficiëntie van
overheidsentiteiten (bijvoorbeeld lokale overheden in Vlaanderen). We
geven een overzicht van de mogelijke methodologieën voor het meten van
organisationele efficiëntie en we formuleren aandachtspunten en
aanbevelingen met betrekking tot de data die door overheidsentiteiten
dient aangeleverd te worden om zulke efficiëntiemetingen mogelijk te
maken.
Efficiëntiemeting als onderdeel van prestatiebeoordelingen
De analyse en evaluatie van efficiëntie dient deel uit te maken van
een breder geheel van prestatiebeoordeling.
Prestatiemeting mag geen doel op zichzelf zijn, maar moet een
instrument zijn om het doel (verbeteren van de performantie van
de dienstverlening en de interne werking, het afleggen van
verantwoording aan politici, burgers en cliënten) te bereiken.
Er bestaan verschillende soorten prestatiemetingen:
- enkelvoudige maatstaven van werklast, inputs, outputs of
effecten.
- ratio-indicatoren van efficiëntie en effectiviteit.
Het zijn de ratiomaatstaven zoals efficiëntie en effectiviteit die het
grootste inzicht verschaffen in de performantie van het
overheidsoptreden.
Prestaties dienen gemeten te worden tegenover de eigen prestaties
in het verleden (vergelijken in de tijd) of tegenover relevante
standaarden of prestaties van gelijkaardige entiteiten (vergelijken
in de ruimte).
8
Hoewel het veelal de effecten zijn die de redenen vormen waarom
overheden produceren, is het meten van effectiviteit vaak
problematisch, omwille van externe factoren die niet onder de
controle van de overheid vallen.
De strategie is dus veelal om in te zetten op minder problematische
efficiëntiemetingen.
Efficiëntie en publieke sector karakteristieken
De openbare sector kent geen marktmechanismen die organisaties in de
richting van efficiëntieverbetering stuwen.
In de marktsector: concurrentie tussen verschillende aanbieders in
combinatie met keuzemogelijkheden voor de consument dwingen de
producenten tot kostenminimalisering, efficiëntie en afstemming op
de wensen van de klant.
In de publieke sector: aanbieders van diensten zijn vaak
monopolisten of actief in sterk gereguleerde markten, waardoor
consumenten geen of nauwelijks keuzemogelijkheden hebben. De
behoefte aan objectieve metingen, beoordelingen en vergelijkingen
van de feitelijke efficiëntie neemt hierdoor toe.
Efficiëntiemeetmethodologieën
Om de efficiëntie van een entiteit (of groep van eenheden die dezelfde
diensten leveren) te meten, kunnen twee categorieën van methoden
onderscheiden worden:
(Set van) gedeeltelijke indicatoren
- één-input/één-output
- relatief vlot te meten
- makkelijk te interpreteren
- makkelijk te vergelijken
9
Meer globale efficiëntiemetingen
- meerdere-inputs/meerdere-outputs
- vereist statistische en/of econometrische instrumenten
- veelal in academische wereld, minder in beleidspraktijk
Binnen de categorie van globale efficiëntiemetingen kan opnieuw een
onderscheid gemaakt worden tussen:
Prijsgebaseerde indexnummermethoden: maken gebruik van een
input- en outputindex, en vereisen bijgevolg het specificeren van
gewichten om tot deze geaggregeerde indices te komen. Deze
gewichten zijn veelal gebaseerd op marktprijzen, waardoor deze
methode minder geschikt is binnen de publieke sector (waar
informatie over marktprijzen vaak niet aanwezig is).
Grensmethoden: houden de schatting in van een grensfunctie
(productie-, transformatie- of kostencurve die de optimale relatie
tussen inputs en outputs weergeeft) om vervolgens de reële
prestaties van organisaties uit te zetten tegenover deze
geïdealiseerde maatstaf.
We onderscheiden vier technieken binnen twee hoofdcategorieën van
grensmethoden:
Parametrische grensmethoden: met behulp van econometrische
technieken wordt de efficiëntiegrens vooraf (a priori) geschat. De
afwijking van observaties ten opzichte van deze geschatte grens
vormt de basis voor het berekenen van absolute efficiëntiescores
voor de bestudeerde entiteiten.
- Deterministic Frontier Approach (DFA): deterministische
grensmethode waarbij de volledige afwijking van de grens
toegeschreven wordt aan inefficiëntie.
- Stochastic Frontier Analysis (SFA): stochastische grensmethode
waarbij de afwijking van de grens deels toegeschreven kan
worden aan inefficiëntie en deels aan externe factoren of
meetfouten.
10
Niet-parametrische grensmethoden: maken gebruik van
mathematische programmeringstechnieken om op basis van een set
van observaties een omhullende grens te construeren waartegenover
de efficiëntie van elke observatie wordt afgemeten (i.e. relatieve
efficiëntiescores van organisaties).
- Free Disposal Hull (FDH): Voor elke organisatie wordt de
efficiëntiescore bepaald d.m.v. een vergelijking met de beste
praktijk bij de andere bestaande organisaties in de set. FDH
stelt de minste assumpties voorop, wat resulteert in de meest
nauwe omhulling van de set van observaties. Een grafische
voorstelling van FDH in de input-output-ruimte levert een
trapvormige grens op.
- Data Envelopment Analysis (DEA): DEA veronderstelt een
convexe productieset, waarbij bestaande observaties ook
vergeleken worden met virtuele observaties (convex
samengestelde combinaties van bestaande observaties).
Grafisch vormt de DEA-grens dus een convexe omhulling van de
trapvormige FDH-grens.
Onderstaande figuur biedt nogmaals een overzicht van de verschillende
metrische methodologieën en concrete technieken die in de literatuur
omtrent efficiëntiemetingen terug te vinden zijn.
In de beleidspraktijk
Grensmethoden zijn doorgaans de meest toereikende efficiëntie-
meetmethode, maar de complexiteit van dit type onderzoek brengt
problemen met zich mee in de beleidspraktijk:
- noodzaak aan specialistische kennis (voor zulke statistische en
econometrische analyses).
- onzekerheidsmarges in kwantitatieve uitkomsten kunnen groot
zijn (bij gebrekkige data).
Efficiëntiemeting in de beleidspraktijk vindt daarom veelal plaats
aan de hand van enkelvoudige of samengestelde prestatie-
indicatoren.
11
Gedeeltelijke indicatoren
Partial indicators
METHODOLOGIEËN
voor
EFFICIËNTIEMETINGEN
Globale efficiëntiemetingen
Total Factor Productivity (TFP)
Indexmethoden Grensmethoden
Parametrische
technieken
Niet-parametrische
technieken
Stochastisc
Frontier Analysis
Deterministic
Frontier Analysis
Laspeyres
Index
Paasche
Index
Fischer
Index
Törnqvist
Index
Data Envelop-
ment Analysis
Free Disposal
Hull
12
Datavereisten voor efficiëntiemetingen
Kwaliteit (validiteit, betrouwbaarheid, nauwkeurigheid, enz.) van
de gebruikte input- of outputdata is essentieel.
- Dit geldt nog sterker wanneer niet-parametrische en
deterministische methoden gebruikt worden. Onvolkomen-
heden in de gegevens en de modellering komen dan immers
direct tot uiting in de gemeten efficiëntie van organisaties.
- Het is dan ook aan te bevelen om de procedures van
dataverzameling periodiek te auditeren.
De efficiëntie moet bovendien op het juiste organisatieniveau
worden berekend: daar waar met de middelen de prestaties
geleverd worden.
Gegevens dienen daarbij niet enkel kwantitatief van aard te zijn,
ook kwalitatieve informatie over de inputs en outputs is van
cruciaal belang.
Ook omgevings- of exogene factoren (bv. institutionele, socio-
economische, demografische of geografische aspecten) zijn van
groot belang, deze kunnen nuttige informatie bevatten om mee het
verschil in efficiëntie tussen entiteiten te verklaren.
Omwille van de vergelijkbaarheid van efficiëntiescores is het
belangrijk dat de te verzamelen informatie over inputs en outputs
eenduidig en concreet gedefinieerd worden, om te voorkomen dat
deze op verschillende wijze geïnterpreteerd zouden worden.
13
Inleiding
Een meer efficiënte publieke sector is een belangrijke en centrale
doelstelling in de context van het New Public Management (NPM), en komt
binnen het huidige financieel-economische klimaat nog nadrukkelijker op de
agenda te staan, zo ook in Vlaanderen. Terwijl de vraag naar kwalitatieve
publieke diensten blijft toenemen, wordt de budgettaire ademruimte van
de verschillende overheden in ons land alsmaar kleiner. Meer nog, het is
duidelijk dat hun financiële positie in de komende jaren krap zal blijven en
dat tegelijkertijd de socio-economische, demografische en ecologische
uitdagingen niet zullen afnemen, wel integendeel. Met een vraag naar
publieke dienstverlening die sneller groeit dan de beschikbare middelen
wordt efficiëntie in de komende jaren dus een cruciale kwestie1 voor onze
politici en overheidsmanagers.
Ook de lokale besturen in Vlaanderen ontsnappen niet aan de gevolgen van
de economische crisis en de teruglopende ontvangsten. In haar beleidsnota
Binnenlands Bestuur 2009-2014 (Bourgeois, 2009) geeft de Vlaamse Regering
aan dat er de komende jaren geen beleidsruimte is voor belangrijke
financiële stimuli, met als gevolg dat de lokale overheden zelf in volle
verantwoordelijkheid zullen moeten werken aan hun efficiëntie om met
minder middelen een beter bestuur en een betere dienstverlening tot stand
te brengen.
Lokale overheden worden bovendien nog steeds en te vaak geassocieerd met
inefficiëntie en verspilling. Burgers menen soms dat dingen onnodig, dubbel,
te traag of in strijd met elkaar gebeuren. Het is dus van groot belang dat
autoriteiten een duidelijke en transparante verantwoording afleggen over
wat zij doen met de beschikbare financiële (belastings)middelen. Goede
prestatiemetingen en het gebruik van „benchmarking‟ kunnen alvast nuttige
en waardevolle instrumenten vormen om de performantie van besturen te
analyseren en te evalueren.
1 We merken hierbij wel op dat de nood voor een efficiënte publieke sector de effectiviteit en
kwaliteit van haar dienstverlening niet in de weg mag staan (Stroobants & Bouckaert, 2011). Zuinigheid en efficiëntie combineren met effectiviteit en kwaliteit moet de hoofddoelstelling van een ambitieuze en moderne overheid zijn.
14
Om de efficiëntie-agenda voor lokale besturen kracht bij te zetten, is vanuit
de Vlaamse overheid het project „lokale efficiëntie‟ geïnitieerd dat
uitgevoerd wordt onder de koepel van het Steunpunt Bestuurlijke
Organisatie Vlaanderen (SBOV). Dit project wil op een verkennende en
prospectieve wijze in kaart brengen hoe de efficiëntie van lokale Vlaamse
overheden (m.n. gemeenten) systematisch gemeten en beoordeeld kan
worden. Deze uitkomsten zijn niet enkel nuttig voor de gemeenten zelf,
onder meer om hun performantie te kunnen vergelijken in de tijd en met
gelijkaardige lokale besturen. Eveneens zijn ze zinvol voor de Vlaamse
overheid om zowel algemeen als per beleidsdomein de beleidsprocessen
beter af te stemmen op de lokale besturen, het beleid beter te sturen,
subsidiëringsbeslissingen te nemen, toezicht te houden, enz.
In het voorliggende rapport presenteren we een eerste onderzoeksmodule
van het project „lokale efficiëntie‟, waarbij we ons specifiek richten op de
wijze waarop de efficiëntie van publieke organisaties (zoals lokale besturen)
gemeten en geanalyseerd kan worden. We bestuderen hierbij exploratief de
verschillende meetbenaderingen en -technieken voor het beoordelen van de
efficiëntie van organisaties. Eveneens formuleren we aandachtspunten en
aanbevelingen met betrekking tot de data die door overheidsentiteiten
dienen aangeleverd te worden om zulke efficiëntiemetingen mogelijk te
maken. Deze studie voert dus zelf geen efficiëntiemeting uit, maar wil een
opstap bieden om deze oefeningen in de toekomst mogelijk te maken.
We vangen dit rapport aan met een beknopte inleiding tot prestatiemeting.
De analyse en evaluatie van de efficiëntie van lokale besturen dient immers
deel uit te maken van een breder geheel van prestatiebeoordeling. We
geven hierbij eerst en vooral aan dat prestatiemeting geen doel op zichzelf
is, maar een instrument om het doel -zoals het verbeteren van de
performantie van de dienstverlening en het afleggen van verantwoording
aan politici, burgers en cliënten- te bereiken. Vervolgens bieden we een
overzicht van de verschillende soorten prestatiemetingen die uitgevoerd
kunnen worden, gaande van enkelvoudige maatstaven omtrent werklast,
inputs, outputs of effecten tot ratio-indicatoren van efficiëntie en
effectiviteit. Het zijn deze laatste types van prestatiemetingen die het
grootste inzicht verschaffen in de performantie van het overheidsoptreden.
In het tweede hoofdstuk bespreken we kort het belang van beide metingen,
waarbij we de moeilijkheden voor een effectiviteitsmeting benadrukken.
15
Na een korte discussie over de specifieke karakteristieken van de publieke
sector (in vergelijking met de privésector) en de hieruit voortkomende
beperkingen voor prestatiemetingen, gaat het vierde hoofdstuk uitgebreid in
op de verschillende methodologieën en technieken die in de literatuur en in
de praktijk omtrent efficiëntiemetingen terug te vinden zijn. Hoewel
overheden voor het beoordelen van efficiëntie typisch gebruik maken van
enkelvoudige ratio-indicatoren om efficiëntiemaatstaven te ontwikkelen,
zijn methoden die meerdere inputs en outputs incorporeren meer
aangewezen om te efficiëntie van publieke sector organisaties te
analyseren. We maken in ons overzicht daarom een onderscheid tussen
gedeeltelijke en globale efficiëntiemetingen. Een groot deel van onze
aandacht zal hierbij gaan naar grensmethoden voor het meten van de
globale efficiëntie van overheidsentiteiten, aangezien dit type van
methodologieën algemeen beschouwd wordt als de meest toereikende
methode om de efficiëntie te analyseren. Zowel parametrische als niet-
parametrische grenstechnieken zullen worden toegelicht en grafisch
geïllustreerd. Vervolgens biedt een kort vijfde hoofdstuk een inzicht in het
empirisch gebruik van de verschillende meetmethodologieën voor het
analyseren van de efficiëntie in lokale besturen, zowel in de literatuur als in
de beleidspraktijk.
Het laatste hoofdstuk van dit onderzoeksrapport gaat dieper in op de
datavereisten voor efficiëntiemetingen. De kwaliteit van de hiervoor
gebruikte gegevens is van essentieel belang, aangezien onvolkomenheden in
de gegevens en de modellering direct tot uiting komt in de gemeten
efficiëntie van organisaties. We bespreken de verschillende types van input-
en outputgegevens die idealiter verzameld dienen te worden bij
doelmatigheidsanalyses, en we formuleren enkele aandachtspunten omtrent
deze datacollectie. Zo benadrukken we het belang van kwalitatieve
informatie die, naast de veelal kwantitatieve gegevens, beschikbaar zou
moeten komen. Ook de relevantie van informatie over omgevingsfactoren
komt aan bod. Tot slot geven we een overzicht van mogelijke
gegevensbronnen, en bevelen we aan om de procedures van
dataverzameling te voorzien van een audittraject.
17
1. Een inleiding tot prestatiemeting
De aandacht voor een performante overheid, en de interesse in methoden
en technieken om deze performantie te meten en te verbeteren, zijn niet
nieuw. Meer bepaald is er in de afgelopen decennia een toenemende
belangstelling waar te nemen voor prestatiemeting in de publieke sector (de
Lancer Julnes & Holzer, 2008). Zo ook voor wat betreft de lokale
overheden. Gemeenten streven naar betere dienstverlening voor hun
burgers en bedrijven, en meer en meer van deze lokale besturen
beschouwen prestatiebeoordeling als een essentieel instrument voor deze
inspanning (Ammons, 1995).
> 1.1. Doel van prestatiemeting
Prestatiemetingen zijn dus cruciale, maar slechts louter instrumenten voor
overheden en zijn bijgevolg beperkt in wat ze kunnen doen. Ze informeren,
ze schrijven geen oplossingen voor. Dit laatste blijft de taak voor managers
en analisten. Toch kunnen prestatiemetingen -wanneer ze op gepaste wijze
ontwikkeld, opgevolgd en gerapporteerd worden- de efficiëntie en de
effectiviteit van overheidsactiviteiten beïnvloeden, bijdragen tot een
verbeterd management, en de publieke perceptie op de overheid doen
wijzigen (Ammons, 1997). Prestatiemeting is met andere woorden geen doel
op zichzelf, maar een middel om het doel (o.m. verantwoording naar
burgers/cliënten, en een meer efficiënte en effectieve overheidswerking) te
bereiken (de Lancer Julnes & Holzer, 2008). Moore et al. (2005) geven
daarbij aan dat prestatiemeting in de overheid grotendeels gericht is naar
drie voorname actoren:
(1) verkozen politici, die een raamwerk ter beschikking willen hebben
om de publieke sector activiteiten te evalueren;
(2) overheidsmanagers, die hun performantie willen verbeteren en die
prestatiemetingen kunnen gebruiken om de nodige management-
beslissingen te nemen; en
(3) burgers, die willen weten of de publieke dienstverlening werkelijk
opbrengt.
Om van betekenis te zijn voor beslissingsnemers of interessant te zijn voor
het publiek, moeten prestatiemetingen uiteraard in een relevante context
18
geplaatst worden. Prestaties dienen met andere woorden gemeten
(„gebenchmarkt‟) te worden ten opzichte van een betekenisvol uitgangspunt
(Ammons, 1997). Algemeen kunnen we twee wijzen van „benchmarking‟
onderscheiden. Enerzijds kan een overheidsentiteit haar prestaties meten
relatief tegenover de eigen prestaties in het verleden (dus vergelijken in de
tijd), anderzijds tegenover relevante standaarden of prestaties van andere,
gelijkaardige organisaties (dus vergelijken in de ruimte) (Berg, 2010). Beide
zijn nuttig en noodzakelijk. Prestaties van verschillende entiteiten in
vergelijkbare situaties tegenover elkaar uitzetten, laat immers toe te
beoordelen hoe goed (of minder goed) organisaties het doen ten opzichte
van de best presterende organisaties (Afonso & Fernandes, 2006). Zo
ontstaan relatieve rangschikkingen die waardevolle informatie bevatten
voor de beleidsmakers, de organisaties en de cliënten. Echter, aangezien de
zwakste presteerder in een bepaalde groep van vergelijkbare organisaties
misschien betere prestaties levert dan de beste entiteit in een andere
groep, zijn ook absolute vergelijkingen noodzakelijk. Organisaties willen
bijvoorbeeld weten of ze daadwerkelijk beneden hun mogelijkheden
presteren. Prestaties meten tegenover een relevante standaard kan hiervoor
een aangewezen instrument zijn. Ten slotte dienen prestaties ook gemeten
te worden overheen de tijd, zodat de organisaties kunnen beoordelen of hun
performantie in stijgende lijn gaat (Berg, 2010).
Bij prestatiebeoordelingen dient de gebruikelijke financiële rapportering
gekoppeld te worden met betekenisvolle informatie over de geleverde
diensten, waaronder -bijvoorbeeld- informatie over kwantiteit en kwaliteit
van de diensten, de efficiëntie van de dienstverlening en de bereikte
resultaten. Een systematische prestatiebeoordeling vereist daarom
nauwkeurige metingen van verschillende componenten van wat algemeen
onder prestaties (performantie) begrepen wordt. Verschillende soorten
prestatiemetingen zijn hierbij te onderscheiden.
> 1.2. Soorten prestatiemetingen
Zoals vermeld hangt een goede prestatiebeoordeling sterk af van accurate
prestatiemetingen. Het ontwikkelen van een geschikte set van
prestatiemaatstaven is echter geen eenvoudige opdracht (Ammons, 1995).
Prestatiemetingen kunnen immers allerhande vormen en gedaanten
aannemen, die elk een ander aspect van het productie- of transformatie-
proces van een organisatie of een dienst meten. Doorheen de jaren zijn er
19
vele categorieën van prestatiemetingen geformuleerd, en pogingen om
verschillende types van prestatiemetingen te identificeren eindigen soms in
lange lijsten met daarin ook maatstaven die slechts indirect (of zelfs
helemaal niet) de prestaties beoordelen (Ammons, 2001).
> 1.2.1. Enkelvoudige maatstaven
Ten eerste bestaat een set van prestatiemetingen uit enkelvoudige
indicatoren die een soort basis vormen voor de meer geschikte prestatie-
indicatoren (Holzer et al., 2006):
Werklast: indicatoren voor de hoeveelheid werk die verricht moet
worden, zoals het aantal meter voet- en fietspaden dat
schoongemaakt moet worden, of het aantal paspoorten dat
uitgereikt moet worden.
Inputs: indicatoren van de ingezette middelen, zoals gebudget-
teerde euro‟s2, VTE‟s, arbeidstijd, en soms zelfs eenheden energie.
Outputs: indicatoren voor het gerealiseerde werk, zoals het aantal
meters geveegde paden of het aantal uitgereikte paspoorten.
Exogene of verklarende variabelen: factoren die het werkproces
beïnvloeden maar er geen deel van uitmaken, zoals de scholings-
graad van de bevolking of het aantal dagen sneeuw.
Effecten: het resultaat van de publieke dienstverlening, zoals
netheid van de straten of wachtlijsten voor sociale huisvesting.
Een eenvoudig model van dienstverlening beschouwt de werklast als de
hoeveelheid werk die moet gedaan worden, dewelke een variabele is die
bepaald wordt door externe condities of door de te bedienen bevolking. De
ingezette middelen worden bepaald door uitvoerende politici of door
hooggeplaatste managers. Outputs worden beïnvloed door deze
inputbeslissingen, door de effectiviteit van het operationele management
en door de productiviteit van de werknemers. Effecten zijn het uiteindelijke
resultaat van alle andere types van indicatoren, inclusief factoren over
dewelke de overheid geen rechtstreekse controle heeft, zoals werklast en
exogene variabelen.
2 Euro‟s als input worden beïnvloed door inflatie, en dienen door middel van een prijsindex
aangepast te worden tot “constante euro‟s” om een betere meting van efficiëntie of productiviteit (cfr. infra) te geven
20
> 1.2.2. Combinatie-indicatoren
Ten tweede worden ook indicatoren voor efficiëntie, effectiviteit en
productiviteit toegevoegd aan de set van prestatiemetingen, voortkomend
uit berekeningen op basis van de hierboven vermelde (enkelvoudige)
indicatoren. Deze combinatie-indicatoren vormen volgens Ammons (2001) de
kern van goede prestatiemetingen. Echte prestatiemetingen in lokale
besturen (en algemeen in de publieke sector) kunnen volgens de auteur
algemeen gecategoriseerd worden als een van de volgende vier types:
(1) Outputmetingen;
(2) Efficiëntiemetingen;
(3) Effectiviteitsmetingen;
(4) Productiviteitsmetingen.
Outputmetingen (wat dus nog een enkelvoudige indicator is) duiden, zoals
hierboven reeds vermeld, de hoeveelheid van het gepresteerde werk aan, of
de hoeveelheid van ontvangen diensten. Dit type van prestatiemeting wordt
doorgaans het meest uitgevoerd binnen overheidsorganisaties (Hatry, 1980).
Hoewel deze prestatie-informatie zeker waarde heeft, houden de
outputindicatoren op zichzelf eigenlijk geen prestatiemeting in. Ze zeggen
immers weinig of niets over de kwaliteit of de effectiviteit van prestaties,
net zo min als over de efficiëntie waarmee activiteiten uitgevoerd worden
(hiervoor dienen ze gerelateerd te worden aan de hoeveelheid van ingezette
middelen om deze output te bereiken) (Ammons, 2001). Uiteraard kan
informatie over de hoeveelheid werk dat verricht is wel gebruikt worden
voor interne managementdoeleinden, maar het gebruik van deze maatstaf
moet vermeden worden wanneer het slechts de verhoging van de werklast
wil aanmoedigen, ongeacht of dit nodig of betaalbaar is (Hatry, 1980), en
ongeacht de kwaliteit van de outputs. Wanneer mogelijk dienen bij
outputmetingen ook gebrekkige prestaties geïdentificeerd te worden en
mogen deze niet als output geteld worden. Zo zou bijvoorbeeld het foutief
of gebrekkig herstellen van een weg, waardoor de herstelling opnieuw dient
uitgevoerd te worden, resulteren in twee eenheden outputs, daar waar
slechts één ervan goed is uitgevoerd. Het is dus verkeerd om werknemers
aan te zetten tot sneller werken wanneer dit leidt tot werk dat slecht
uitgevoerd wordt. Omdat het vaak moeilijk is om gebrekkige outputs op te
sporen, worden effectiviteitsmetingen een belangrijke “kwaliteitscontrole”,
complementair aan de hierna volgende efficiëntiemetingen.
21
Efficiëntiemetingen worden algemeen gedefinieerd als input/output-
ratio‟s, en dus als de relatie tussen de hoeveelheid middelen of inputs die
aangewend worden voor het voortbrengen, produceren of het leveren van
diensten en de hoeveelheid gerealiseerde output. Typische efficiëntie-
metingen zijn eenheidskosten, maar kunnen ook andere vormen aannemen.
Eenheidskosten worden berekend door de totale kosten van een dienst of
een activiteit te delen door het aantal „geproduceerde‟ eenheden.
Bijvoorbeeld, wanneer 2.000 meter riolering door een gemeente wordt
aangelegd, met een totale kostprijs van deze werken van 100.000 euro, dan
is de eenheidskost van de gemeentelijke rioleringswerken 50 euro per meter
aangelegde riolering. Het omgekeerde van deze ratio, namelijk het aantal
eenheden delen door de aangewende middelen, geeft het aantal
geproduceerde eenheden per euro of per 1.000 euro weer en is eveneens
een efficiëntiemaatstaf (bv. 20 meter aangelegde riolering per 1.000 euro).
Andere vormen van efficiëntiemetingen beschrijven alternatieve types van
ingezette middelen (bv. voortgebrachte eenheden per arbeidsuur)3 of de
productie relatief ten opzichte van een efficiëntiestandaard (Ammons,
2001).
Effectiviteitsmetingen geven de mate weer waarin de vooropgestelde
doelstellingen bereikt worden (bijvoorbeeld of het vooraf beoogde aantal
weg te werken verkeersknelpunten ook werkelijk opgelost worden) of
weerspiegelen de impact, de klantentevredenheid en de kwaliteit van de
dienstverlening (bijvoorbeeld kwaliteitskarakteristieken zoals tijdigheid,
toegankelijkheid, beleefdheid en billijkheid met dewelke de diensten
verleend worden) (Hatry, 1980). Antwoordtijden en andere maatstaven met
betrekking tot de kwaliteit van diensten zijn slechts indirect gerelateerd
aan effectiviteit, maar worden toch typisch als een effectiviteitsmaatstaf
opgenomen (Ammons, 2001). Effectiviteitsmetingen zijn vaak de meest
moeilijke metingen om data voor te verzamelen, onder meer omdat de
effecten van prestaties ook beïnvloed worden door externe en/of
oncontroleerbare factoren (cfr. infra).
3Arbeidsuur is een veel gebruikte term om het equivalent aan te duiden van een uur werk
uitgevoerd door één werknemer of een combinatie van werknemers (bv. twee werknemers die elk een half uur besteden aan een bepaald project is eveneens één arbeidsuur). Manuren, wat vaak gebruikt wordt binnen lokale overheden, en stafuren zijn andere gelijkaardige termen.
22
Productiviteitsmetingen kennen een sterke link met efficiëntiemetingen,
maar worden in de literatuur niet op eenduidige wijze ingevuld. Enerzijds
beschouwt Hatry (1980) productiviteit als de ratio van output over input,
wat dus de omgekeerde ratio is dan “efficiëntie” of “eenheidskosten” die
de relatie van input over output meet. Bijvoorbeeld wanneer vijf manuren
resulteren in tien eenheden output, dan is de eenheidskost een half
arbeidsuur per eenheid output, en de productiviteit twee eenheden output
per uur. Anderzijds worden productiviteitsmetingen in de recente literatuur
beschreven als een combinatie van de dimensies van efficiëntie en
effectiviteit (Rosen, 1993; Ammons, 2001; de Lancer Julnes & Holzer, 2008).
Efficiëntie is in deze benadering de relatie tussen input- en
outputhoeveelheden, daar waar productiviteit ook de outputkwaliteit mee
in rekening brengt (Rosen, 1993). Om dit met een voorbeeld te illustreren,
kunnen we stellen dat “het aantal meter wegherstellingen per uur” de
efficiëntie weerspiegelt, “het percentage van degelijk herstelde meters
weg” de effectiviteit aangeeft, en “de eenheidskosten (of arbeidsuren) per
effectief herstelde meter weg” de productiviteit beschrijft. Zowel de kosten
(of arbeidsuren) van foutief herstelde meters, als de kosten van effectieve
herstellingen worden dus in de teller van de productiviteitsberekening
opgenomen, maar enkel goede herstellingen worden geteld in de noemer.
Op die manier wordt zowel efficiëntie als effectiviteit aangemoedigd bij het
herstellingspersoneel (Ammons, 2001).
> 1.3. Conclusie
We kunnen deze beknopte inleiding tot prestatiemeting besluiten met te
herhalen prestatiemetingen essentiële instrumenten zijn om de
performantie van overheden, en dus ook van lokale besturen, te beoordelen
en te vergelijken in de tijd en met andere, gelijkaardige organisaties.
Prestatiemetingen zijn in heel wat vormen terug te vinden, waarbij de
betekenisvolle waarde van loutere input-, werklast- of outputmetingen
beperkt is. Een veel groter inzicht in de performantie van het
overheidsoptreden wordt gewonnen uit de twee voornaamste categorieën
van prestatiemetingen: efficiëntie en effectiviteit.
23
2. Efficiëntie- versus effectiviteitsmeting
Efficiëntie en effectiviteit vormen zoals gezegd de twee belangrijkste types
van prestatiemeting. Efficiëntie is daarbij een eerder intern georiënteerde
vorm van prestatiemeting van de eigen activiteiten van een overheid (de
relatie tussen de ingezette middelen en de geleverde output), terwijl
effectiviteit een eerder extern perspectief is naar de impact van de
dienstverlening op de maatschappij (de relatie tussen de output en de
effecten) (Worthington & Dollery, 2000). Simpson (2009) wijst hierbij op een
mogelijke tegenstelling, in de zin dat -hoewel een efficiëntiemeting van de
dienstverlening zeker en vast interessant en nuttig is- de maatschappij zou
kunnen verkiezen dat de overheid meer diensten verleent of verbeteringen
in de kwaliteit van de diensten voorziet, zelfs wanneer dit leidt tot een
daling in de efficiëntie. Gelijkaardig kan een verhoging van de efficiëntie of
de productiviteit niet welkom zijn wanneer dit ten koste gaat van een
daling van de output van publieke dienstverlening. Ook Bouckaert et al.
(2003) geven aan dat efficiëntie op zich -hoewel zeker belangrijk- veelal
niet de drijfveer is voor openbare organisaties en niet de hoofdbekommernis
is van de burgers of klanten van de publieke dienstverlening. Bij hen bestaat
eerder een roep naar effectiviteit en kwaliteit.
Het zijn dus de effecten (bv. criminaliteitscijfers, netheid van de straten,
de economische toestand van de maatschappij) die de redenen vormen
waarom overheden produceren. Echter, het meten van effectiviteit is vaak
problematisch. Zo stelt Behn (2007: 17):
“De standaardslogan voor prestatiemeting luidt: Meet geen inputs.
Meet geen processen. Meet geen activiteiten. Meet geen outputs.
Meet enkel effecten. Spijtig genoeg is dit vaak moeilijk voor een
overheid. Soms zelfs onmogelijk.“
De moeilijkheid (of onmogelijkheid) om effecten te meten komt grotendeels
voort uit het feit dat de uiteindelijke impact van het overheidsoptreden niet
volledig onder de controle valt van de overheid. Effectiviteitsmetingen
vereisen met andere woorden dat er kan worden bepaald in welke mate de
effecten voortgebracht zijn door het overheidsoptreden en niet door
andere, externe factoren. Hiervoor dienen causale relaties geanalyseerd te
worden en moeten alle externe factoren die op enige manier deze relatie
24
zouden kunnen beïnvloeden, geïdentificeerd en gecontroleerd worden
(Jorge et al., 2006). Om die reden wordt in studies vaak het onderscheid
gemaakt tussen controleerbare en oncontroleerbare factoren om de
resultaten of effecten te verklaren. Controleerbare factoren zijn onder
meer managementsystemen en capaciteiten, terwijl factoren die buiten de
controle van een autoriteit vallen socio-economische, demografische en
omgevingsfactoren omvatten (Holzer et al., 2006). Pollitt (2000) besluit dan
ook dat effectiviteitsmetingen analyses met zich meebrengen over externe
effecten, buiten de organisatie, die zowel duur als methodologisch complex
kunnen zijn.
Bijgevolg is de strategie veelal om te vertrouwen op outputgegevens eerder
dan op data omtrent effecten (Behn, 2007), en dus in te zetten op
efficiëntiemetingen eerder dan op effectiviteit. Zulke efficiëntiemetingen
vereisen een vergelijking tussen organisationele inputs en outputs dewelke
beide veelal beschreven zijn (of beschreven kunnen worden) zonder veel
extern onderzoek of conceptuele barrières. Algemeen kunnen we dus stellen
dat het evalueren van de outputs en resultaten in de publieke sector,
hoewel niet zonder moeilijkheden, minder problematisch is dan het
beoordelen van de impact (effectiviteit) of kwaliteit (Pollitt, 2000).
Bovendien zijn cliënten van publieke dienstverlening, hoewel ze in de
eerste plaats belang hechten aan de kwaliteit en effecten van het
overheidsoptreden, eveneens bezorgd over de kosten en het goed spenderen
van de publieke middelen (belastingen) (Ammons, 1997). Tot slot is het
gebruik van data omtrent inputs en outputs van belang vanuit een intern
managementperspectief. Op die manier kunnen overheidsmanagers de
efficiëntie van hun optreden evalueren en verbeteren (i.e. door herallocatie
van middelen, door het aanpassen van processen of door het herzien van
budgetten trachten de verhouding tussen inputs en outputs te verlagen).
25
3. Publieke sector karakteristieken en
efficiëntie
Het is gebruikelijk om elke bespreking van publieke dienstverlening aan te
vatten met het benadrukken van de unieke karakteristieken ervan, meer
bepaald van de afwezigheid (of bijna afwezigheid) van een markt in haar
conventionele betekenis. Wanneer de efficiëntie van publieke entiteiten
berekend of gemeten wordt, dient er aandacht geschonken te worden aan
de specifieke karakteristieken van de publieke sector diensten (in
vergelijking met de private sector), en aan de hieruit voortkomende
beperkingen voor prestatiemetingen (en efficiëntiemetingen in het
bijzonder).
Een eerste beperking komt voort uit de werking van de publieke sector die
gekarakteriseerd wordt door meerdere criteria. Naast efficiëntie trachten
de publieke sector activiteiten ook andere doelstellingen te verwezenlijken,
en vaak bestaat er een trade-off tussen deze objectieven. Een voorbeeld
hiervan is hierboven reeds aangegeven, met de vaak aanwezige afweging
tussen efficiëntie en effectiviteit. Diverse en conflicterende doelstellingen
zijn aspecten die in rekening moeten gebracht worden bij elke beoordeling
van een overheidsbeleid, om op die manier overhaaste conclusies te
vermijden wanneer slecht één objectief -bijvoorbeeld efficiëntie-
onderzocht wordt. Naast het bestaan van meerdere doelstellingen verschilt
de publieke sector ook van de private sector omwille van de diversiteit van
„principalen‟ (politieke bestuurders, de overheidsmanagers, de cliënten en
het algemene publiek) die door de „agenten‟ (de ambtenaren) bediend
moeten worden (Pedraja-Chaparro et al., 2005).
Een tweede, belangrijke restrictie is dat publieke outputs vaak complex
en/of meervoudig zijn, waardoor ze niet altijd makkelijk te identificeren
zijn (Worthington & Dollery, 2000). Deze outputs worden bovendien niet
verhandeld in een markt, zodat het moeilijk is om deze outputs te meten. In
de private sector, waar goed functionerende en competitieve markten
aanwezig zijn, kunnen outputs gemeten en gewaardeerd worden door de
informatie over relatieve prijzen van goederen en diensten als gewichten te
gebruiken. In de publieke sector is deze prijsinformatie afwezig, waardoor
alternatieve methoden aangewend dienen te worden om outputs te meten,
26
bijvoorbeeld door de onderliggende activiteiten te beschouwen, relatieve
kosten als proxies voor de outputs te nemen (waardoor men echter reeds
dichter bij inputmeting dan bij outputmeting komt), of informatie van
relatieve waarderingen uit surveys te gebruiken (Simpson, 2009).
Ten slotte zijn er in de publieke sector ook geen toe- of uittredingsopties
zoals wel het geval is in competitieve markten. Dit heeft tot gevolg dat er
op zichzelf geen enkel evaluatiemechanisme of -procedure is die
inefficiënte producenten van publieke diensten afstraft of stopt, daar waar
de dreiging van faillissement in de private sector wel voor een tastbare
sanctie zorgt (Smith, 1996). Een efficiënte werking kan dus niet
gegarandeerd worden in de publieke sector, en zal bijgevolg afgedwongen
dienen te worden door interne (positieve of negatieve) drijfveren of
maatregelen (Pedraja-Chaparro et al., 2005).
In de afwezigheid van competitieve marktmechanismen binnen de openbare
sector, die de efficiëntiedruk hoog houden en organisaties aanzetten tot het
opsporen en aanpakken van inefficiënties, worden efficiëntie-indicatoren,
en zeker vergelijkende efficiëntiemetingen, als een belangrijk instrument
beschouwd bij het beoordelen van de publieke dienstverlening.
In wat volgt zullen we dieper ingaan op het meten van efficiëntie, waarbij
we eerst en vooral enkele types van efficiëntie onderscheiden, en
vervolgens uitgebreid ingaan op de verschillende methodologieën die
worden gehanteerd om de efficiëntie van en tussen organisaties in de
publieke sector te meten.
27
4. Methoden voor het meten van efficiëntie
Efficiëntie meten is geen eenvoudige taak. Pogingen hieromtrent bestaan
reeds minstens sinds de jaren 1920, met het werk van Ridley (1927) als een
vaak beschouwd startpunt. De laatste twee decennia is er echter een sterke
groei van de literatuur over dit onderwerp waar te nemen, wat een bewijs is
van de overweldigende interesse in het meten van prestaties en (zoals
blijkt) van het geloof dat prestatiemeting een verbetering in de
performantie van overheden met zich mee kan brengen (Holzer et al.,
2006).
De evaluatie van de efficiëntie van een organisatie komt voort uit de micro-
economische theorieën van productie, waarbij een productieproces
beschouwd wordt als de transformatie van inputs (arbeid, kapitaal, enz.) in
outputs en effecten. Efficiëntiemetingen beoordelen dus hoe activiteiten
van een organisatie middelen omzetten in directe outputs of in goederen en
diensten voor de cliënten of consumenten (Afonso & Fernandes, 2006).
> 4.1. Types van efficiëntie
Economisten hebben drie voorname metingen van efficiëntie4 ontwikkeld
(Worthington & Dollery, 2000). Ten eerste verwijst technische of
productieve efficiëntie naar het gebruik van productiemiddelen op de meest
technologisch efficiënte manier, wat dus betrekking heeft op de zuivere
ratio tussen inputs en outputs. Anders gezegd houdt technische efficiëntie
in dat een maximale output bereikt wordt met een gegeven set van inputs,
of omgekeerd dat een gegeven niveau van output gerealiseerd wordt met
een zo minimaal mogelijke set van inputs. Technische efficiëntie refereert
met andere woorden aan de afwezigheid van verspilling van de aangewende
middelen. In monetaire termen wordt technische efficiëntie ook vaak
kostenefficiëntie genoemd, wat dus betekent dat de organisatie een
bepaald niveau van output voortbrengt op de goedkoopst mogelijke wijze.
4 Er zijn in de wetenschappelijke literatuur tal van definities, soms afwijkend van elkaar, terug
te vinden omtrent de verschillende concepten van efficiëntie. We opteren in deze tekst voor de meest gangbare benaderingen van de onderscheiden termen, zonder in te gaan op de economische uitwerkingen van de aangegeven interpretaties.
28
Een tweede type van efficiëntie betreft allocatieve efficiëntie, wat verwijst
naar het inzetten van de optimale mix van middelen gegeven de waarde van
de middelen bij een gegeven opbrengst. Of omgekeerd: de optimale mix van
opbrengsten voortbrengen gegeven de waarde van de opbrengsten en bij
een bepaalde inzet van middelen (Coelli et al., 2005). Binnen een
overheidscontext gaat allocatieve efficiëntie ruwweg om de vraag of het
geld maatschappelijk goed besteed wordt, dus of het daar terecht komt
waar het de grootste bijdrage levert aan de bevordering van het publieke
belang (WRR, 2000). Met andere woorden, wanneer de output algemeen
(over alle individuen heen) behouden blijft tegen een lagere kostprijs, of
wanneer meer/betere output geleverd wordt tegen dezelfde of lagere
kosten, dan kan er gesproken worden van allocatieve efficiëntie, zelfs
wanneer een minderheid van individuen benadeeld wordt (HM Treasury,
2007). Voor overheden gaat het bijvoorbeeld over de verdeling van de
schaarse middelen tussen de verschillende beleidssectoren of -actoren.
Samen genomen bepalen technische efficiëntie en allocatieve efficiëntie de
graad van (totale) economische efficiëntie.
Ten derde, en in contrast met zowel allocatieve efficiëntie als technische
efficiëntie, is dynamische efficiëntie een veel minder afgelijnd concept.
Algemeen verwijst dynamische efficiëntie naar het economisch efficiënte
gebruik van schaarse middelen doorheen de tijd, en omvat het dus
allocatieve en technische efficiëntie in een intertemporele dimensie.
> 4.2. Types van efficiëntiemetingen
In het kader van efficiëntiemetingen bij lokale besturen, of bij
overheidsorganisaties in het algemeen, ligt de focus veelal op technische en
kostenefficiëntie. Om deze technische efficiëntie van overheden of
organisaties te meten, kunnen we enkele brede categorieën van metrische
methodologieën identificeren. Onderstaande figuur 1 biedt een overzicht
van de voornaamste methodologieën en concrete technieken die in de
literatuur omtrent efficiëntiemetingen terug te vinden zijn. In wat volgt
zullen we deze methodologieën en methoden op een beknopte wijze
bespreken, waarbij we de econometrische en statistische technieken kort
illustreren zonder de onderliggende wiskundige afleidingen en technische
details. Voor een meer technisch en uitgewerkt overzicht van de
verschillende methodologieën kan verwezen worden naar specialistische
literatuur, zoals onder meer Fried et al. (2008) en Coelli et al. (2005).
29
Figuur 1: Overzicht van methodologieën voor efficiëntiemetingen
Gedeeltelijke indicatoren
Partial indicators
METHODOLOGIEËN
voor
EFFICIËNTIEMETINGEN
Globale efficiëntiemetingen
Total Factor Productivity (TFP)
Indexmethoden Grensmethoden
Parametrische
technieken
Niet-parametrische
technieken
Stochastisc
Frontier Analysis
Deterministic
Frontier Analysis
Laspeyres
Index
Paasche
Index
Fischer
Index
Törnqvist
Index
Data Envelop-
ment Analysis
Free Disposal
Hull
30
> 4.3. Gedeeltelijke versus globale efficiëntiemeting
Om de efficiëntie te meten van verschillende (overheids)organisaties die
dezelfde publieke diensten leveren, zoals bijvoorbeeld lokale overheden in
Vlaanderen, kunnen twee alternatieve hoofdbenaderingen onderscheiden
worden, zoals bovenaan in figuur 1 te zien is. De eerste, vaak in de publieke
sector zelf gebruikte, benadering is om een set van prestatie-indicatoren te
ontwikkelen, i.e. gedeeltelijke metingen van bepaalde aspecten van de
performantie van een organisatie. De tweede categorie van methoden, die
het gebruik van statistische instrumenten vereist en voornamelijk in de
academische literatuur omtrent efficiëntiemetingen terug te vinden is,
heeft tot doel een algemene („total factor‟) index omtrent de efficiëntie
van de organisatie te ontwikkelen (Abbott & Wu, 2002; Pedraja-Chaparro et
al., 2005). De enorme opmars van de theoretische en empirische
beoordeling van efficiëntie die in de laatste 20 jaar waar te nemen valt,
situeert zich hoofdzakelijk in deze laatste categorie. Vooruitgang in
statistische methodologieën, een sterke toename in de datavoorziening en
een snelle beschikbaarheid van kwalitatieve software hebben allen
bijgedragen aan de sterk toenemende interesse in het onderwerp (Smith &
Street, 2005).
> 4.3.1. Gedeeltelijke efficiëntiemetingen (indicatoren)
Gedeeltelijke efficiëntiemetingen verwijzen naar het gebruik van (veelal
enkelvoudige) prestatie-indicatoren (PI‟s) om de efficiëntie van een
organisatie (of set van organisaties) in kaart te brengen. Zulke indicatoren
hebben als voordeel dat ze focussen op specifieke aspecten van
performantie (bijvoorbeeld op efficiëntie), dat ze relatief vlot te meten en
te valideren zijn, en dat ze makkelijk geïnterpreteerd kunnen worden.
Hierdoor zijn prestatie-indicatoren aan te bevelen vanuit het perspectief
van het organisationele management (bv. lokale managers in het geval van
lokale besturen) (Smith & Street, 2005).
Zulke partiële prestatie-indicatoren zijn met andere woorden essentiële
managementinstrumenten die de verantwoordings- en besluitvormings-
processen binnen besturen helpen ondersteunen (Jorge et al., 2006). Deze
meetbenadering vormt eveneens een waardevol startpunt om op een
relatief eenvoudige wijze vergelijkingen van prestaties uit te voeren, zowel
31
tussen organisaties (voor het identificeren van de goede en de slechte
presteerders) als in de tijd binnen dezelfde organisatie.
Vaak worden specifieke (enkelvoudige) kernindicatoren gecombineerd om
op die manier tot een „Overall Performance Indicator‟ (OPI) te komen,
veelal op basis van een gewogen gemiddelde van de kernindicatoren. Deze
samenvattende OPI kan vervolgens aangewend worden om de relatieve
prestaties van organisaties te communiceren naar een breed publiek.
Hoewel de componenten ervan makkelijk te begrijpen zijn, wordt bij het
bepalen van de gewichten die in de praktijk gebruikt worden om de OPI
samen te stellen vaak geen rekening gehouden met de prioriteiten tussen de
verschillende indicatoren. Meestal wordt een gelijk gewicht aan elke
indicator gegeven, zelfs wanneer de bijkomende kosten om een bepaalde
ratio te verbeteren erg hoog zouden zijn en de incrementele voordelen van
een verbeterde ratio erg laag (Berg, 2010).
Hoewel het gebruik van partiële prestatie-indicatoren voor het meten van
efficiëntie enkele sterktes heeft, zoals een betere toepasbaarheid en
leesbaarheid, ligt de grootste zwakte in de gedeeltelijkheid van de
metingen. Immers, algemeen maken gedeeltelijke efficiëntiemetingen
gebruik van single-input/single-output indicatoren, en vormen ze dus enkel
een indirecte of partiële indicatie van efficiëntie (Smith & Street, 2005).
Denk bijvoorbeeld, in het geval van lokale overheden, aan een
efficiëntiemeting bij de dienst „bevolking en burgerlijke stand‟ van een
gemeente, waarbij het aantal VTE‟s van de dienst de enige input uitmaakt,
en het totaal aantal uitgereikte paspoorten een enkele output weergeeft.
Echter, meer dan één indicator is typisch toepasbaar op een bepaalde
dienst. Zo kunnen single-input/single-output prestatie-indicatoren
toegepast worden op verschillende aspecten van de dienst (niet alleen
paspoorten uitreiken, ook registers bijwerken, administratie bijhouden,
formulieren afleveren, enz.). Dit type van meting geeft dus enkel een
gedeeltelijke beoordeling weer van de algemene performantie van de dienst
(Woodbury et al., 2003). Bovendien is het ook mogelijk dat inputs (in de
vorm van kosten) niet eenvoudigweg toegewezen kunnen worden aan
specifieke activiteiten, bijvoorbeeld wegens beperkingen van de data of in
de gehanteerde boekhoudmethoden.
Een bijkomend nadeel van partiële prestatiemetingen is dat er mogelijk
tegenstrijdige resultaten opduiken, afhankelijk van de keuze van de
32
indicatoren. Zo is het bijvoorbeeld mogelijk dat een organisatie goed scoort
voor een bepaalde meting, maar het slecht doet voor andere indicatoren.
Gelijkaardig kan een organisatie die goed scoort op alle metingen niet per
definitie bestempeld worden als de “meest efficiënte” speler (Berg, 2010).
Bovendien kan een gedeeltelijke maatstaf moeilijk de complexiteit van het
beslissingsproces of de reikwijdte van het geheel van activiteiten van een
entiteit weerspiegelen. Zelfs wanneer de individuele metingen
gecombineerd worden, gebruik makend van een bepaald systeem van
weging, zal de resulterende, samengestelde maatstaf uitermate arbitrair
blijven (Worthington & Dollery, 2000). Er is dus nood aan meer globale
vormen van efficiëntiemetingen.
> 4.3.2. Totale factor productiviteitsmetingen
Aangezien overheidsentiteiten multidimensionaal van aard zijn, met
meerdere inputs (zoals arbeid, kapitaal en andere) die ingezet worden voor
het produceren van meerdere outputs, is er naast het gebruik van
gedeeltelijke indicatoren ook nood aan methoden voor het berekenen van
prestatie-indicatoren die meerdere inputs en outputs omsluiten (Woodbury
et al., 2003). Daarom is het aan te bevelen om een bepaalde vorm van
globale efficiëntiemeting, ook wel totale factor productiviteit (TFP)-meting
genoemd, te gebruiken. Deze TFP-metingen meten de verandering in de
totale output gerelateerd aan de verandering van de gebruikte inputs (Ahn
& Abt, 2003). Op die manier wordt alle input- en output-informatie
gecombineerd in één enkele ratio van efficiëntie die tussen 0 (een compleet
inefficiënte organisatie) en 1 (een volledig efficiënte organisatie) ligt.
De voornaamste methoden die gebruikt worden om de globale efficiëntie te
meten, kunnen onderverdeeld worden in twee groepen, eveneens
weergegeven in bovenstaande figuur 1: prijsgebaseerde indexnummer-
methoden (PIN) en grensmethoden. Algemeen gesteld maken
indexmethoden gebruik van marktprijzen (wat voor de publieke sector een
hindernis kan zijn, zoals eerder werd aangegeven in paragraaf 3), terwijl
grensmethoden het specificeren van een productietechnologie en de
schatting van een productiegrens vereisen. Prijsgebaseerde indexnummer-
technieken hebben het voordeel dat ze gebruikt kunnen worden wanneer
slechts beperkte data beschikbaar is, bijvoorbeeld op sectorniveau, daar
waar grensmethoden meer gegevens vereisen, bijvoorbeeld organisationele
informatie (Coelli et al., 2005).
33
> 4.4. Prijsgebaseerde indexnummer (PIN)-methoden
De totale factor productiviteit (globale efficiëntie) kan beschouwd worden
als de ratio van een outputindex gedeeld door een inputindex. De
inputindex wordt daarbij algemeen gedefinieerd als een gewogen som van
alle inputs, de outputindex als een gewogen som van alle outputs. Met
andere woorden, wanneer er meer dan één input en/of één output is,
vereist de TFP-berekening dat er gewichten gespecificeerd worden om tot
geaggregeerde indices te kunnen komen.
Deze gewichten zijn veelal gebaseerd op informatie van de marktprijzen,
waardoor de gewichten bijgevolg overeenkomen met kostenaandelen in de
inputindex en opbrengstenaandelen in de outputindex (Coelli et al., 2003).
De hoeveelheid en de prijs worden daarbij geobserveerd in twee periodes t
en t+1. Verscheidene benaderingen kunnen gebruikt worden om een TFP-
index te construeren, dewelke kunnen leiden tot verschillende empirische
resultaten en interpretaties (Abbott & Wu, 2002). Veel gebruikte indices
zijn de Törnqvist-, Laspeyres-, Paasche- en Fischer-index. We verwijzen
naar Fried et al. (2008: 59-73) of Ahn en Abt (2003) voor een theoretisch
overzicht en empirische toepassing van deze indexnummermethoden.
Zoals reeds vermeld, worden indexnummermethoden gewoonlijk toegepast
wanneer er slechts data van één of enkele organisaties, of enkel gegevens
op sectorniveau, beschikbaar zijn. Echter, het grote probleem met deze
indices is dat ze veronderstellen dat er tal van informatie voorhanden is
over de marktprijzen, wat voor de publieke sector vaak niet het geval is
(cfr. supra). Bovendien kunnen PIN-methoden niet gebruikt worden om de
TFP te ontbinden in componenten, zoals technologische verandering en
technische efficiëntie (Coelli et al., 2003). Om deze redenen zijn
grensmethoden meer aangewezen voor efficiëntiemetingen in de publieke
sector
34
> 4.5. Grensmethoden
In hun pogingen om een meer globale efficiëntie (TFP) in reële organisaties
te meten, wordt in de traditionele (vaak economische en/of statistische)
productiviteitsliteratuur gebruik gemaakt van het construeren van
grensfuncties, die de relatie tussen de te meten fenomenen (outputs,
inputs, kosten, prijzen, enz.) beschrijven. Deze grensfuncties zijn veelal
transformatiefuncties („production possibility frontiers‟), productiefuncties
of kostenfuncties, die de optimale relatie tussen inputs en outputs van een
organisatie weergeven, en op die manier een relevante grens voor
efficiëntie kunnen uitmaken. Efficiëntiemetingen met behulp van
grensmethoden houden bijgevolg een vergelijking in tussen de werkelijke,
geobserveerde prestaties van een organisatie en de optimale, maximaal
bereikbare prestaties die gelegen zijn op deze efficiëntiegrens (Fried et al.,
2008).
Transformatiecurves geven dus de technisch mogelijke outputcombinaties
(i.e. maximaal mogelijke hoeveelheid output voor de verschillende
hoeveelheden input) aan dewelke door een organisatie geproduceerd
kunnen worden op elk moment in de tijd. Technische efficiëntie wordt dan
gedefinieerd als het in staat zijn om te produceren op de transformatie-
curve, voor een gegeven productietechnologie (Afonso & Fernandes, 2006).
Gelijkaardig aan transformatiefuncties wordt in de literatuur vaak ook naar
productiefuncties of kostenfuncties verwezen. Productiefuncties hebben
een analoge betekenis, maar incorporeren de inputprijzen bij het relateren
van de inputs en outputs van een productieproces. Kostenfuncties, ten
slotte, transformeren de kwantitatieve, fysieke informatie bij
productiecurves in monetaire termen.
Onderstaande figuur 2 geeft een voorbeeld weer van een dergelijke
productie- of transformatiecurve voor een ééndimensionale situatie, i.e.
met één input (x) en één output (y). De curve geeft, zoals gedefinieerd,
elke mogelijk produceerbare output y weer als functie van de ingezette
input x, en dit voor een gegeven productietechnologie T.
35
Figuur 2: Productie- of transformatiefunctie
Zoals vermeld vormt een transformantie-, productie- of kostenfunctie
meteen ook een grens van efficiëntie. Anders gesteld, wanneer een
organisatie er niet in slaagt een outputcombinatie voort te brengen op haar
transformatiecurve, en de door haar geproduceerde outputcombinatie
beneden deze grens valt, kan de organisatie als technisch inefficiënt
beschouwd worden. Wanneer een organisatie een combinatie van goederen
en/of diensten produceert op de transformatiecurve, maar deze niet
overeenkomt met de wil van haar klanten (in de privésector vaak uitgedrukt
in termen van bereidheid tot betalen), dan kan de organisatie allocatief
inefficiënt genoemd worden.
Alternatieve voorstellingen van de set van productiemogelijkheden zijn
mogelijk wanneer we een expliciet onderscheid maken tussen input- en
outputvectoren, om zo de set van productiemogelijkheden op te delen in
enerzijds de set van inputbenodigdheden (inputgeoriënteerde benadering)
en anderzijds de set van produceerbare output (outputgeoriënteerde
benadering). De set van inputbenodigdheden bevat alle inputcombinaties
die een bepaalde outputvector kunnen voortbrengen. Gelijkaardig omvat de
set van produceerbare output alle outputcombinaties die geproduceerd
kunnen worden met een bepaalde inputvector. Grafisch kan dit
weergegeven worden door onderstaande figuren (in een tweedimensionale
situatie). Figuur 3 illustreert de set van inputbenodigdheden (I) voor een
bepaalde outputvector y voor een situatie met twee inputs x1 en x2, gegeven
x
y
0
T
36
een bepaalde productietechnologie T. Dit resulteert in het gebied boven de
curve, wiskundig weergegeven door de functie IT(y).
Figuur 3: Set van inputbenodigdheden
Figuur 4 geeft de set van produceerbare output weer die gepaard gaat met
een gegeven inputvector x voor een situatie met twee outputs y1 en y2,
gegeven een bepaalde productietechnologie T (het gebied onder de curve,
OT(x)) (Cherchye, 2001).
Figuur 4: Set van produceerbare output
x1
x2
0
IT(y)
y1
y2
0
OT(x)
37
Zoals hierboven vermeld, houden grensmethoden (econometrische en
statistische technieken) voor het empirisch meten van efficiëntie van
organisaties de schatting in van een grensfunctie („frontier estimation‟), om
vervolgens de reële prestaties van organisaties uit te zetten tegenover deze
geïdealiseerde maatstaf. Om deze „best practice‟-grenzen te schatten
worden twee alternatieve categorieën van methodologieën gebruikt:
parametrische en niet-parametrische methoden. Het verschil tussen beide
ligt in de techniek die gebruikt wordt om de grens te beschrijven.
Binnen deze twee categorieën van benaderingen komen vier specifieke
grensmethoden naar voren, waarbij de twee eerste technieken van
parametrische aard zijn en gebruik maken van econometrische technieken,
en de twee laatste niet-parametrische methoden zijn die gebruik maken van
lineaire programmeringstechnieken:
DFA: Deterministic Frontier Approach
SFA: Stochastic Frontier Analysis
FDH: Free Disposal Hull5
DEA: Data Envelopment Analysis
In wat volgt gaan we dieper in op deze parametrische en niet-parametrische
benaderingen. Voor beide categorieën van methoden kan de gebruikte
dataset ofwel bestaan uit een groep van verschillende en vergelijkbare
organisaties (vaak aangeduid met de term „Decision Making Units‟ of
DMU‟s), ofwel uit een tijdreeks van observaties van dezelfde entiteit. In het
eerste geval geldt voor elk van de technieken de impliciete veronderstelling
dat de productieset dezelfde is voor alle eenheden. In het tweede geval
geldt de veronderstelling dat de productieset ongewijzigd blijft doorheen de
tijd (Pestieau, 2007).
5 In de literatuur zijn zowel „Free Disposal Hull‟ als „Free Disposable Hull‟ terug te vinden als
benaming voor de FDH-methode. In deze tekst opteren we voor het gebruik van de eerste term.
38
> 4.6. Parametrische methode
Parametrische efficiëntiemetingen trachten de efficiëntie van organisaties
in absolute termen te bepalen en uit te zetten ten opzichte van een
bepaalde standaard of grens van efficiëntie, met name de geïdealiseerde,
optimale productie- of kostenfunctie („frontier‟). Parametrische technieken
gaan daarbij uit van vooraf gespecificeerde productiefuncties (Cherchye,
2001). Anders gezegd wordt bij de parametrische benadering a priori een
functionele vorm van de grensfunctie bepaald met constante parameters die
geschat moeten worden. Efficiëntie wordt dan beoordeeld in relatie tot
deze functie en zal verschillen naargelang de gekozen functionele vorm van
de grens (Pedraja-Chaparro et al., 2005).
Binnen de parametrische methoden kan een onderscheid gemaakt worden
tussen een deterministische benadering (DFA) en een stochastische analyse
(SFA). Het verschil tussen beide technieken heeft te maken met het
incorporeren van onzekerheidsfactoren (externe factoren) bij het bepalen
van de efficiëntie van een organisatie, en dus met het beoordelen van de
mate waarin de afwijking van de efficiëntiegrens te wijten is aan
inefficiëntie in de organisatie, dan wel aan externe factoren of meetfouten.
> 4.6.1. Deterministic Frontier Approach (DFA)
De deterministische grensbenadering (DFA) is een econometrische,
parametrische techniek die veronderstelt dat elke afwijking van de
productiefunctie het resultaat is van inefficiëntie binnen de organisatie, wat
statistisch betekent dat inefficiënties begrepen liggen in een strikt
eenzijdige foutenterm. Echter, het is mogelijk dat de afwijking weg van de
gegeven efficiëntiegrens niet te wijten is aan inefficiëntie door de
organisatie in kwestie, maar eerder te maken heeft met externe factoren
die buiten haar controle valt (Worthington & Dollery, 2000). Dit heeft geleid
tot de ontwikkeling van de stochastische grensmethode.
> 4.6.2. Stochastic Frontier Analysis (SFA)
De stochastische grensmethode (SFA) tracht, in tegenstelling tot de
deterministische benadering, wel externe factoren in rekening te brengen
bij het schatten van de efficiëntie van een bepaalde (reële) organisatie. In
statistische termen gesteld, is de SFA-methode gebaseerd op een
39
samengesteld (tweeledig) foutenmodel dat toelaat om te differentiëren
tussen inefficiëntie en andere stochastische invloeden („ruis‟). Beide
foutentermen, inefficiëntie en „random error‟ (bijvoorbeeld externe
invloeden en meetfouten), worden daarbij als onafhankelijk beschouwd (De
Borger & Kerstens, 1996).
> 4.6.3. Grafisch
In onderstaande figuur 5 (Smith & Street, 2005) illustreren we de
parametrische grensbenadering, waarbij we het onderscheid kunnen
weergeven tussen de deterministische en de stochastische grensmethode. In
de figuur is een voorbeeld van een geschatte grens weergegeven voor deze
twee methoden vanuit een sterk vereenvoudigd en ééndimensionaal kader,
waarbij de set van onderzochte organisaties (DMU‟s) één input (x) inzetten
om één output (y) voort te brengen. Op die manier krijgen we een set van
observaties op een gegeven moment in de tijd, weergegeven door de punten
in de grafiek.
In de eerdere toepassingen van parametrische efficiëntieanalyse, via de
deterministische grensbenadering (DFA), werd de volledige afwijking van de
geschatte grens (i.e. productie- of kostenfunctie) beschouwd als zijnde het
gevolg van inefficiëntie (i.e. inefficiëntie zit vervat in een eenzijdige
foutenterm). Dit wordt geïllustreerd in figuur 5(a), waar observatie c als
maximaal efficiënt bevonden wordt door het statistische model en
vervolgens de grens (waarvan de functionele vorm a priori bepaald werd)
geschat wordt door de regressielijn zo te verschuiven dat ze doorheen de
volledig efficiënte observatie loopt. De inefficiëntie van de overige
organisaties kan gemeten worden door de verticale afstand tot de geschatte
grens, zoals weergegeven wordt voor observatie a.
Figuur 5(b) illustreert de principes onderliggend aan de stochastische
grensbenadering (SFA). Het valt op dat in deze benadering de grens niet
noodzakelijk doorheen de observatie loopt die het maximale niveau van
output produceert afhankelijk van de input (observatie c). Dit komt omdat
de stochastische grens geschat wordt met het in acht nemen van het feit
dat het verschil tussen de geobserveerde output en het niveau van output
dat voorspeld is door de verklarende variabelen voor een deel het gevolg
kan zijn van een willekeurige fout (i.e. een tweeledige foutenstructuur met
inefficiëntie enerzijds en „random error‟ anderzijds). Zoals in figuur 5(b)
40
weergegeven wordt, ligt observatie c boven de geschatte grens, een
uitkomst die te wijten is aan het toelaten van random fouten. Voor
observaties die beneden de grens liggen, is de afwijking het gevolg van
zowel inefficiëntie als willekeurige fouten, zoals wordt geïllustreerd voor
observatie a.
Figuur 5: Parametrische methode, DFA versus SFA
x
a
b
c d
inefficiëntie
y
(a) DFA
y
inefficiëntie
a
b
c d
fout
fout
x
(b) SFA
41
> 4.6.4. Beperkingen
Cherchye (2001) geeft aan dat de parametrische benadering van
efficiëntiemeting, hoewel theoretisch van grote waarde, enkele nadelen
heeft die de empirische toepassing ervan moeilijk maken. Zo zijn de vooraf
gespecificeerde productiefuncties gebaseerd op een aantal impliciete
assumpties, bijvoorbeeld omtrent de elasticiteit bij substitutie
(transformatie) tussen inputs (of tussen outputs). Bovendien kan de
parametrische benadering niet eenvoudig toegepast worden in de
gebruikelijke situaties waar meerdere inputs ingezet worden voor de
productie van meerdere outputs. Omwille van deze redenen worden veelal
niet-parametrische technieken gebruikt om efficiëntie te meten en te
analyseren in de reële context.
42
> 4.7. Niet-parametrische methode
Niet-parametrische meetbenaderingen maken gebruik van mathematische
programmeringstechnieken om op basis van een set van observaties (DMU‟s)
een omhullende curve (dus een grens) te construeren waartegenover de
efficiëntie van elke DMU wordt afgemeten. Niet-parametrische methoden
meten de efficiëntie van organisaties dus niet absoluut (zoals de
parametrische), maar schatten de efficiëntie relatief ten opzichte van
andere organisaties in dezelfde sector. In de context van efficiëntiemeting
in lokale besturen betekent dit dus dat een niet-parametrische meet-
methode de efficiëntie van een set van lokale besturen evalueert, waarbij
de efficiëntie van elke lokale overheid relatief ten opzichte van de andere,
gelijkaardige overheden in de set beoordeeld wordt. Voor elk niveau van
inputs worden een reeks van outputs gerealiseerd door verschillende
(gelijkaardige) organisaties. Aangezien organisaties niet identiek zijn, zullen
discrete reeksen van punten geobserveerd worden.
Om te bepalen hoe efficiënt een geobserveerd productiepunt (input-output
relatie) is, moet deze observatie vergeleken worden met een bepaalde
standaard. De meest gebruikelijke weg is daarbij om de beste prestaties die
werkelijk geleverd worden in de set van bestudeerde organisaties als
standaard te gaan gebruiken. Deze beste observaties vormen samen de
zogenoemde „referentieset‟ of efficiëntiegrens. Vervolgens wordt de
efficiëntie van de andere organisaties in de set vergeleken met de
geconstrueerde referentieset (Mayes et al., 1994). De efficiëntiegrens wordt
dus niet vooraf (a priori) bepaald zoals bij de parametrische methoden,
maar wordt geconstrueerd door alle efficiënte organisaties in de set van de
onderling vergeleken organisaties. Alle niet volledig efficiënte observaties
worden bijgevolg “omhult” door deze geconstrueerde grens.
Hoewel de niet-parametrische benadering, in tegenstelling tot de
parametrische methoden, niet a priori een functionele vorm voor de
efficiëntiegrens specificeert, zijn toch ook hier bepaalde assumpties vereist
over de structuur van de productietechnologie (i.e. transformatie van inputs
naar outputs) van de onderzochte organisatie. Deze assumpties zoals vrije
beschikbaarheid van inputs („free disposability‟), sterke beschikbaarheid
van outputs, convexiteit van de productieset en schaalopbrengsten zullen de
vorm van de grens bepalen en de alternatieve niet-parametrische
methoden van elkaar onderscheiden (Moesen et al., 1996). Deze niet-
43
paremetrische methoden zijn veelal deterministisch van aard, waarbij dus
de volledige afwijking van de grens toegeschreven wordt aan inefficiëntie.
In de literatuur worden twee niet-parametrische technieken voor
efficiëntiemeting onderscheiden, met name de Free Disposal Hull (FDH)-
methode en de Data Envelopment Analysis (DEA)-methode. Zoals hierboven
is vermeld, verschillen deze twee alternatieve technieken op basis van de
gemaakte assumpties over de productietechnologie, en bijgevolg in de mate
waarin de geconstrueerde referentieset (of geconstrueerde efficiëntiegrens)
de verschillende observaties omhult. In wat volgt zullen we de FDH- en de
DEA-methode beknopt theoretisch en grafisch toelichten. Voor een meer
uitgewerkte bespreking van deze niet-parametrische efficiëntiemeet-
methoden verwijzen we naar bijlage A.
> 4.7.1. Free Disposal Hull (FDH)
De Free Disposal Hull (FDH)-methode steunt enkel op de veronderstelling
dat de productietechnologie gekenmerkt wordt door een sterke
beschikbaarheid van outputs (men kan minder outputs produceren dan
technisch mogelijk met een bepaalde hoeveelheid inputs) en vrije
beschikbaarheid van inputs (men kan meer inputs gebruiken dan technisch
noodzakelijk om een bepaalde output te produceren) (Moesen et al., 1996).
Anders geformuleerd houden deze beschikbaarheidsassumpties („free
disposability‟) in dat een toename in inputs nooit resulteert in een daling in
outputs, en dat elke afname in outputs produceerbaar blijft met dezelfde
hoeveelheid inputs (De Borger & Kerstens, 1996). Gupta en Verhoeven
(2001: 437) stellen bijgevolg dat:
“de centrale stelling van FDH-analyse is […] dat een organisatie
relatief inefficiënt is wanneer een andere organisatie minder of
eenzelfde hoeveelheid input nodig heeft om meer of evenveel
output te genereren”.
Bij FDH wordt voor elke bestaande organisatie de efficiëntiescore bepaald
door middel van een vergelijking met de beste praktijk. Er wordt hierbij
alleen maar vergeleken met bestaande organisaties. Voor elke organisatie
wordt nagegaan of er bestaande organisaties zijn die met minder middelen
dezelfde prestaties realiseren (inputgerichte benadering) of met dezelfde
middelen meer output produceren (outputgerichte benadering). FDH
44
verschilt op dit punt van DEA en de parametrische benaderingen, bij welke
de vergelijking ook kan plaatsvinden met virtuele organisaties.
De studies van Depré en Bouckaert (o.a. Depré et al., 1990) naar de
efficiëntie van Vlaamse regionale steden in verschillende diensten
(bevolking en burgerlijke stand, groendienst, openbare bibliotheek en
stedelijk politiekorps) bieden een heldere illustratie van de toepassing van
deze FDH-techniek. Hoewel de auteurs de term FDH niet als dusdanig
gebruiken in de beschrijving van hun methodologie, maken ze in essentie
een FDH-analyse waarbij een dominante (i.e. efficiënte) set van steden
bepaald wordt die met dezelfde input meer diensten presteren of voor
hetzelfde volume van dienstverlening minder middelen nodig hebben dan de
andere (gedomineerde) steden.
> 4.7.2. Data Envelopment Analysis (DEA)
Data Envelopment Analysis (DEA) is vandaag de dag de dominante niet-
parametrische methode voor efficiëntiemetingen. Het model werd
ontwikkeld door Charnes, Cooper en Rhodes (1978), gebaseerd op eerder
werk van Farrell (1957). Sinds haar ontwikkeling is de DEA-methode
substantieel theoretisch uitgebouwd, en kende het een snelle groei in de
empirische toepassing ervan in diverse domeinen, niet in het minst in de
publieke sector.
De DEA-methodologie gaat in haar veronderstellingen omtrent de
productietechnologie verder dan enkel de beschikbaarheidsassumpties zoals
bij de FDH-techniek, en veronderstelt bijkomend een convexe
productiegrens. Convexiteit houdt in dat indien twee observaties mogelijk
zijn, al de lineaire combinaties die hiertussen liggen eveneens mogelijk zijn.
De term “envelopment” (wat “omhullen” betekent) komt voort uit het feit
dat deze convexe productiegrens de set van observaties omhult.
Het DEA-model past, net als de FDH-techniek, mathematische
programmeringstechnieken6 toe om de efficiëntie van een set van entiteiten
(DMU‟s) te vergelijken, waarbij deze vergelijking ook kan plaatsvinden met
6 We verwijzen nogmaals naar bijlage A voor een toelichting van het lineaire programmerings-
probleem dat opgelost dient te worden bij de DEA-efficiëntemeettechniek.
45
virtuele DMU‟s. De fundamentele assumptie achter DEA is dezelfde als bij
FDH: wanneer een bepaalde DMU (DMU-A) in staat is y(a) eenheden output
te produceren met x(a) inputs, dan zouden andere DMU‟s hetzelfde moeten
kunnen realiseren als ze efficiënt opereren. Gelijkaardig, als DMU-B y(b)
eenheden kan voortbrengen met x(b) inputs, moeten andere DMU‟s tot
dezelfde performantie in staat zijn. Het verschil tussen FDH en DEA is dat
bij deze laatste methode DMU‟s A, B en andere gecombineerd kunnen
worden om een samengestelde DMU te vormen met samengestelde inputs en
samengestelde outputs7. Aangezien deze gemengde DMU‟s niet werkelijk
bestaan, worden ze ook wel virtuele DMU‟s genoemd. Indien de virtuele
DMU beter presteert dan de reële DMU, omdat het ofwel meer output
produceert met dezelfde inputs, ofwel dezelfde output realiseert met
minder inputs, dan is de reële DMU inefficiënt. Wat DEA dus tracht te doen,
is het vaststellen van de “beste” virtuele DMU voor elke reële DMU. Dit
proces wordt uitgevoerd door het formuleren van een lineair programma.
Binnen de DEA-methodologie kan bijkomend een onderscheid gemaakt
worden tussen verschillende grenzen op basis van de schaalopbrengsten van
de productie (cfr. bijlage A). Schaalopbrengsten geven de mate aan waarin
de output van een organisatie stijgt (resp. daalt) relatief ten opzichte van
een stijging (resp. daling) van de inputs. Bij toenemende schaalopbrengsten
neemt de output meer dan evenredig toe met de stijging van alle
inputfactoren (bv. als de inputs toenemen met 10%, stijgt de output met
meer dan 10%). Gelijkaardig betekenen afnemende schaalopbrengsten dat
de output proportioneel minder sterk toeneemt dan de stijging van de
inputs.
Het oorspronkelijke DEA-model van Farell (1957) en Charnes et al. (1978)
gaat uit van constante schaalopbrengsten (CSR). Dit betekent dat de
verhouding tussen inputs en outputs dezelfde is voor eender welk niveau van
inputs of output, wat impliceert dat de grootte van de organisatie geen
invloed heeft op de het aantal inputs per eenheid output. Dit type van DEA
wordt aangeduid met de term DEA-F. De meest gangbare DEA-benadering
gaat echter uit van variabele schaalopbrengsten (VSR), meer bepaald eerst
7 Deze samengestelde DMU is de convexe combinatie van één of meer efficiënte DMU‟s, daar
waar bij FDH geen samengestelde DMU‟s worden geconstrueerd, en dus geen convexe grens bekomen wordt.
46
toenemende en daarna afnemende schaalopbrengsten (i.e. tot een bepaald
niveau van output stijgt de output proportioneel meer dan de inputs die
extra ingezet worden, daarna stijgt de output minder dan de toename van
de inputs). Dit type van DEA-benadering wordt aangeduid met de term DEA-
V. Tot slot gaat een derde DEA-type, aangeduid met DEA-CD, uit van niet-
toenemende schaalopbrengsten (Tulkens, 2006).
> 4.7.3. Grafisch
Om het onderscheid tussen de twee niet-parametrische methoden (i.e. de
FDH- en de DEA-methode) te illustreren, hebben we in figuur 6 de
geconstrueerde grenzen voor deze twee methoden weergegeven vanuit een
sterk vereenvoudigd en ééndimensionaal kader, waarbij de set van
onderzochte organisaties (DMU‟s) één input (x) inzetten om één output (y)
voort te brengen. Op die manier krijgen we een set van observaties op een
gegeven moment in de tijd, weergegeven door de punten in de grafiek.
Nemen we vervolgens -als voorbeeld- observatie d, dan kan elke observatie
die rechts en/of onder dit punt d is gelegen (i.e. meer input en dezelfde
output, zoals observatie k; dezelfde input en minder output, zoals
observatie l; of meer input en minder output, zoals punt m) gedefinieerd
worden als zijnde gedomineerd door observatie d.
Voor de niet-parametrische benaderingen wordt deze vergelijking
uitgevoerd voor elke observatie, de DMU‟s worden immers relatief ten
opzichte van elkaar onderzocht. Observaties die niet gedomineerd worden
door andere observaties, worden beschouwd als zijnde efficiënt en behoren
tot de grens van de referentieset (meer nog: de efficiënte observaties
construeren als het ware de grens die de overige observaties omhullen). Aan
de andere kant worden de observaties die gedomineerd worden, beschouwd
als inefficiënt. De FDH-methode stelt de minste assumpties voorop voor de
functionele vorm van de omhullende grens, wat grafisch leidt tot een
trapvormige grens in de input-output-ruimte. De DEA-methode veronderstelt
bijkomend een convexe productieset, waardoor de DEA-grens grafisch een
convexe omhulling van de trapvormige FDH-grens vormt.
Concreet voor figuur 6 stelt de trapvormige grens vertrekkende van punt a‟
tot g de FDH-grens voor. De punten a‟-a-b-d-f-g bepalen de grens voor DEA-
V, met toenemende schaalopbrengsten tot in punt b en vanaf dan
afnemende schaalopbrengsten. De punten 0-b-d-f-g maken de grens uit voor
47
DEA-CD, met niet-toenemende schaalopbrengsten (constante
schaalopbrengsten tot in punt b, daarna afnemende schaalopbrengsten). De
rechte uit 0 doorheen punt b tenslotte is de grens voor DEA-F, uitgaande van
constante schaalopbrengsten. Het is duidelijk dat de DEA-F-grens de meest
ruwe wijze is om de dataset te beschrijven, of te omhullen. De FDH-grens
daarentegen is de meest omhullende van de vier hierboven beschreven
grenzen. Dit is in essentie het gevolg van de afwezigheid van de
convexiteitsassumptie in de definitie van de FDH-set (Tulkens, 2006). De
keuze voor FDH, respectievelijk DEA, zal zich uiten in meer, respectievelijk
minder, efficiënt bevonden DMU‟s en hogere, respectievelijk lagere
efficiëntiemaatstaven (Moesen et al., 1996).
Figuur 6: Efficiëntiegrens, DEA versus FDH
Input- en output(in)efficiëntie worden dan bepaald door de ratio van de
afstand van de betreffende punten tot de grens over de afstand tot
respectievelijk de y-as (voor inputefficiëntie) en de x-as (voor
outputefficiëntie). Geïllustreerd voor observatie m, komt de inputefficiëntie
overeen met respectievelijk de ratio 0p/0s voor DEA-F-meting, 0q/os voor
DEA-CD- en DEA-V-metingen en 0r/0s voor FDH-meting.
y
x
k
m
l
a
b
c
d e
f g
a’ 0 s r q p
48
Wanneer we meerdere inputs en outputs in rekening brengen, kunnen we dit
enkel grafisch weergeven indien we werken in een tweedimensionale
situatie met gelijkblijvende outputniveaus (voor het visualiseren van
inputefficiëntie) of gelijkblijvende inputniveaus (voor het illustreren van
outputefficiëntie). Voor wat betreft de FDH- en DEA-techniek leidt een
grafische weergave in een tweedimensionale ruimte tot isokwanten zoals
weergegeven in onderstaande figuren, waarbij de volle lijnen een DEA-
grens8 en de stippellijn een FDH-grens weergeven.
Figuur 7 geeft dan voor alle entiteiten weer hoeveel inputs x1 en x2 nodig
zijn om hetzelfde outputniveau y voort te brengen, waarna een FDH- en
DEA-omhullende grens kan bepaald worden. De FDH-inputefficiëntie voor
een bepaalde DMU a wordt dan bepaald door de verhouding 0b/0a, de