Les Agences de Développement Local (ADL) Evaluation-pilote Martine Lefèvre - attachée scientifique Mathieu Mosty - attaché Béatrice Van Haeperen – coordinatrice scientifique UVCW – Journée d’étude – 5 mai 2011
Les Agences de Développement Local (ADL)
Evaluation-pilote
Martine Lefèvre - attachée scientifique
Mathieu Mosty - attaché
Béatrice Van Haeperen – coordinatrice scientifique
UVCW – Journée d’étude – 5 mai 2011
Introduction
1. Le dispositif wallon1.1 Missions attribuées par le décret (2007)1.2 Paysage des ADL
2. Méthodologie de l’évaluation-pilote2.1 Objet de l’évaluation2.2 Sélection des ADL pilotes2.3 Cadrage théorique
2
2.3 Cadrage théorique2.4 Guide d’entretien: questions évaluatives
3. Quelques résultats de l’évaluation-pilote3.1 Vision3.2 Rôle de l’ADL3.3 Analyse des partenariats
4. Outils de diagnostic: matrice AFOM
Conclusion
Introduction
L’évaluation des ADL : Une demande qui évolue
1. Demande initiale (UVCW) : grille d’indicateurs d’auto-évaluation
2. Réunions de préparation avec les parties
3
2. Réunions de préparation avec les parties prenantes (UVCW, SPW-DGO6, ADL)
•Évaluation du fonctionnement du dispositif•Évaluation des résultats des ADL•Indicateurs d’auto-évaluation
– Réaliser un diagnostic socio-économique et concevoir un (des) projet(s) (plan d’actions)
– Initiation et animation d’un partenariat d’acteurs locaux (publics, privés, associatifs) dans un but de développement durable à l’échelon local
– Caractéristiques
1. Le dispositif wallon1.1 Missions attribuées par le décret (2007)
4
– Caractéristiques • Articulation avec autres outils de développement territorial
– Communal, intercommunal, provincial, régional, fédéral, européen
• 3 statuts juridiques différents – ASBL, RCO, RCA
• Missions multiples• Ressources: frais de personnel et de fonctionnement
Répartition géographique
Répartition selon typologie
DEXIA
1. Le dispositif wallon1.2 Paysage des ADL
En 2009, la Wallonie compte 53 ADL
5
DEXIA
Répartition selon statut
juridique
1. Le dispositif wallon1.2 Paysage des ADL
Typologie des communes (65)
•16 communes avec activités économiques
•15 communes « Centre »
•13 commune rurales
6
Concentration des ADL (53)
• est de la province de Namur• entre Brabant-wallon et province de Liège
•12 communes résidentielles
•9 communes semi-urbanisées et d’agglomération
Statut juridique des ADL
• 33 RCO•18 ASBL• 2 RCA
2. Méthodologie de l’évaluation-pilote
– Arrêté d’exécution • évaluation des résultats
– DGO6 /UVCW• évaluation selon des critères d’efficacité • indicateurs d’auto-évaluation
– IWEPS
2.1 Objet de l’évaluation
7
• Constat: difficulté d’évaluer le dispositif selon des critères classiques d’efficacité et d’efficience
– missions définies de manière souple– complexité – statuts juridiques différents– contexte locaux différents– pas d’harmonisation des données de terrain
• Proposition: focus sur le fonctionnement, en vue de proposer des outils communs de conception et de suivi du programme
8 ADL ont participé à l’évaluation-pilote
– Représentativité• localisation• statut juridique• caractéristiques socioéconomiques (Dexia)
2. Méthodologie de l’évaluation-pilote2.2 Sélection des ADL pilotes
8
– Evaluation exploratoire • technique de collecte des données: entretiens semi-
directifs• rencontres des responsables des ADL « sur le terrain »
ADLADLADLADL----PilotesPilotesPilotesPilotes Statut juridiqueStatut juridiqueStatut juridiqueStatut juridique Classement Dexia Classement Dexia Classement Dexia Classement Dexia ArrondissementArrondissementArrondissementArrondissement
Rochefort RCOCommune "centre" et centre
touristiqueDinant
Grâce-Hollogne RCO
Commune avec activités
économiques en zone urbaine ou
d'agglomération
Liège
Orp-Jauche RCOCommune résidentielle en zone
ruraleNivelles
2. Méthodologie de l’évaluation-pilote2.2 Sélection des ADL pilotes
9
rurale
Berloz-Donceel-Faimes-
GeerASBL
Commune résidentielle en zone
rurale1Waremme
Bertogne- Sainte-Ode-
TennevilleASBL
Commune rurale à dominante
forestière avec activités touristiquesBastogne et Marche-en-Famenne
Anderlues RCO Commune semi-urbanisée Thuin
Soignies RCA Petite ville Soignies
Dinant RCO Ville "centre" en milieu rural Dinant
1Sauf Geer qui est une "Commune avec activités économiques en zone rurale ou semi-urbaine"
• Description de la méthode– méthode de conception et de gestion de programme– appliquée dans des programmes de développement
multi-opérateurs– comprend un processus de suivi et d’évaluation
2. Méthodologie de l’évaluation-pilote2.3 Cadrage théorique
2.3.1 Cartographie des incidences
10
• Caractéristique de l’évaluation– déplace l’accent de l’impact vers les modifications de comportement,
des relations, des agissements et activités des partenaires– questions portent sur
• les moyens mis en œuvre• l’efficacité de l’organisation
2. Méthodologie de l’évaluation-pilote2.3 Cadrage théorique
2.3.1 Cartographie des incidences
11
L’évaluation-pilote a porté sur les étapes 1 à 7.
Matrice théoriqueMatrice théoriqueMatrice théoriqueMatrice théorique : Pouvoir et réseau social: Pouvoir et réseau social: Pouvoir et réseau social: Pouvoir et réseau social
En êtreEn êtreEn êtreEn être
Hyp. 1 : Le pouvoir dépend de la capacité de faire réseau
Dimension structurelleDimension structurelleDimension structurelleDimension structurelle Dimension actancielleDimension actancielleDimension actancielleDimension actancielle
Le pouvoir dans le réseauLe pouvoir dans le réseauLe pouvoir dans le réseauLe pouvoir dans le réseau Hyp. 2 : Le pouvoir dépend de la Hyp. 3 : Le pouvoir dépend de la
2. Méthodologie de l’évaluation-pilote2.3 Cadrage théorique
2.3.2 Partenariats
12
Le pouvoir dans le réseauLe pouvoir dans le réseauLe pouvoir dans le réseauLe pouvoir dans le réseau
Enjeu : contrôle des flux internes
Hyp. 2 : Le pouvoir dépend de la
position structurelle dans le réseau
(centralité …).
Hyp. 3 : Le pouvoir dépend de la
capacité de mobiliser les autres dans
le réseau, et d’éviter de l’être soi-
même
Le pouvoir du réseauLe pouvoir du réseauLe pouvoir du réseauLe pouvoir du réseau
Enjeux de société
Hyp. 4 : Le pouvoir dépend de la
position et des ressources des pôles
du réseau dans leurs champs
respectifs.
Hyp. 5 : Le pouvoir dépend de la
capacité du réseau de se mobiliser et
de politiser ses enjeux.
Source: Van Campenhoudt, 2009
– Lien avec étapes identifiées dans cartographie des incidences – stade des intentions
– Quelques exemples• Vision: vous serait-il possible de traduire en 1 phrase la
2. Méthodologie de l’évaluation-pilote2.4 Guide d’entretien: questions évaluatives
13
• Vision: vous serait-il possible de traduire en 1 phrase la raison d’être de votre ADL ?
• Missions: par rapport au décret, quels sont les objectifs actuels particuliers et principaux de votre ADL et leur nature?
• Partenariats: – quels sont vos partenaires?– Quelles actions menez-vous ensemble? – Comment travaillez-vous ensemble?
3. Quelques résultats de l’évaluation-pilote
• Difficulté à traduire le développement local dans une vision stratégique de long terme
• Raisons – ADL récente
3.1 Vision
14
– ADL récente– Mobilité des agents d’où difficulté de suivi et/ou d’approfondissement – Soutien relatif des acteurs locaux/régionaux– Ressources limitées par rapport aux attentes de la Région– Rattachement variable à des plans plus généraux de développement
(PCDR, SSC, fondation rurale de Wallonie, GAL/LEADER, Marshall2.Vert etc)
• Définition souple des missions � grande latitude dans l’interprétation locale
• Plusieurs registres évoqués- Accompagnement : « accompagner les auteurs de projets »
- Relationnel: « décloisonner », « rapprochement public-privé »
3.2 Rôle de l’ADL3. Quelques résultats de l’évaluation-pilote
15Journée d'étude - 5 mai 2011
- Relationnel: « décloisonner », « rapprochement public-privé »
- Stratégie : « avoir une vision de long terme »
- Action : « créer de l’activité économique et de l’emploi »
- Curatif: « lutter contre le chômage »
Quelques résultats de l’évaluation-piloteLes partenariats
Structure en 4 points
• Position ADL par rapport à commune/partenaires• Type d’actions menées ensemble et modalités de fonctionnement
16
fonctionnement• Modalités de communication et de suivi• Rôle de la personnalité du responsable
1. Position de l’ADL par rapport à la commune Constat: la position dépend de• la formule juridique choisie• l’intérêt du mandataire responsable pour l’ADL• la localisation de l’ADL
3. Quelques résultats de l’évaluation-pilote3.3 Partenaires
3.3.1 Relations ADL – Commune(s)
17Journée d'étude - 5 mai 2011
Attentes des ADL: renforcement de leur position via• un plan stratégique adapté aux besoins locaux• un mandat clair• un soutien renforcé de la part des mandataires • une légitimation de leur activité
2. Type d’actions menées ensemble et fonctionnement
On observe une « variété » d’activités de l’ ADL• service d’aide à la décision communale• intégration dans des programmes communaux
3. Quelques résultats de l’évaluation-pilote3.3 Partenaires
3.3.1 Relations ADL – Commune(s)
18
• activités de mise en cohérence d’outils communaux• aide technique au bourgmestre• …
L’ADL intervient à des stades différents de la vie des projets de la commune
L’initiative de l’ADL dans la mise sur pied d’actions nouvelles est variable
3. Modalités de communication et de suivi • rapport d’activités annuel des ADL = principal vecteur formel• communication informelle
4. Rôle de la personnalité
3. Quelques résultats de l’évaluation-pilote3.3 Partenaires
3.3.1 Relations ADL – Commune(s)
19
4. Rôle de la personnalité • la capacité de mobilisation des acteurs et le dynamisme de l’ADL
dépendent notamment de• la formation (pluridisciplinarité)• l’expérience professionnelle• la vision personnelle du travail• l’utilisation d’outils de management
• L’autonomie et la polyvalence sont des atouts
1. Position de l’ADL par rapport aux partenaires
• Faire sa place = travail de longue haleine
• ADL perçue comme complémentaire ou concurrente
3. Quelques résultats de l’évaluation-pilote3.3 Partenaires
3.3.2 Relations ADL – Partenaires
20
• ADL perçue comme complémentaire ou concurrente
• manque de clarté sur qui fait quoi
• difficulté de se positionner par rapport aux organismes de développement existants (intercommunale par ex)
2. Type d’actions menées ensemble et modalités de fonctionnement• L’ADL initie des projet à différents stade de la vie des projets
Ex: réunions en amont visant à • recueillir les attentes des publics cibles• organiser le dialogue entre partenaires
• L’ADL met en place des projets • Ex: guichet unique de proximité pour les entreprises
• L’ADL répond à des invitations de partenaires
3. Quelques résultats de l’évaluation-pilote3.3 Partenaires
3.3.2 Relations ADL – Partenaires
21
• L’ADL répond à des invitations de partenaires• Concertation et suivi de dossiers présentés par ces partenaires
Difficultés soulignéesADL initient des réunions dont les objectifs sont :• ADL initient des actions ponctuelles seules• entreprises• petits commerçantsADL initient des actions en partenariat
• partenariats souvent informels (confiance)• ponctuels• projets pas toujours poursuivis• difficulté d’approfondir
2. Type d’actions menées ensemble et modalités de fonctionnement
• Difficultés soulignées• partenariats souvent informels (confiance)• projets ponctuels d’où difficulté d’approfondissement
3. Quelques résultats de l’évaluation-pilote3.3 Partenaires
3.3.2 Relations ADL – Partenaires
22
• projets ponctuels d’où difficulté d’approfondissement • résistance au changement des partenaires• individualisme de certains partenaires d’où rétention
d’information• peu d’encadrement en matière de gestion de projet d’où
difficulté d’assurer un suivi des projets• …
3. Modalités de communication et de suivi • le maillage relationnel prend du temps
• manque d’information sur le suivi des actions initiées par l’ADL• communication informelle• rétention d’information de certains partenairesA améliorer:
3. Quelques résultats de l’évaluation-pilote3.3 Partenaires
3.3.2 Relations ADL – Partenaires
23
A améliorer:Visibilité et reconnaissance des activités ADL, notamment par - Création d’outils partagés- Invitation systématique à participer aux événements initiés par d’autres
partenaires - Présence d’un agent ADL dans chaque commune d’un regroupement ADL- Mise en place d’une démarche formelle de suivi-évaluation
ConstatsConstatsConstatsConstats FacteursFacteursFacteursFacteurs dededede risquerisquerisquerisque
Réalité multiple et complexe du dispositif ADL car :
- l’historique de chaque ADL est différente
- 3 formes de statut autorisées
- Concerne une ou plusieurs communes
- Les modalités de travail avec la commune sont variables (fond et forme)
- L’implication du bourgmestre ou des mandataires concernés est variable
- La personnalité de l’agent est très importante
- La formation des agents ADL est très variable
- Plusieurs niveaux de pouvoir impliqué : « statut » communal de l’ADL, qui doit
répondre à des missions établies au niveau régional
- conceptions multiples du travail quotidien des ADL
- dépendance de l’ADL du pouvoir politique ou d’un ou de plusieurs mandataires
3. Quelques résultats de l’évaluation-pilote3.3 Partenaires3.3.3 Conclusion
24
répondre à des missions établies au niveau régional
Moyens limités du dispositif par rapport à l’ampleur des objectifs : en termes
financiers, en termes de ressources humaines, etc.
- perte d’énergie à propos de soucis financiers
- difficultés liées à la correspondance « moyens » - « objectifs »
- difficulté de suivi des actions, existence de projets non réalisés
Partenaires non liés par des rapports hiérarchiques - souci de légitimité et de pouvoir
Multiplicité de
- programmes stratégiques spécifiques en cours dans les communes
- organismes socioéconomiques ayant des missions « proches » des ADL
- difficultés d’articulation de ces programmes / organismes avec l’ADL
- difficulté de détermination et de reconnaissance du rôle de l’ADL dans cet
environnement
Encadrement variable de l’action des ADL : via les inter-ADL, l’UVCW, la RW - isolement des ADL notamment dans un environnement institutionnel
Identification variable des responsabilités - dilution des responsabilités
Excellente connaissance des réalités locales par les ADL
FACTEURS
QUOI ? POUR QUOI ?
Outil de diagnostic: matrice AFOM4.1 Balises théoriques
25
Objectif définir la
stratégie de développement
FACTEURS INTERNES
Sous le contrôle de l’organisation:
ForcesFaiblesses
FACTEURS EXTERNES
Hors du contrôle de l’organisation ou à la
marge: Opportunités Menaces
COMMENT ?
EN PARTENARIAT…Identifier les différents partenaires qui doivent intervenir dans la construction de l’AFOM. S’assurer de l’exhaustivité et de la représentativité
4. Quelques résultats de l’évaluation-piloteOutil de diagnostic: matrice AFOM
4.1 Balises théoriques
26
représentativité
… AVEC UN BRAINSTORMINGRéunir les partenaires et faire émerger un maximum d’informations.Organiser ces informationsElaborer la matrice AFOM
… AVEC UN REGARD CRITIQUEVérifier la lisibilité de l’AFOMVérifier la pertinence des informations
DEFINITION DE LA STRATEGIE (PAR L’EXPLOITATION DE L’AFOM)
4. Quelques résultats de l’évaluation-piloteOutil de diagnostic: matrice AFOM
4.1 Balises théoriques
27
Selon les cas,
– Clarté relative des diagnostics
– Données plus ou moins standardisées � proposition de tableau de données réalisé par l’IWEPS
4. Quelques résultats de l’évaluation-piloteOutil de diagnostic: matrice AFOM
4.2 Quelques interrogations par rapport aux matrices construites par les ADL
28
de données réalisé par l’IWEPS
– Mise en perspective réduite
– Exploitation des relations entre données pas optimisée
– Parfois, confusion facteurs internes et externes
– Association des parties prenantes ?
– Exploitation de statistiques communes
– Comparaison avec autres communes (spatial)
– Standardisation des matrices
4. Quelques résultats de l’évaluation-piloteOutil de diagnostic: matrice AFOM
4.3 Pour une utilisation plus optimale de l’outil AFOM…
29
– Introduction d’éléments de dynamisme (temporel)
– Association partenaires
– Déduction d’une stratégie consensuelle
ADL-Pilotes
Croissance de la
population 2000-
2008 (%)
Croissance de la
population 1988-
2008 (%)
Densité de
population
(individus/km²)
(2008)
Evolution communale de
l'urbanisation
résidentielle entre 2003
et 2008 (%)
Pourcentage de
superficie de
SAED en 2008
Taux de
création
d'entreprise (%)
par
arrondissement
Taux de
chômage
(%) (2008)
Taux
d'emploi
(%) (2008)
Postes de
salariés pour
1,000 habitants
en 2007
Rochefort 2,0 10,5 73 De 4,2 à moins de 6,6 0,01 - 0,51 16-19 15 59 225-300
Grâce-Hollogne -2,4 0,4 637 Moins de 4,2 0,51 - 1 10-16 19 53 > 300
Orp-Jauche 8,5 29,6 160 De 6,6 à moins de 8,74 < 0,01 > 30 11 63 < 100
Berloz:Berloz:Berloz:Berloz: 8,9 Berloz:Berloz:Berloz:Berloz: 19,4 Berloz:Berloz:Berloz:Berloz: De 6,6 à moins
Exemple de critères de comparaison
30
Berloz-Donceel-
Faimes-Geer
Berloz:Berloz:Berloz:Berloz: 8,9
Donceel: Donceel: Donceel: Donceel: 6,2
Faimes: Faimes: Faimes: Faimes: 12,7
Geer:Geer:Geer:Geer: 14,6
Berloz:Berloz:Berloz:Berloz: 19,4
Donceel: Donceel: Donceel: Donceel: 26,5
Faimes: Faimes: Faimes: Faimes: 30,3
Geer:Geer:Geer:Geer: 28,1
143
Berloz:Berloz:Berloz:Berloz: De 6,6 à moins
de 8,74 Donceel:Donceel:Donceel:Donceel: De 4,2
à moins de 6,6 Faimes Faimes Faimes Faimes
et Geer:et Geer:et Geer:et Geer: De 8,74 à
moins de 14,93
< 0,01 20-29 9 67
Geer : Geer : Geer : Geer : 225-300
Les 3 autres:Les 3 autres:Les 3 autres:Les 3 autres: <
100
Bertogne- Sainte-
Ode- Tenneville
Bertogne: Bertogne: Bertogne: Bertogne: 19,8
SainteSainteSainteSainte----OdeOdeOdeOde: 6,1
Tenneville:Tenneville:Tenneville:Tenneville: 5,2
Bertogne :Bertogne :Bertogne :Bertogne : 22,2
SainteSainteSainteSainte----Ode et Ode et Ode et Ode et
Tenneville: Tenneville: Tenneville: Tenneville: 16,2
29
Bertogne:Bertogne:Bertogne:Bertogne: 14,93 et plus
SainteSainteSainteSainte----OdeOdeOdeOde: De 8,74 à
moins de 14,93
Tenneville:Tenneville:Tenneville:Tenneville: De 6,6 à
moins de 8,74
< 0,01 10-16 9 65
Bertogne :Bertogne :Bertogne :Bertogne : 225-
300 Les 2 Les 2 Les 2 Les 2
autres:autres:autres:autres: > 300
Anderlues 0,8 2,9 682 Moins de 4,2 0,01 - 0,51 16-19 21 50 150-175
Soignies 4,6 11,2 235 De 4,2 à moins de 6,6 0,51 - 1 20-30 13 57 > 300
Dinant 3,4 9,7 132 Moins de 4,2 0,01 - 0,51 16-20 20 56 > 300