Université de Rouen UFR SCIENCES DE L'HOMME ET DE LA SOCIETE Département de Sciences de l'Education Master METIERS DE LA FORMATION Parcours INGENIERIE ET CONSEIL EN FORMATION Améliorer l’efficacité de l'évaluation de la formation en entreprise Mémoire de recherche Sous la direction de Patricia Tavignot Alban Bouquet septembre 2013
144
Embed
Améliorer l’efficacité de l'évaluation de la formation en ...shs-app.univ-rouen.fr/civiic/memoires_masterICF/textes/memoire... · savoir-faire liés à lingénierie mais il apporte
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Université de Rouen
UFR SCIENCES DE L'HOMME ET DE
LA SOCIETE
Département de Sciences de l'Education
Master METIERS DE LA FORMATION
Parcours INGENIERIE ET CONSEIL
EN FORMATION
Année universitaire 2012-2013
Améliorer
l’efficacité de
l'évaluation de la
formation en
entreprise Mémoire de recherche
Sous la direction de Patricia Tavignot
Alban Bouquet septembre 2013
1
Attestation d’authenticité
Tout plagiat réalisé par un étudiant constitue une fraude au sens du décret du 13 juillet 1992 relatif à
la procédure disciplinaire dans les EPCSCP. La fraude par plagiat relève de la compétence de la
section de discipline de l’Université. En général la sanction infligée aux étudiants qui fraudent par
plagiat s’élève à un an d’exclusion de tout établissement d’enseignement supérieur.
Tout passage ou schéma copié sans qu’il soit fait explicitement référence aux sources, selon les
normes de citation universitaire, sera considéré par le jury ou le correcteur comme plagié.
Je, soussigné Bouquet Alban,
Etudiant de Master 2 Ingénierie et Conseil en Formation,
Etablissement : Université de Rouen
UFR Sciences de l'Homme et de la Société
Département de Sciences de l'Education,
Certifie que le texte soumis ne comporte aucun passage ou schéma copié
sans qu’il soit fait explicitement référence aux sources selon les normes de
citation universitaires.
Fait à Rouen, le 5 septembre 2013.
Alban Bouquet
2
Remerciements
J’adresse tout d’abord mes remerciements à ma directrice de mémoire, Madame Patricia Tavignot,
pour ses conseils avisés, sa sagacité et sa précieuse collaboration dans l’élaboration de ce mémoire.
Je souhaite remercier tout particulièrement ma tutrice de stage, Mme Soizic Houllemare, pour son
amitié, son aide précieuse, son soutien indéfectible et pour toutes les connaissances et compétences
acquises auprès d’elle. Mes remerciements s’adressent également à Mme Evelyne Bouvard, qui m’a
accordé sa confiance en me choisissant pour travailler dans le Service Emploi et Compétences
qu’elle dirige et à Monsieur Cédric Pellarin qui m’a accueilli dans le service Ressources Humaines
du siège régional de Veolia Propreté Nord Normandie.
Mes remerciements vont aussi aux salariés de Veolia Propreté pour leur sympathie et leur accueil,
en particulier à Béatrice Quemin pour ses conseils professionnels et sa spontanéité. Mes
remerciements vont aux personnes qui ont permis que ce travail de recherche aboutisse, je pense
bien sûr aux personnes que j’ai interrogées, notamment lors de mes entretiens, Mme Françoise
Milot, Mme Florence Gilbert et Mme Mareka Delepierre.
J’adresse aussi mes remerciements à toute l’équipe d’enseignants et d’intervenants du Master ICF
qui ont participé à l’élaboration de nouvelles connaissances et à l’avancée de mon projet
professionnel.
Je remercie chaleureusement tous mes collègues de la promotion ICF 2012-2013, pour les bons
moments passés ensemble, pour leur amitié, leur aide, leurs encouragements, leur partage
d’expériences qui m’ont permis d’avancer durant toute cette année.
Enfin, je remercie de tout mon cœur Cécile, pour sa patience et son soutien de tous les jours et
Nino, pour ses éclats de rire, avec qui j’ai découvert les joies de la paternité durant cette année
particulièrement enrichissante aussi bien humainement que professionnellement.
Table des matières .............................................................................................................................. 78
Annexes ................................................................................................................................................. I
4
Introduction
Après quatre années passées à travailler en tant que formateur en GRETA et en école préparatoire
privée, c’est une volonté de réorientation professionnelle qui nous a amené à entreprendre la
formation diplômante du Master 2 Ingénierie et Conseil en Formation. Dans un premier temps, nous
avons choisi de mettre de côté nos activités de formateur car les contraintes psychologiques
devenaient parfois pesantes et conflictuelles avec les apprenants.
Nous avons choisi ce master car nous apprécions particulièrement le domaine de la formation qui
véhicule des valeurs importantes à nos yeux et nous ne souhaitions pas nous en détacher
véritablement. Nous cherchions une formation diplômante qui nous permettrait d’accéder à des
postes à responsabilité dans des environnements riches et variés.
Grâce aux cours proposés, le master nous a ouvert les yeux sur nos propres représentations de la
formation et il nous a permis de mieux cerner les problèmes auxquels nous étions confrontés dans
nos expériences précédentes. Ce master apporte des éléments pratiques et pragmatiques sur les
savoir-faire liés à l’ingénierie mais il apporte surtout une vision stratégique d’ensemble sur la
formation qui permet à terme de mieux penser la formation en général et donc de s’adapter plus
facilement aux situations et contraintes particulières.
Après avoir passé quelques années en centre de formation, nous souhaitions élargir notre horizon,
changer de type de structure et évoluer dans un environnement qui nous était totalement étranger.
Nous décidions alors d’effectuer notre stage dans une entreprise privée qui nous permettrait
d’ouvrir notre champ de réflexion sur le monde du travail et d’apprendre à travailler en équipe avec
les salariés d’un service formation.
Le choix de notre sujet de mémoire s’est imposé à nous assez rapidement. Lorsque nous étions
formateurs en organisme de formation, l’évaluation de la formation était l’un des sujets délicats
qu’il fallait manier avec précautions. Nous avons alors supposé qu’il en était de même pour
l’évaluation de la formation en entreprise, ce qui nous a permis de trouver un lien direct, d’avoir un
fil conducteur, entre nos expériences et connaissances passées, notre lieu de stage et notre
recherche.
5
Lors de la quête de notre stage, nous avons souhaité pouvoir trouver un lieu de stage qui nous
permettrait d’effectuer notre recherche et d’étudier l’évaluation de la formation comme nous
l’entendions, en ayant à notre disposition tous les acteurs de la formation. Pour cette raison, nous
avons décidé de trouver, comme lieu de stage, une entreprise d’envergure suffisamment importante
pour avoir son propre centre de formation. Nos candidatures ont porté leur fruit puisque nous avons
réussi à décrocher un stage dans l’un des sièges régionaux de l’une des plus grandes entreprises
françaises : Veolia Propreté Nord Normandie. Ce stage, qui concorde parfaitement avec le cadre du
master, a été pour nous l’occasion de traiter un sujet de recherche qui nous motive et que nous
considérons comme étant un facteur déterminant de la formation. Il fut aussi pour nous l’occasion
de développer un réseau de connaissances professionnelles et de construire de nouvelles
compétences en lien direct avec la formation. En outre, il nous a astreint à nous remettre en question
en adoptant une nouvelle posture professionnelle et en nous adaptant à de nouvelles conditions de
travail. Ce stage fut donc inhérent à la construction de notre nouveau projet professionnel.
Notre objectif, désormais, est de travailler dans le service formation d’une entreprise et notre
recherche nous a permis de travailler et de mieux comprendre la formation et son évaluation dans ce
type d’organisation. Ce travail de recherche est, pour nous, un investissement professionnel qui
nous aidera dans nos futures fonctions et pour cette raison nous avons souhaité savoir comment
améliorer l’efficacité de l’évaluation de la formation en entreprise puisque celle-ci cherche sans
cesse à améliorer ses performances et à connaître les résultats de l’investissement en formation
qu’elle fait chaque année pour y parvenir.
Pour répondre à cette question dans notre mémoire, nous construirons notre réflexion par les étapes
suivantes :
Dans un premier temps, nous présenterons le contexte professionnel et le contexte du stage dans
lequel s’inscrit notre recherche, ce qui nous permettra de construire notre modèle d’analyse, notre
problématique et nos hypothèses de recherche.
Dans un deuxième temps, nous nous concentrerons sur les apports théoriques et les concepts qui
participent aux fondements de notre recherche proprement dite.
Dans un troisième temps, nous présenterons l’approche méthodique et les outils qui nous
permettront de répondre aux questionnements soulevés par notre recherche.
Dans un quatrième temps, nous répondrons à notre problématique par l’analyse des résultats
qualitatifs et quantitatifs que nous tirerons des données provenant des entretiens et des
questionnaires que nous avons réalisés.
6
Enfin, dans un cinquième temps, à partir de l’analyse élaborée dans la partie précédente, nous
proposerons un certain nombre de préconisations qui pourraient améliorer l’efficacité de
l’évaluation de la formation dans l’entreprise.
7
I. Problématique
A. Contextualisation
Pour aborder le contexte dans lequel s’est construite notre problématique, nous commencerons par
décrire ce qui, dans notre expérience professionnelle, est en lien avec notre recherche, puis nous
exposerons les caractéristiques de notre lieu de stage et de nos missions.
1. Parcours professionnel en lien avec le thème de recherche
Pour mener à bien notre recherche, nous devons d’abord nous préoccuper du contexte professionnel
dans lequel elle s’inscrit.
Nous avons étudié les Lettres Modernes durant plusieurs années qui nous ont amené à préparer et à
passer le concours national du CAPES de Lettres Modernes pour devenir professeur dans le
secondaire. Durant nos études, nous avons commencé à enseigner, d’abord en cours particuliers
puis dans différents organismes de formation. Nous avons alors été professeur de français et
d’histoire-géographie dans un Greta, de techniques littéraires dans une école préparatoire privée et
formateur en écrits professionnels auprès des salariés d’une entreprise.
Lors de notre pratique professionnelle, nous nous sommes souvent questionnés sur la formation que
nous dispensions et notamment sur un point en particulier, celui de l’évaluation. Dans notre
pratique, nous avons principalement travaillé sur l’évaluation des acquis des apprenants en créant
des sujets de concours blancs ou des contrôles en cours de formation.
Dans le cadre de l’application de certaines normes de qualité qui certifiaient les centres de
formation concernés, nous avons aussi invité les apprenants à remplir des questionnaires de
satisfaction concernant la formation, son organisation, les contenus, les méthodes, les formateurs et
la relation pédagogique entre le formateur et l’apprenant. Nous n’avons jamais participé à la
création de ces questionnaires et ils ne nous étaient pas expliqués, nous devions simplement les
remettre aux apprenants. Nous nous rendions compte qu’ils ne correspondaient pas toujours aux
conditions de la formation. Ainsi, les apprenants ne pouvaient répondre à toutes les questions, ce qui
8
faussait les résultats globaux de l’enquête. Nous nous interrogions souvent sur la pertinence de
certaines des questions de ces questionnaires de satisfaction comme « Les contenus proposés par la
formation sont-ils en adéquation avec vos besoins ? Que pensez-vous des méthodes pédagogiques
du formateur, de ses compétences ? » Dans un premier temps, ces questionnaires ont représenté un
écueil pour le formateur que nous étions car ils remettaient parfois en question jusqu’à notre posture
professionnelle.
Mais après un temps de réflexion, nous avons compris qu’ils avaient une utilité et qu’ils devaient
être améliorés pour s’adapter au mieux aux apprenants, à la formation, à son organisation et aux
formateurs. Nous avons alors pensé que l’évaluation de la formation en général pouvait être
améliorée. C’est pour cette raison que nous avons orienté notre recherche sur l’évaluation de la
formation, en particulier sur les démarches qui favoriseraient son amélioration.
2. Lieu de stage et mission
Nous avons effectué notre mission au sein du siège régional de Veolia Propreté Nord Normandie
(VPNN) qui est l’une des six entités régionales de Veolia Propreté France.
Veolia Propreté est l’une des quatre divisions de Veolia Environnement, multinationale de l’énergie,
de l’eau, du transport et du recyclage et du traitement des déchets.
Veolia Propreté
VP Nord Normandie
VP Ile de France
VP Rhin Rhône
VP Sud Ouest
VP Sud Est VP Centre
Ouest
9
Nous avons travaillé ici pour une branche de l’entreprise spécialisée dans la collecte et le traitement
des déchets et implantée sur les régions Picardie, Nord-Pas de Calais, Haute et Basse-Normandie.
Cette branche de l’entreprise emploie près de 2000 salariés.
Notre mission s’est déroulée au sein du service Emploi et Compétences qui fait partie de la
Direction des Ressources Humaines du siège régional de VPNN. Notre tutrice en entreprise est la
Chargée de Formation et Compétences de la Responsable du service Emploi et Compétences, elle-
même sous la responsabilité du Directeur des Ressources Humaines.
L’entreprise possède son propre réseau de centres de formation intégrés nommé « Campus » qui est
constitué de 6 centres sur la France, selon le même découpage régional que Veolia Environnement
France. Le Campus Veolia, nommé « Nord-Europe » (Campus VENE), situé à Lomme près de Lille,
est le partenaire principal de Veolia Propreté Nord Normandie en ce qui concerne la formation
professionnelle continue avec le Campus de Jouy-le-Moutier en région parisienne.
Pendant la durée de ce stage, plusieurs missions nous ont été assignées :
- Encadrer la gestion déléguée de la formation professionnelle du siège en 2013 en
lien direct avec les salariés, le réseau des Campus et l’OPCA.
- Accompagner la politique formation à travers le suivi du déploiement des
formations stratégiques et création de l’évaluation différée pour les salariés
10
précédemment formés, notamment la formation « VIVRE, mettre en œuvre les 5
actions sécurité prioritaires chez Veolia Propreté ».
- Préparer la gestion déléguée de la formation professionnelle de l’ensemble de la
région en 2014.
- Contribuer à la démarche GPEC au travers de la participation à :
o La création d’un outil de gestion des compétences à partir de la
cartographie des emplois et compétences,
o la construction des cahiers des charges de projet de formation en lien avec
Campus et
o la création des parcours de formation et des passerelles mobilités.
B. Construction du modèle d’analyse et
problématisation
Après avoir introduit le contexte dans lequel notre recherche se situe et afin de construire notre
réflexion autour de notre sujet, nous nous intéresserons maintenant plus en détail à la
problématisation.
1. Liens entre notre sujet de recherche et la mission
Parmi les différentes missions présentées ci-dessus, la mission de « création de l’évaluation différée
pour les salariés précédemment formés, notamment à la formation VIVRE, mettre en œuvre les 5
actions sécurité prioritaires chez Veolia Propreté » est le point d’appui de notre recherche pendant
le stage. Grâce à cette mission, nous avons pu travailler sur l’évaluation de la formation pendant
notre stage en entreprise.
L’évaluation de la formation est un point fondamental de la formation dans les entreprises et celle-
ci est un outil destiné à mesurer la qualité des formations effectuées. Néanmoins, un certain nombre
de représentations pollueraient l’esprit de ceux qui sont en contact avec elle. Ces représentations
sembleraient empêcher les acteurs de la formation de construire de véritables connaissances
empiriques sur l’évaluation, ce qui nuirait à sa pratique et à sa mise en œuvre. Ainsi, certains
11
obstacles, voire certaines contraintes organisationnelles, comme un désintérêt manifeste de la
hiérarchie, sembleraient aller à l’encontre de l’utilisation de l’évaluation de la formation.
Ainsi, après un entretien avec notre maître de stage avant le stage, nous avons compris que certaines
formes d’évaluation de la formation n’existent pas sur le lieu de stage.
Pour accorder nos besoins en termes de recherche sur l’évaluation et les besoins de l’entreprise,
nous avons alors proposé d’intégrer l’évaluation aux missions déjà proposées. Notre projet fut
validé.
2. Questionnements
A partir du contexte et du lieu de stage qui précèdent, nous posons une série de questions
essentielles pour nous permettre de construire ultérieurement notre problématique :
L’évaluation de la formation sert-elle à quelque chose ?
Quels sont les a priori et représentations sur l’évaluation de la formation ?
Quelle est la stratégie de l’entreprise en termes de formation ?
La formation est-elle construite par une démarche qualité ?
L’évaluation de la formation est-elle pensée et construite en même temps que la formation elle-
même ?
Quels sont les acteurs de l’évaluation de la formation ?
L’évaluation de la formation est-elle suffisamment exploitée par les acteurs ?
Comment les acteurs travaillent-ils à l’évaluation de la formation ?
Quelles sont les difficultés de mise en œuvre de l’évaluation de la formation ?
Quelles sont les contraintes de l’évaluation de la formation ?
Y a-t-il des obstacles, des contraintes organisationnelles à l’évaluation de la formation ?
3. Construction de la problématique
En tenant compte des questions de départ, nous pouvons réfléchir à une problématique qui
synthétise ces différentes questions. Comme nous l’avons vu, l’évaluation de la formation est très
importante dans les entreprises. Dans une entreprise qui recherche le profit et qui s’efforce de
dépenser le moins possible, faire en sorte que les formations suivies par ses employés soient
efficaces, qu’elles développent leurs compétences et augmentent leur productivité est un point
12
essentiel. Pour former ses salariés, une entreprise doit donc leur fournir la meilleure formation
possible et pour cela, elle doit évaluer au mieux la formation. Mais l’évaluation elle-même est
complexe et difficile à réaliser. Pour cette raison, l’entreprise et les acteurs impliqués dans la
formation doivent améliorer l’efficacité de l’évaluation de la formation. Nous pouvons ainsi faire
nôtre leur question et la prendre pour problématique de recherche :
Comment améliorer l’efficacité de l’évaluation de la formation ?
4. Construction des hypothèses
Nous émettrons deux hypothèses qui s’imbriquent entre elles. Pour construire ces deux hypothèses,
vérifier leur pertinence, leur degré de généralité et de falsifiabilité, nous nous sommes appuyés sur
les travaux de Raymond Quivy et Luc Van Campenhoudt1. Nous formulons donc deux hypothèses
qui reposent sur nos concepts et sur des phénomènes2.
En partant du principe que dans la démarche qualité, selon la roue de Deming, le mouvement vers
l’amélioration est ininterrompu, comme nous le verrons dans la partie suivante, alors l’évaluation de
la formation est sans cesse améliorable. L’évaluation de la formation comporte plusieurs
dimensions, parfois difficilement réalisables. De plus, nous supposons que l’utilisation de
l’évaluation au sein des entreprises dépend de la conception des acteurs de l’entreprise à propos de
cette évaluation, ce qui nous conduit directement à formuler notre première hypothèse :
Hypothèse 1 : « L'efficacité de l'évaluation au sein des entreprises est dépendante de leur conception
de l'évaluation ».
Cette première hypothèse semble pertinente dans la mesure où elle paraît falsifiable3. Cette
hypothèse est assez générale pour pouvoir être testées dans d’autres contextes, dans d’autres
missions et dans d’autres entreprises que ceux explicités dans ce dossier. En outre, cette hypothèse
paraît falsifiable car des énoncés contraires peuvent être proposés comme : « l’efficacité de
l’évaluation au sein des entreprises est indépendante de leur conception de l’évaluation ».
1 Quivy R. et Van Campenhoudt L. (2006), Manuel de recherche en sciences sociales, Dunod, 3è
édition.
2 Quivy R. et Van Campenhoudt L. (2006), Manuel de recherche en sciences sociales, Dunod, 3è
édition, p.126.
3 Quivy R. et Van Campenhoudt L. (2006), Manuel de recherche en sciences sociales, Dunod, 3è
édition, p. 135.
13
La seconde hypothèse nous permettra de répondre directement à la problématique formulée. Si
l’efficacité de l’évaluation dans les entreprises dépend de leur conception de l’évaluation, nous
soutenons la proposition selon laquelle cette conception est transformable et qu’ainsi l’évaluation
est améliorable. Partant de ce postulat, nous demandons, comment améliorer l’évaluation de la
formation. Ce qui nous conduit à formuler notre seconde hypothèse :
Hypothèse 2 : « L'efficacité de l'évaluation est améliorable par la coopération entre les acteurs de la
formation ».
Cette seconde hypothèse semble tout aussi pertinente et falsifiable que la première hypothèse. En
effet, elle est testable dans d’autres contextes que l’entreprise. Elle présente un certain degré de
généralité. De plus, elle admet aussi des énoncés contraires comme : « la coopération est inefficace
pour améliorer l’efficacité de l’évaluation de la formation ».
14
II. Apports théoriques et concepts
A. Contextualisation
Pour mener à bien notre recherche, nous devons d’abord nous préoccuper du contexte dans lequel
elle s’inscrit. Nous avons choisi d’explorer le contexte organisationnel de la formation pour traiter
des rapports professionnels entre les hommes. Puis, nous choisissons d’utiliser comme contexte
l’ingénierie de la formation dans laquelle nous voulons inscrire notre recherche. Enfin, pour mieux
comprendre le contexte de l’évaluation, nous l’étudierons comme étant une étape fondamentale de
l’ingénierie de formation.
1. Contexte organisationnel de la formation en organisme de
formation et en entreprise
Un projet et ses implications ne se comprennent que si le contexte organisationnel est pris en
compte. Ainsi, pour Thierry Ardouin, « Formation et organisation sont ensemble dans un processus
dynamique où le développement des compétences est complètement lié au développement de
l’organisation et réciproquement »4 (p.19). Pour pouvoir comprendre les liens entre formation et
organisation, encore faut-il avoir une connaissance précise de ce qu’est une organisation. Selon
Dubois et Petit, « L’organisation est une construction sociale complexe, non naturelle et modulable.
Elle regroupe un certain nombre de personnes interdépendantes qui travaillent ensemble pour
atteindre un but commun. Toute organisation comprend des groupes qui sont eux-mêmes constitués
d’individus » 5(p. 9). Ainsi, on peut supposer que le but commun de la formation et de l’organisation
serait le développement des compétences des groupes et des individus qui les composent,
principalement selon les besoins de l’organisation.
Si l’organisation est une construction sociale complexe, alors dans quel type d’organisation se
déroulera la formation ? Les salariés sont formés dans leur entreprise ou dans un organisme de
4 ARDOUIN T. (2006), Ingénierie de formation pour l’entreprise, Dunod, 2è édition, p.19.
5 DUBOIS M. et PETIT F. (2003), Introduction à la psychosociologie des organisations, Dunod,
3è édition, p. 9.
15
formation. S’ils sont formés dans un centre de formation, des salariés d’autres entreprises seront
parfois présents c’est ce qu’on appelle la formation inter-entreprise. Si, la formation se déroule
dans un organisme de formation, dans ce cas, les salariés sont coupés de leur lieu de travail, de leur
hiérarchie. D’après notre expérience, les formateurs du centre de formation ne sont alors pas en
contact avec les dirigeants de l’entreprise, les responsables de formation ou les services Ressources
Humaines commanditaires de l'action de formation. La communication entre certains des acteurs de
la formation semble donc restreinte. Si la formation se déroule dans l'enceinte de l'entreprise, les
personnels encadrant leur formation sont davantage présents.
Nous pouvons donc penser que lorsque le responsable de la formation de l'entreprise est en contact
direct avec les formateurs, la communication, la collaboration et la coopération sont facilitées et que
le contexte organisationnel de la formation joue un rôle dans la possible amélioration de
l’évaluation de la formation.
2. L'ingénierie de la formation
Le fait d’associer le concept d’ « ingénierie » à celui de formation date des années 606 néanmoins,
cette association de concepts a le mérite de mettre en avant la volonté de donner un caractère
rationnel et scientifique à l’univers de la formation. Cette vision méthodique de la formation
correspond au monde de l’entreprise et les entreprises ont compris que leur propre développement
passait par le développement des compétences de leurs salariés. L’ingénierie de formation s’est
donc donné pour but d’aider à développer leurs compétences pour obtenir un bénéfice mutuel. Pour
mieux comprendre le contexte de l’ingénierie de la formation, nous nous appuyons sur les
définitions suivantes :
Selon Le Boterf, « L’ingénierie de formation constitue l’ensemble coordonné des travaux
méthodiques de conception et de réalisation des systèmes de formation. »7
Selon la norme AFNOR, « L’ingénierie de la formation désigne l’ensemble des démarches
méthodologiques articulées. Elles s’appliquent à la conception de systèmes d’action et de
6 LE BOTERF G. (2011), « l’ingénierie de la formation : quelle définition et quelles évolutions? »
in Carré et Caspar, Traité des sciences et techniques de la formation, 3e Edition, p.383.
7 LE BOTERF G. (1990), L’Ingénierie et l’évaluation de la formation, Paris, Edition
d’Organisation.
16
dispositifs de formation pour atteindre efficacement l’objectif fixé. L’ingénierie de formation
comprend l’analyse des besoins de formation, la conception du projet formatif, la coordination et le
contrôle de sa mise en œuvre et l’évaluation des effets de la formation. »8
Pour Thierry Ardouin, « l’ingénierie de formation consiste […] à faire l’analyse complète du travail
et à monter un projet de formation adapté, pour aider l’entreprise à évoluer et à devenir plus
performante […], mais aussi pour que l’individu puisse progresser à l’intérieur de son projet. »9
(p.19)
3. L'évaluation : étape cruciale de l'ingénierie de formation
L'ingénierie de formation suit, selon Christophe Parmentier le process suivant10
:
Ainsi, pour être cohérente, la démarche d'ingénierie de la formation forme une chaîne où
l'évaluation est le dernier maillon. Même si l'évaluation est la dernière marche de l'ingénierie, elle
est aussi importante que les autres étapes.
Pour Thierry Ardouin, l’évaluation est la dernière des quatre étapes de la démarche d’ingénierie de
la formation et elle « permet la comparaison, ou la confrontation entre les résultats attendus ou
prévus et ceux effectivement atteints, en cours ou en fin de formation. Cette analyse des écarts
constatés profite à la fois à l’entreprise et au responsable de la formation : l’entreprise peut
apporter les ajustements nécessaires, en cours de formation, et les améliorations à moyen ou long
Table des matières ............................................................................................................................ 78
Annexes ................................................................................................................................................ I
Annexe 1 : Guide d’entretien ............................................................................................................ I
Annexe 2 : Trame de la grille d’analyse d’entretien ..................................................................... III
Annexe 3 : Transcription intégrale de l’Entretien A ...................................................................... V
Annexe 4 : Grille d’analyse de l’entretien A ............................................................................... XIV
Annexe 5 : Grille d’analyse de l’entretien B ............................................................................. XXIII
Annexe 6 : Grille d’analyse de l’entretien C ........................................................................... XXXIII
Annexe 7 : Grille d’analyse transversale des entretiens ........................................................... XLII
80
Annexe 8 : Commentaires en supplément des questionnaires .............................................. XLVI
Annexe 9 : Questionnaire général ............................................................................................ XLIX
Annexe 10 : Questionnaire spécifique à VIVRE ............................................................................. LI
Annexe 11 : Extrait du tableau de données quantitatives .......................................................... LIII
Annexe 12 : Exemple de tri croisé dans Excel ............................................................................. LIV
Annexe 13 : Réponses aux questions ouvertes des questionnaires ........................................... LV
I
Annexes
Annexe 1 : Guide d’entretien
Guide d’entretien Problématique : Comment améliorer l’efficacité de l’évaluation de la formation ?
Hypothèse 1 : « L'efficacité de l'évaluation au sein des entreprises est dépendante de leur conception de l'évaluation »
Items Questions posées
Différents types d’évaluation connus Pour vous l’évaluation de la formation c’est …..
Types d’évaluation utilisés Quelles formes de l’évaluation de la formation utilisez-vous ?
Pratiques réelles d’évaluation L’évaluation de la formation fait-elle partie de votre champ de compétences ? Comment la mettez-vous en pratique ?
Utilité de l’évaluation A-t-elle un intérêt pour vous ? Quels sont vos a priori à son sujet ?
Nécessité de l’évaluation de la formation
D’après vous, est-elle nécessaire en formation professionnelle continue ?
Importance de l’évaluation de la formation
Rentre-t-elle dans le cadre de vos fonctions ?
Temps accordé à l’évaluation
Quelle est la part de votre temps de travail alloué à l’évaluation de la formation ?
Moyens accordés à l’évaluation Grâce à quels moyens, dispositifs est-elle mise en œuvre ?
Difficultés à évaluer Quelles sont vos difficultés face à l’évaluation de la formation en général ?
Obstacles et contraintes organisationnels à l’évaluation de la formation
Quelles contraintes (organisationnelles) vous empêchent de mener à bien l’évaluation de la formation ?
Existence d’un cahier des charges Un cahier des charges, aussi succinct soit-il, est-il créé avant chaque formation ?
Existence d’objectifs de formation prédéfinis
Des objectifs de formation sont-ils définis par la hiérarchie ? L’entreprise utilise-t-elle la formation comme un moyen stratégique de développement des compétences de l’homme et de l’entreprise ?
Evaluation de la formation conçue en amont
Concevez-vous les évaluations de la formation en même temps que les formations ou programmes de formation eux-mêmes ?
Réflexion sur l’amélioration de l’évaluation et sur l’amélioration de la
Comment amélioreriez-vous l’évaluation de la formation ? Comment analysez-vous l’évaluation de la formation pour
II
formation améliorer les formations ?
Hypothèse 2 : « L'efficacité de l'évaluation est améliorable par la coopération entre les acteurs de la formation »
Items Questions posées
Acteurs impliqués dans l’évaluation de la formation
Travaillez-vous sur ce sujet avec d’autres personnes ? Si oui, lesquelles ?
Intérêt de la hiérarchie pour l’évaluation A-t-elle un intérêt pour votre service ? Recevez-vous, de la part de votre hiérarchie, des consignes sur l’évaluation de la formation ? Votre hiérarchie a-t-elle certaines attentes à ce propos ?
Intérêt des apprenants pour l’évaluation L’évaluation de la formation a-t-elle un intérêt pour les apprenants ? Se sentent-ils impliqués dans l’évaluation de la formation ?
Intérêt du formateur pour l’évaluation L’évaluation de la formation a-t-elle un intérêt pour le formateur ? Comment utilise-t-il les différents types d’évaluation ? A-t-il des a priori à ce sujet ?
Intérêt de l’entreprise pour l’évaluation L’entreprise associe-t-elle l’évaluation de la formation à une démarche qualité ?
Volonté commune d’amélioration de l’évaluation
Pensez-vous que les acteurs de la formation aient une réelle volonté d’améliorer l’évaluation et la formation ?
Mise en place d’une évaluation construite collectivement
Comment travaillez-vous collectivement ? Transmettez-vous vos pratiques à vos collègues ou collaborateurs ?
Réflexion sur l’amélioration de la coopération
Votre collaboration est-elle fructueuse ? Pensez-vous qu’elle permette d’améliorer l’efficacité de l’évaluation de la formation et au final la formation elle-même ?
III
Annexe 2 : Trame de la grille d’analyse d’entretien
Grille d’analyse de l’entretien X Problématique : Comment améliorer l’efficacité de l’évaluation de la formation ?
Hypothèse 1 : « L'efficacité de l'évaluation au sein des entreprises est dépendante de leur conception de l'évaluation »
Questions posées : -Pour vous l’évaluation de la formation c’est ….. -Quelles formes de l’évaluation de la formation utilisez-vous ? -L’évaluation de la formation fait-elle partie de votre champ de compétences ? Comment la mettez-vous en pratique ? -A-t-elle un intérêt pour vous ? Quels sont vos a priori à son sujet ? -D’après vous, est-elle nécessaire en formation professionnelle continue ? -Rentre-t-elle dans le cadre de vos fonctions ? -Quelle est la part de votre temps de travail alloué à l’évaluation de la formation ? -Grâce à quels moyens, dispositifs est-elle mise en œuvre ? -Quelles sont vos difficultés face à l’évaluation de la formation en général ? -Quelles contraintes (organisationnelles) vous empêchent de mener à bien l’évaluation de la formation ? -Un cahier des charges, aussi succinct soit-il, est-il créé avant chaque formation ? -Des objectifs de formation sont-ils définis par la hiérarchie ? L’entreprise utilise-t-elle la formation comme un moyen stratégique de développement des compétences de l’homme et de l’entreprise ? -Concevez-vous les évaluations de la formation en même temps que les formations ou programmes de formation eux-mêmes ? -Comment amélioreriez-vous l’évaluation de la formation ? Comment analysez-vous l’évaluation de la formation pour améliorer les formations ?
Items Enoncé Interprétation
Différents types d’évaluation connus
Types d’évaluation utilisés
Pratiques réelles d’évaluation
Utilité de l’évaluation
Nécessité de l’évaluation de la formation
Importance de l’évaluation de la formation
Temps accordé à l’évaluation
Moyens accordés à l’évaluation
Difficultés à évaluer
Obstacles et contraintes organisationnels à l’évaluation de la formation
Existence d’un cahier des charges
Existence d’objectifs de formation prédéfinis
Evaluation de la formation conçue en amont
IV
Réflexion sur l’amélioration de l’évaluation et sur l’amélioration de la formation
Hypothèse 2 : « L'efficacité de l'évaluation est améliorable par la coopération entre les acteurs de la formation »
Questions posées : -Travaillez-vous sur ce sujet avec d’autres personnes ? Si oui, lesquelles ? -A-t-elle un intérêt pour votre service ? Recevez-vous, de la part de votre hiérarchie, des consignes sur l’évaluation de la formation ? Votre hiérarchie a-t-elle certaines attentes à ce propos ? -L’évaluation de la formation a-t-elle un intérêt pour les apprenants ? Se sentent-ils impliqués dans l’évaluation de la formation ? -L’évaluation de la formation a-t-elle un intérêt pour le formateur ? Comment utilise-t-il les différents types d’évaluation ? A-t-il des a priori à ce sujet ? -L’entreprise associe-t-elle l’évaluation de la formation à une démarche qualité ? -Pensez-vous que les acteurs de la formation aient une réelle volonté d’améliorer l’évaluation et la formation ? - Comment travaillez-vous collectivement ? Transmettez-vous vos pratiques à vos collègues ou collaborateurs ? -Votre collaboration est-elle fructueuse ? Pensez-vous qu’elle permette d’améliorer l’efficacité de l’évaluation de la formation et au final la formation elle-même ?
Items Enoncé Interprétation
Acteurs impliqués dans l’évaluation de la formation
Intérêt de la hiérarchie pour l’évaluation
Intérêt des apprenants pour l’évaluation
Intérêt du formateur pour l’évaluation
Intérêt de l’entreprise pour l’évaluation
Volonté commune d’amélioration de l’évaluation
Mise en place d’une évaluation construite collectivement
Réflexion sur l’amélioration de la coopération
V
Annexe 3 : Transcription intégrale de l’Entretien A
E : Pour vous l’évaluation de la formation, c’est…
A : c’est un processus,… je dirais pour moi,…, c’est un processus qui …qui est continu, qui
démarre en amont de la formation en fait, au moment de l’analyse des besoins et puis qui se
poursuit tout au long de la formation. Je dirais presque que quand on demande aux personnes quand
elles arrivent, quelles sont leurs attentes, ça nous permet de vérifier si ça correspond à ce qui est
prévu et puis… et puis, à chaud quand elles ont terminé un module… on leur demande à chaud
quelles sont leurs…comment elles… comment elles ont vécu ce module et puis qu’est-ce
que…qu’est-ce qu’elles en pensent, là c’est plutôt au niveau de la satisfaction, est-ce qu’elles ont
l’impression qu’elles vont pouvoir mettre quelque chose en place euh et puis à la fin d’un dispositif
quand il y a eu plusieurs modules avec du temps hein , moi je, j’ai la particularité de faire des
formations, de recevoir les stagiaires sur plusieurs mois consécutifs, c’est ça qui est intéressant, euh
donc euh, on évalue à la fin , à la fin au bout de six mois, euh on leur demande une évaluation un
petit peu plus détaillée, voilà, et puis euh, pour les pratiques, il y a eu une époque où on faisait une
évaluation à froid, c’est-à-dire que, euh, trois à six mois après la formation on leur renvoyait un lien
vers un questionnaire pour évaluer ce qui avait été mis en place en lien avec la formation, si ça les
avait, s’ils avaient pu mettre en place des choses dans leurs pratiques et s’ils avaient des conseils à
nous donner aussi a posteriori pour euh, pour faire évoluer la formation… euh ça on ne le fait plus
parce qu’il y a une personne de moins dans le département, donc on n’a plus le temps de dépouiller
ça, euh voilà et puis on travaille aussi régulièrement avec d’autres acteurs, pas seulement les
stagiaires mais également les responsables de formation, euh et puis on essaye de travailler avec les
managers de nos stagiaires pour euh, pour avoir des retours sur euh, l’impact. Ça c’est d’une façon
moins organisée et plus ponctuelle malheureusement, mais essayer de voir quel impact ces
formations ont et qu’est-ce qu’on peut faire euh, qu’est-ce qu’on peut faire pour faire évoluer ces
formations. Voilà donc en termes d’évaluation, je pense que c’est à peu près tout. Dans certains
modules, on fait de l’évaluation des connaissances euh, c’est-à-dire que quand ils arrivent on leur
fait faire un petit quiz et puis à la fin du module on leur fait faire un autre quiz ou le même quiz
pour voir si y a eu une évolution… mais ça porte plus sur les connaissances euh.
E : Mm, mm.
A : Voilà. J’essaye de voir si on a d’autres pratiques d’évaluation … non voilà enfin, c’est
l’essentiel de nos, de nos pratiques je pense.
E : D’accord. Je voudrais revenir un petit peu par rapport à ce que vous avez dit plus tôt. Donc
vous demandez aux personnes en début de formation ce qu’elles attendent de la formation, c’est
ça ?
A : Oui.
E : Pour voir si ça correspond à leurs besoins ? Comment est-ce que vous faites exactement ?
VI
A : On fait ça systématiquement, on fait ça systématiquement parce que souvent malheureusement,
d’une part, elles n’ont pas eu le …, elles sont envoyées en formation mais elles n’ont pas eu la…,
elles n’ont pas toujours eu connaissance de la fiche programme par exemple. Elles ne savent pas
toujours ce qui va se passer dans la formation, quels sont ses objectifs, euh, disons donc il y a, pis
après même si elles ont une connaissance de la fiche programme et des objectifs de la formation,
elles peuvent avoir des attentes particulières, donc c’est important de, de bien caler tout ça en début
de session, de… de dire ça on va pouvoir y répondre, euh, ça on peut y répondre, c’est pas prévu
mais on va faire quand même et puis ça on ne va pas y répondre dans cette formation, euh, voilà
donc euh, ça permet de … , au stagiaire de de rentrer plus en douceur, je dirais, dans la formation et
au formateur de… d’avoir une forme d’adhésion aussi et puis de… de personnaliser, d’adapter un
petit peu le stage par rapport aux attentes des participants.
E : D’accord, donc vous avez dit que certains ne connaissaient pas forcément les objectifs ni le
programme avant d’arriver ?
A : Oui.
E : D’accord et …
A : C’est pas bien mais c’est la réalité donc je sais pas quoi vous dire…
E : Non, mais je …
A : Ce qu’on a fait dans les parcours longs, on a mis en place un dossier d’inscription que j’ai pas
appelé ça dossier de prescription ou dossier d’évaluation mais ce qu’on fait en amont du stage, c’est
que on a un dossier qui présente la formation et on demande aux stagiaires de –enfin, ça passe par le
responsable de formation, qui est en possession de ce dossier et qui doit le remettre au stagiaire et à
son n+1, à son manager…
E : Mm mm…
A : Et donc euh, ce qu’on préconise nous, c’est que les deux aient un entretien, préalablement à la
formation. Euh, dans ce dossier, y a une présentation du dispositif, de ses objectifs, des différents
modules. Voilà, on présente un petit peu le cadre et après, dans une deuxième partie, on a les
objectifs pédagogiques de chaque module et on leur demande de se positionner par rapport à ça
donc « est-ce que je suis à l’aise avec ce, ce, ce, cet objectif ? » ou est-ce que je suis pas du tout à
l’aise ? ». Et puis, le manager euh, le manager, lui, il a une colonne, il évalue également le … la
personne, en mettant si c’est important ou pas pour son poste, parce que parfois, on peut ne pas être
à l’aise, par exemple, avec la gestion…
E : Mm mm.
A : …D’une exploitation mais euh, si on en a pas besoin dans son poste, bah c’est pas grave (rires).
VII
E : D’accord.
A : Donc, euh, voilà, donc ça permet aussi d’avoir un…, la vertu de ce dossier, c'est que ça permet
d'avoir un dialogue entre managers parce que je m'occupe de formation entre managers de
proximité principalement mais ça veut dire que le manager de proximité et son responsable vont
discuter de qu'est-ce que c'est qu'être manager, quelles sont les compétences de...dont on a besoin ?
Qu'est-ce que la personne a déjà ? C'est très important de de valider ça, et puis qu'est-ce qu'elle
pourrait développer euh par le biais de cette formation et par ailleurs comme on a des modules à la
carte, des modules optionnels, ça permet de personnaliser le parcours et de dire voilà, au vu de
l'entretien qu'on a eu ensemble, bah tu vas faire tous les modules du tronc commun qui sont
obligatoires plus un module ou deux modules euh, sur des éléments, des domaines dont tu aurais
besoin et voilà et donc ça permet de personnaliser le parcours, de faire en sorte que tous les
stagiaires d'un même groupe que nous on appelle une promotion ne suivent pas tout à fait le même
parcours.
E : D'accord.
A : Voilà.
E : Et donc, dans ce dossier, vous m'avez dit, il y a un entretien de prévu entre le N et le N plus 1
donc ça... c'est une fiche à remplir par eux deux, lors de cet entretien, à mettre dans le dossier, c'est
ça ?
A : Voilà, une fiche sur, ... pour se positionner par rapport aux objectifs pédagogiques de la
formation et puis on pose des questions autres : on leur dit : « est- ce que vous avez des idées ?
Quelles sont vos attentes, quels sont vos besoins quand vous allez en formation ? » et on demande
la même chose aux managers : « quelles sont les attentes que vous avez vis-à-vis de ce collaborateur
? »
E : D'accord.
A : Et donc ça nous est renvoyé à nous, alors je vais vous parler de la théorie, ça nous est renvoyé
en amont de la formation …
E : Mm mm.
A : Ce qui nous permet à nous de nous vérifier que ça colle bien de … éventuellement, de de
transférer le dossier au formateur en management…
E : Mm mm.
A : Voilà, quand on a le temps et surtout quand on a eu les dossiers avant parce que parfois ils
arrivent en même temps que les stagiaires au début de la formation voire après ou pas du tout donc
mais voilà donc dans la façon dont c’est pensé, si vous voulez, c’est que ça, ça permet au stagiaire
et à son manager de se rencontrer, de discuter des besoins, d’avoir un projet par rapport à cette
formation et donc nous, on préconise fortement que à l’issue de la formation, il y ait à nouveau un
entretien pour faire le point, euh, et ce qu’on leur dit toujours quand ils s’en vont, c’est au pire de
garder trace de ça, euh, de ce qui s’est passé en formation pour pouvoir en discuter, a minima,
pendant l’entretien annuel.
VIII
E : D’accord. Et vous pensez que c’est fait, est-ce que vous avez des retours par rapport à ça ?
A : Alors quand on a fait l’évaluation à froid, euh, sur environ une quinzaine de promo, on en est à
la promo trente maintenant …
E : Mm mm.
A : On s’est rendu compte qu’il y avait, je crois, la moitié, un peu moins de la moitié des gens qui
avaient eu un entretien avec leur manager avant.
E : Oui.
A : Vraiment moins de la moitié et encore un petit moins qui en avaient eu après.
E : D’accord.
A : Sauf à en parler pendant l’entretien annuel et donc là, c’est quand même un instant, c’est
l’occasion quand même de le faire.
E : Oui, bien sûr. Et pour vous, ce serait vraiment profitable que tout le monde fasse ça ?
A : Ah bah moi, je vous dis, je le préconise ; je ne peux pas l’imposer puisque vous m’avez
demandé d’où l’on parle. Nous on parle de la direction formation, les Campus en tant qu’organisme
de formation, donc on le préconise mais on peut pas l’imposer.
E : D’accord.
A : Voilà. Je vous ai parlé du fait qu’on rencontre régulièrement les responsables formation pour
euh, repenser les dispositifs…
E : Oui.
A : Donc, sur euh, un des programmes dont je m’occupe, euh, y avait effectivement, euh, ce dossier
d’inscription et j’ai posé la question compte-tenu que la moitié des gens, seulement, ont un entretien
avec leur manager, est-ce que vous pensez qu’on le maintient ? Et la réponse a été oui parce que
déjà, et et et donc là ça a été réaffirmé, enfin, les responsables formation ont dit oui, oui, oui, nous,
on soutient cette démarche et on continue à la promouvoir, à essayer de la mettre en place, euh, et
on va essayer… Et ils m’ont même demandé de le faire pour un autre dispositif, euh, ils souhaitent
qu’il y ait un dossier de présentation, si vous voulez, de la formation et de ses objectifs et un
entretien préalable à la formation entre le stagiaire et son manager.
E : D’accord.
A : On essaye, pendant la formation, de multiplier les contacts parce qu’il y a quand même des
modules dits de management, donc dans ce module-là, à l’intérieur de ce module, il y a une
intersession, c’est deux jours avec une intersession puis une journée après et on essaye de mettre en
place des plans d’action et de faire en sorte que le stagiaire aille voir son manager fort de son plan
d’action pour pouvoir bénéficier, a minima, d’une écoute et si possible d’un soutien. Donc la
fonction managériale, euh, voilà donc, on essaye,…enfin nous, on y croit, on pense que c’est
efficace et utile. C’est vrai que, au niveau organisationnel, c’est difficile à mettre en place. Nous on
IX
travaille sur l’ensemble des régions VP, donc il y a des pratiques et des cultures différentes et d’une
région à l’autre…
E : Oui.
A : Donc ça, on est obligé de … voilà, c’est pour ça aussi qu’on ne peut pas imposer une seule
façon de faire puisque y a, y a au minimum six régions VP déchet solide plus quelques autres
utilisateurs de ces formations.
E : D’accord. Quelles sont vos difficultés face à l’évaluation de la formation en général ?
A : Il y en a de nombreuses, (rires), en ce qui concerne les évaluations à chaud, euh, on a conscience
que c’est uniquement, pratiquement … enfin moi je…, de l’évaluation de satisfaction. C’est
important de le faire, en plus, on est dans un cadre légal, il faut le faire mais euh, donc a minima, il
faut que les gens repartent en étant satisfaits, en ayant l’impression d’avoir appris des choses, mais
c’est vrai que c’est pas un indicateur, pour moi, qui est suffisant de l’atteinte des objectifs, donc
euh, après y aurait comment faire pour évaluer l’atteinte des objectifs. On est quand même dans de
la pédagogie pour adultes, moi je me pose toujours la question de la pertinence…récemment, on
m’a passé commande d’une formation euh, d’une autre formation en me disant : « je veux à la fin
qu’il y ait une forme de diplôme interne donc de l’évaluation sommative, euh, quand on est dans de
la formation pour adulte qui n’est pas sanctionnée par un diplôme officiel, comment on fait, quoi ?
Est-ce qu’on intègre ça tout au long de la formation ? Est-ce qu’on fait ça à l’issue d’un module ?
C’est difficile en fait, parce que moi, à titre personnel, si demain, je devais être évaluée à chaud à
l’issue d’un module de gestion, peut-être que j’échouerais, parce que j’aurais besoin de travailler,
d’approfondir certaines notions, de les apprendre avant de pouvoir vraiment être évaluée et de
réussir une évaluation donc à chaud, c’est difficile de faire une évaluation à chaud de
connaissances, je parle même pas de compétences,…
E : Mm, mm…
A : Qu’est-ce qu’on mesure ? Et quand ? (rires). Voilà. Et comment on fait ? D’autant plus quand
on est dans le contexte de formation pour adulte, euh, de salariés qui sont déjà en poste, qui sont …
à qui on paye des formations longues, donc souvent ce sont des gens qui sont bons dans leur travail,
qu’on veut rendre peut-être, sans doute un peu meilleurs mais c’est des gens reconnus quand même
pour leurs compétences. Donc comment on fait pour mesurer, en fait, l’atteinte d’objectifs euh, c’est
pas évident. Euh, donc ça c’est… est-ce qu’on le fait en salle ? Est-ce que c’est nous qui
évaluons ou est-ce qu’on demande à leurs managers de les évaluer puisque finalement, nous, on
vise le développement de compétences et non pas de connaissances ? Donc euh… Voilà, il y a plein
de choses à faire donc là on va tenter quelque chose de nouveau euh à partir de la promo trente du
parcours Manager de proximité, c’est-à-dire que le dernier jour de la formation qui est un jour sur le
sujet du management, va être euh…, on s’est dit : il faut qu’ils réinvestissent en fait des choses
qu’ils ont apprises pendant tout leur cursus.
E : Mm mm.
A : Donc le matin, on les fera travailler en … un peu en analyse de pratiques euh, avec un animateur
qui est par ailleurs comédien et puis l’après-midi, on va leur demander de se projeter et d’écrire des
saynètes sur qu’est-ce que c’est qu’être manager et les jouer devant des membres du CODIR pour
euh…
E : D’accord.
X
A : Donc voilà et pour nous l’idée qui est derrière ça, euh, l’hypothèse qu’on fait…, on va voir si ça
marche et tout, mais l’idée qui est derrière ça, c’est de dire : ils vont réinvestir déjà dans l’analyse
de pratique et puis euh, ils vont apprendre entre eux les uns des autres et puis l’après-midi, ils vont
réinvestir des choses qu’ils ont apprises pendant tout leur cursus notamment en terme de posture, en
terme de de contenu hein, peut-être droit social, j’en sais rien, enfin bon bref. Et donc ça nous
permettrait à nous d’évaluer leur… d’évaluer leur progression, je dirais plus en terme de posture
puisque nous on les voit arriver, au départ, prendre la parole devant le groupe, c’est… enfin, se
présenter euh, présenter leur fonction, la façon dont ils la vivent. Donc nous ça nous permettrait de
voir comment ils ont évolué… euh voilà mais on n’a pas de grille, on ne va pas les noter euh, on
peut pas faire un an après mais nous déjà, et au CODIR, ça leur permettra de les voir dans une
situation un peu plus active que derrière un test et quelque part, c’est une forme de de, c’est une
évaluation qui est un peu en groupe en fait, on s’est dit aussi : comment on évalue, est-ce qu’on
évalue une personne, le groupe entier ? Enfin voilà quoi, toutes ces questions, je me les pose. Voilà,
on va tenter ça à partir de la promo trente, euh, en se disant que ça permettra de faire un « slash »
entre la formation en salle et puis après le retour en exploitation. C’est un lieu entre deux où on se
met en action, où on se met en scène en tant que manager en réutilisant des éléments qui ont été vus
pendant la formation. Mais dans cette formation-là, on ne sanctionne pas par un diplôme interne
donc voilà. (rires)
E : D’accord.
A : Alors, euh, je me pose pas mal de questions puisque le… pour la formation de directeur
d’agence, le DG nous a demandé qu’il y ait une forme d’évaluation à la fin. Euh, donc, euh, je peux
pas vous dire aujourd’hui comment je vais faire, mais je sais que je suis obligé de… ce qui est bien,
c’est que je vais être obligé de le penser en amont de la création du dispositif. Ça veut dire que les
stagiaires, ils le sauront en amont et qu’on va mettre en place la pédagogie de façon à ce qu’ils
réussissent à la fin si possible … quand même (rires). Et …mais voilà, on va se poser la question de,
de comment on évalue, qu’est-ce qu’on évalue chez les managers et comment on l’évalue parce que
c’est quand même ça le, … est-ce qu’on doit évaluer chaque module ? Le module de gestion, le
module de droit social ou est-ce qu’on va évaluer…, est-ce qu’on va leur faire faire un grand cas à
résoudre seul ou à plusieurs ? En se disant, dans l’entreprise, on n’est jamais …, on est tout le
temps…, les compétences, elles sont combinées. Donc, euh, est-ce que c’est vraiment utile de
saucissonner en fait, par thématique les, les ..., l’évaluation, ou est-ce qu’au contraire on veut
évaluer quelque chose de plus global et à ce moment-là, comment on fait ? Est-ce qu’on fait une
étude de cas euh, voilà (rires).
E : D’accord.
A : Donc je ne sais pas, je ne peux pas vous dire.
E : Donc…, c’est…, donc d’habitude, vous n’avez pas trop l’habitude de penser l’évaluation en
amont alors ?
A : Bah moi je la pense…, dans certains modules, c’est intégré. Euh, par exemple, il y a un module
qui s’appelle RH et ça, c’est des compétences dont les gens n’ont pas vraiment besoin, il faut qu’ils
acquièrent une compréhension de ce qui se passe, des connaissances, mais peu, finalement, de
choses qu’ils vont réinvestir en tant que manager directement. Donc là, ce que je fais, je fais un petit
quizz avant et un petit quizz après ; ça leur permet de mesurer qu’ils ont appris des choses pendant
la formation et ça, je trouve que ça permet de fixer les notions donc… voilà… et ça, on le fait dans
certains modules, on peut le faire en gestion par exemple. On le fait en droit social je crois aussi, où
XI
on fait un quizz de fin pour euh…, pour valider qu’ils ont bien acquis les notions clés en fait, qu’ils
ont bien retenus l’essentiel.
E : Mm, mm.
A : Euh, voilà. Mais c’est vrai que après s’ils n’ont pas retenus l’essentiel, qu’est-ce qu’on fait
quoi ? Donc on peut les réinviter éventuellement sur un autre module mais est-ce que le
redoublement est utile ? On sait très bien que non ! (rires) Donc, en cas d’échec, c’est ça aussi
penser l’évaluation, c’est se dire si, si la compétence n’est pas atteinte, qu’est-ce qu’on fait quoi ?
Euh, comment on remédie à ça ? Donc, euh, honnêtement le dispositif, il n’est pas pensé comme ça
quoi.
E : D’accord.
A : C’est vrai que c’est un peu…, quand on aborde la question de l’évaluation, c’est finalement très
compliqué euh, d’une part parce qu’on est en entreprise, euh, que nos clients euh, enfin on a des
clients qui sont les responsables de formation et des stagiaires qui sont les personnes qui suivent la
formation et donc on évalue les stagiaires. Après, est-ce qu’on…, qu’est-ce qu’on fait ? Qu’est-ce
qu’on fait quand il y a des adultes ? Il n’est pas question de reproduire l’école et comment on fait en
cas d’échec ? Comment on remédie ? Ou comment on fait pour mesurer ça en cours de route pour
que, à la fin, il y ait une réussite ? Donc, tout ça…, comme c’est pas une commande des
responsables formation, faut attendre qu’on travaille en réseau, euh, c’est actuellement pas une
commande. On n’a pas pensé ce dispositif, je vous dis, là ce qui est différent avec le futur dispositif
« Directeur d’agence », c’est que, on sait dès le départ qu’il faut intégrer l’évaluation à la
conception avec la notion de délivrer un diplôme interne, donc la question de… quand on évalue,
comment on évalue, qu’est-ce qu’on évalue et qu’est-ce qu’on fait si on s’aperçoit que des
personnes n’ont pas atteints les objectifs, le minimum du minimum qu’on a fixé, comment on
remédie ? Tout ça, on va être obligé de … je pense que ça va être le plus gros… finalement un
référentiel de formation, ça va être les…le… Vous savez, quand on construit un diplôme, on fait le
référentiel métier, le référentiel de formation et puis le référentiel d’évaluation.
E : Mm mm.
A : Et finalement nous… jusqu’à présent on n’a pas ça. On n’est pas allé assez loin, enfin aussi loin
en tout cas euh, pour la formation continue mais là va se poser la question pour la formation des
directeurs. Qu’est-ce qu’on évalue ? Comment ? Et voilà.
E : D’accord.
A : Et pourquoi aussi ? Enfin, je veux dire (…) si le gars maîtrise totalement le droit social ou qu’il
est incollable en tableau de chiffres, en tableau de bord de gestion d’agence, est-ce que c’est un bon
directeur pour autant ? Est-ce qu’on le valide ? Moi, je pense que non quand je vous dis ça, ça ne
suffit pas.
E : D’accord.
A : C’est peut-être important, mais pas suffisant. Enfin, ça va être vraiment intéressant de se poser
la question de …, voilà, qu’est-ce que c’est qu’un… La formation, elle doit nous mener vers quoi ?
Qu’est-ce qu’on attend de nos stagiaires ? Et voilà, dans quel état on veut qu’ils sortent et comment
on le mesure ?
XII
E : D’accord, donc là vous … pour cette formation là, vous avez donc l’évaluation dans le cahier
des charges, euh, c’est bien ça ?
A : Oui.
E : Et donc, est-ce que vous avez toujours un cahier des charges ? Est-ce qu’il comprend toujours
l’évaluation ou sous une autre forme ?
A : Oui, alors moi je fais toujours un cahier des charges. Quand on me fait une demande, je fais une
reformulation de la demande, toujours, pour qu’on soit bien sûr qu’on est OK euh, et puis, alors pas
toujours mais je fais parfois une proposition de méthodologie euh, de conception en fait euh.
E : Mm mm.
A : Là, c’est ce que je dois faire au mois d’août quand je reviens de vacances, je dois faire une
proposition de méthodologie, de cahier des charges mais de construction de la formation. C’est-à-
dire, je vais dire si je fais des entretiens, si j’analyse des bouquins ou pas euh, avec qui on fait des
entretiens euh, est-ce qu’on fait…, qui…, est-ce qu’on rencontre des managers, des futurs stagiaires,
des RH, des DAR, les futurs stagiaires eux-mêmes, des N-1 pourquoi pas ? Voilà, on doit faire un
cahier des charges de conception et une fois que la… et on doit nommer des livrables en fait dans la
conception et dans les livrables, souvent, on fait une proposition de dispositif avec le nombre de
jours, ça c’est de l’ingénierie de formation, le nombre de jours euh, le type de contenu, les objectifs
et puis après,… et une fois que tout ça, c’est … on dit comment on valide ça et après, après on va
plus loin dans les contenus. Mais euh, donc là, il faudra intégrer la question de l’évaluation,
comment… dans les livrables, il y aura le fameux référentiel d’évaluation, comment j’évalue ? Mais
ça, ça va se faire pendant la phase de conception du dispositif, et je ne vais pas le faire toute seule
de toute façon, c’est pas mon boulot ça.
E : D’accord. Oui, tout à l’heure, vous parliez des managers, avec les entretiens, est-ce que vous
sentez de leur part un intérêt pour l’évaluation de la formation finalement ?
A : Euh, alors nous… les personnes dont je vous parle, c’est des personnes qui n’ont pas toujours
un très haut niveau de, de qualification, enfin ils ont peu de diplômes pour certains. Euh, quand ils
viennent en formation, ils ont peur parce qu’ils ont des souvenirs scolaires, ils ont été en échec, ils
ont des mauvais souvenirs d’évaluation et la meilleure récompense qu’on trouve dans les
évaluations à chaud, souvent c’est : « J’avais pas envie de venir et j’ai envie de revenir ». En gros,
ils n’ont plus peur et ils se sentent capables de suivre, en fait, la formation et donc euh, avec des
publics de bas niveau, il faut faire quand même attention à ce qu’on fait en terme d’évaluation et
puis d’une part… c’est très paradoxal parce que d’une part, ils ont des souvenirs scolaires et des
mauvais souvenirs pour certains mais souvent, ils ont besoin de cette évaluation, ils ont besoin
qu’on leur dise : « Ah oui, oui, c’est bien » (rires). Ils ont besoin qu’on porte un regard évaluatif sur
eux et … mais finalement quand on travaille en pédagogie des adultes, au bout d’un moment, ils
oublient ça, ils n’ont plus besoin, parce que l’idée, c’est de développer la confiance en soi et que
eux, ils se … Il faut qu’ils apprennent à apprendre, qu’ils aient confiance en eux et de leurs
collègues et qu’ils se détachent de ça justement de « la maîtresse, elle a dit que j’ai bien fait ou que
j’ai pas bien fait ». Donc ça vraiment, je lutte contre et c’est vrai qu’il y a des écrits qui disent que
l’évaluation ça sert à rien, c’est tout et qu’on n’en a pas besoin, puisque par exemple, dans la vie
quotidienne, quand on apprend à faire du vélo, et bah à la fin, on n’a pas un gamin qui nous dit :
« oui, tu sais faire du vélo ». Finalement, on se rend compte tout seul qu’on sait faire du vélo, qu’on
enlève les roulettes et finalement que ça roule. Oui, au bout d’un moment, on n’a pas besoin de
passer un examen pour être sûr qu’on a acquis des compétences donc euh…
XIII
E : D’accord.
A : Voilà, donc nos stagiaires, est-ce qu’ils ont besoin de l’évaluation ? Pfff, moi, je dis que c’est
quand même des adultes. L’idée, c’est qu’ils se … vraiment qu’ils gagnent de la confiance en eux
et dans leurs capacités à se développer et à apprendre et euh, et voilà quoi et nous, une évaluation
qu’on peut faire du travail qu’on fait, c’est quand on retrouve nos stagiaires dans la licence par
exemple. C’est-à-dire qu’il y en a deux ou trois que j’ai en tête qui avaient…, qui sont arrivés en
formation « Parcours de manager de proximité » et qu’étaient très très très angoissés, très
insécurisés. Le formateur en management qui me disait : « Oh, la la, cette personne, il a fallu que je
lui… elle a pas du tout confiance en elle, il a fallu beaucoup que je l’accompagne ». Et puis neuf
mois après, on les retrouve inscrit à la licence et l’année d’après, ils ont leur diplôme. Et pour moi, à
froid, ça c’est une très bonne évaluation, de se dire voilà, la formation a développé leur confiance en
eux et ils se sont sentis capables d’aller euh d’aller suivre une formation diplômante euh… voilà. Ça
c’est super quoi, mais c’est un autre cadre donc euh voilà. Sinon, tout à l’heure vous me demandiez
la définition, je vous l’ai pas donné, je la connais la définition euh, le référentiel, le référé, tout ça
mais bon, voilà quoi. (rires) Je veux dire, nous on ne travaille pas du tout …, on connaît les cadres
théoriques mais je pense qu’en entreprise, on … Dans le contexte public de bas niveau manager,
euh, l’évaluation c’est quand même délicat. Ça va être intéressant de bosser l’année prochaine en…
sur justement cette formation pour les directeurs pour faire quelque chose qui ait du sens et qui ne
soit pas complètement idiot à vérifier qu’ils connaissent l’article L.330 du code du travail, mais
justement de voir, d’essayer de mesurer quelque chose au départ et quelque chose à la fin et de leur
dire « bah voilà, vous avez évolué et donc à ce titre-là, on valide votre formation ». Et qu’on évalue
chacun par rapport à sa progression, parce qu’on a des groupes super hétérogènes et donc, il faut
qu’on soit capable justement dans l’évaluation de prendre en compte chaque euh, la progression de
chaque personne par rapport à là d’où elle part. Ça, ça va être intéressant.
XIV
Annexe 4 : Grille d’analyse de l’entretien A
Grille d’analyse de l’entretien A Problématique : Comment améliorer l’efficacité de l’évaluation de la formation ?
Hypothèse 1 : « L'efficacité de l'évaluation au sein des entreprises est dépendante de leur conception de l'évaluation »
Questions posées : -Pour vous l’évaluation de la formation c’est ….. -Quelles formes de l’évaluation de la formation utilisez-vous ? -L’évaluation de la formation fait-elle partie de votre champ de compétences ? Comment la mettez-vous en pratique ? -A-t-elle un intérêt pour vous ? Quels sont vos a priori à son sujet ? -D’après vous, est-elle nécessaire en formation professionnelle continue ? -Rentre-t-elle dans le cadre de vos fonctions ? -Quelle est la part de votre temps de travail alloué à l’évaluation de la formation ? -Grâce à quels moyens, dispositifs est-elle mise en œuvre ? -Quelles sont vos difficultés face à l’évaluation de la formation en général ? -Quelles contraintes (organisationnelles) vous empêchent de mener à bien l’évaluation de la formation ? -Un cahier des charges, aussi succinct soit-il, est-il créé avant chaque formation ? -Des objectifs de formation sont-ils définis par la hiérarchie ? L’entreprise utilise-t-elle la formation comme un moyen stratégique de développement des compétences de l’homme et de l’entreprise ? -Concevez-vous les évaluations de la formation en même temps que les formations ou programmes de formation eux-mêmes ? -Comment amélioreriez-vous l’évaluation de la formation ? Comment analysez-vous l’évaluation de la formation pour améliorer les formations ?
Items Enoncé Interprétation
Différents types d’évaluation connus
- on faisait une évaluation à froid - à chaud quand elles ont terminé un module - on fait de l’évaluation des connaissances
L’interviewé sait faire la distinction évaluation à chaud-évaluation à froid. D’un point de vue théorique, les connaissances sont présentes même si nous n’avons pas beaucoup de précisions sur celles-ci.
Types d’évaluation utilisés
-il y a eu une époque où on faisait une évaluation à froid, c’est-à-dire que, euh, trois à six mois après la formation on leur renvoyait un lien vers un questionnaire pour évaluer ce qui avait été mis en place en lien avec la formation, si ça les avait, s’ils avaient pu mettre en place des choses dans leurs pratiques et s’ils avaient des conseils à nous donner aussi a posteriori pour euh, pour faire évoluer la formation… euh ça on ne le fait plus parce qu’il y a une personne de moins dans le département, donc on n’a plus le temps de dépouiller ça - au niveau de la satisfaction - on fait de l’évaluation des connaissances
L’interviewé utilise aujourd’hui les deux niveaux de l’évaluation à chaud que sont l’évaluation de satisfaction et l’évaluation pédagogique. L’interviewé a déjà utilisé l’évaluation du transfert des connaissances sur le poste de travail grâce à un questionnaire mais ne peut plus l’utiliser. A l‘heure actuelle, le nombre de type d’évaluation utilisée dans l’entreprise est assez restreint.
XV
Pratiques réelles d’évaluation
- c’est un processus qui …qui est continu, qui démarre en amont de la formation en fait, au moment de l’analyse des besoins et puis qui se poursuit tout au long de la formation. - à chaud quand elles ont terminé un module… on leur demande à chaud quelles sont leurs…comment elles… comment elles ont vécu ce module et puis qu’est-ce que…qu’est-ce qu’elles en pensent, là c’est plutôt au niveau de la satisfaction, est-ce qu’elles ont l’impression qu’elles vont pouvoir mettre quelque chose en place -moi je, j’ai la particularité de faire des formations, de recevoir les stagiaires sur plusieurs mois consécutifs, c’est ça qui est intéressant, euh donc euh, on évalue à la fin, à la fin au bout de six mois, euh on leur demande une évaluation un petit peu plus détaillée -Dans certains modules, on fait de l’évaluation des connaissances euh, c’est-à-dire que quand ils arrivent on leur fait faire un petit quiz et puis à la fin du module on leur fait faire un autre quiz ou le même quiz pour voir si y a eu une évolution -on les fera travailler en … un peu en analyse de pratiques euh, avec un animateur qui est par ailleurs comédien et puis l’après-midi, on va leur demander de se projeter et d’écrire des saynètes sur qu’est-ce que c’est qu’être manager et les jouer devant des membres du CODIR -ça nous permettrait à nous d’évaluer leur… d’évaluer leur progression, je dirais plus en terme de posture puisque nous on les voit arriver, au départ, prendre la parole devant le groupe, c’est… enfin, se présenter euh, présenter leur fonction, la façon dont ils la vivent. Donc nous ça nous permettrait de voir comment ils ont évolué… euh voilà mais on n’a pas de grille, on ne va pas les noter euh, on peut pas faire un an après mais nous déjà, et au CODIR, ça leur permettra de les voir dans une situation un peu plus active que derrière un test et quelque part, c’est une forme de de, c’est une évaluation qui est un peu en groupe en fait - dans cette formation-là, on ne sanctionne pas par un diplôme interne donc voilà.
Les pratiques de l’interviewé en terme d’évaluation sont assez variées. Il évalue le dispositif de formation comme on le voit par : « c’est un processus qui …qui est continu, qui démarre en amont de la formation en fait, au moment de l’analyse des besoins et puis qui se poursuit tout au long de la formation » dans une démarche proche de la démarche qualité même si le mot n’est pas mentionné et même si l’interviewé ne donne pas d’explication sur sa manière de faire. L’interviewé utilise l’évaluation de satisfaction : « qu’est-ce qu’elles en pensent, là c’est plutôt au niveau de la satisfaction ». L’interviewé utilise aussi l’évaluation pédagogique des connaissances par des quiz qu’elles comparent avec des quiz fait en début de formation. L’interviewé a un nouveau projet d’évaluation pour une formation spécifique. Il va mettre en place une évaluation en groupe. Cette évaluation est assez difficile à classer car ce sera une évaluation faite en fin de formation mais qui tend à montrer ce que seront capables de faire les stagiaires sur leur poste de travail. Cette évaluation consiste en de l’analyse de pratique et de la mise en scène faite à partir de leur expérience et de leurs nouvelles connaissances. L’interviewé ne compte pas utiliser de grille d’évaluation et il n’y aura pas de note. L’interviewé considère que voir les stagiaires continuer à se former et prendre confiance en eux est une évaluation à froid de la formation : « pour moi, à froid, ça c’est une très bonne évaluation, de se dire voilà, la formation a développé leur confiance en eux et ils se sont sentis capables d’aller euh d’aller suivre une formation diplômante euh… voilà. Ça c’est super quoi ».
XVI
-ce que je fais, je fais un petit quizz avant et un petit quizz après ; ça leur permet de mesurer qu’ils ont appris des choses pendant la formation et ça, je trouve que ça permet de fixer les notions donc - une évaluation qu’on peut faire du travail qu’on fait, c’est quand on retrouve nos stagiaires dans la licence par exemple -neuf mois après, on les retrouve inscrit à la licence et l’année d’après, ils ont leur diplôme. Et pour moi, à froid, ça c’est une très bonne évaluation, de se dire voilà, la formation a développé leur confiance en eux et ils se sont sentis capables d’aller euh d’aller suivre une formation diplômante euh… voilà. Ça c’est super quoi - on leur renvoyait un lien vers un questionnaire
Utilité de l’évaluation
-je lutte contre et c’est vrai qu’il y a des écrits qui disent que l’évaluation ça sert à rien, c’est tout et qu’on n’en a pas besoin, puisque par exemple, dans la vie quotidienne, quand on apprend à faire du vélo, et bah à la fin, on n’a pas un gamin qui nous dit : « oui, tu sais faire du vélo ». Finalement, on se rend compte tout seul qu’on sait faire du vélo, qu’on enlève les roulettes et finalement que ça roule. Oui, au bout d’un moment, on n’a pas besoin de passer un examen pour être sûr qu’on a acquis des compétences - donc nos stagiaires, est-ce qu’ils ont besoin de l’évaluation ? Pff, moi, je dis que c’est quand même des adultes.
D’après l’interviewé, le contrôle des connaissances et des compétences se ferait naturellement lors de leur utilisation, donc l’évaluation, au sens propre, ne serait pas utile comme l’interviewé le dit : « on n’a pas besoin de passer un examen pour être sûr qu’on a acquis des compétences ».
Nécessité de l’évaluation de la formation
- Je dirais presque que quand on demande aux personnes quand elles arrivent, quelles sont leurs attentes, ça nous permet de vérifier si ça correspond à ce qui est prévu - On est quand même dans de la pédagogie pour adultes, moi je me pose toujours la question de la pertinence
Pour l’interviewé, l’évaluation de la formation ne semble pas réellement nécessaire surtout si elle concerne des adultes : « On est quand même dans de la pédagogie pour adultes, moi je me pose toujours la question de la pertinence » et il préfèrerait une évaluation informelle avant la formation.
Importance de l’évaluation de la formation
-C’est important de le faire, en plus, on est dans un cadre légal, il faut le faire mais euh, donc a minima, il faut que les gens repartent en étant satisfaits, en ayant l’impression d’avoir appris des choses
Néanmoins, l’interviewé admet que l’évaluation de la formation est importante ! Mais l’interviewé souhaite qu’elle soit réduite au minimum pour bien mesurer que les personnes soient satisfaites et qu’elles aient « l’impression d’avoir
XVII
appris quelque chose ».
Temps accordé à l’évaluation
Moyens accordés à l’évaluation
Difficultés à évaluer
- Il y en a de nombreuses, (rires), en ce qui concerne les évaluations à chaud, euh, on a conscience que c’est uniquement, pratiquement … enfin moi je…, de l’évaluation de satisfaction. - quand on est dans de la formation pour adulte qui n’est pas sanctionnée par un diplôme officiel, comment on fait, quoi ? - si demain, je devais être évaluée à chaud à l’issue d’un module de gestion, peut-être que j’échouerais, parce que j’aurais besoin de travailler, d’approfondir certaines notions, de les apprendre avant de pouvoir vraiment être évaluée et de réussir une évaluation donc à chaud, c’est difficile de faire une évaluation à chaud de connaissances, je parle même pas de compétences,… - Qu’est-ce qu’on fait quand il y a des adultes ? Il n’est pas question de reproduire l’école et comment on fait en cas d’échec ? Comment on remédie ? Ou comment on fait pour mesurer ça en cours de route pour que, à la fin, il y ait une réussite ? - Dans le contexte public de bas niveau manager, euh, l’évaluation, c’est quand même délicat.
Devant les difficultés à mettre en place les évaluations de la formation, l’interviewé utilise surtout l’évaluation de satisfaction. L’interviewé est en difficulté avec l’évaluation des connaissances, pour les adultes, s’il n’est pas contraint de la réaliser. Il estime qu’une formation se travaille et que ce n’est pas à la fin de la formation que l’on peut avoir pleinement acquis les connaissances vues pendant la formation. En réalité, les remarques de l’interviewé sont pleines de bon sens ; il ne viendrait à l’esprit d’aucun professeur du secondaire ou d’aucun professeur des écoles d’évaluer les connaissances de leurs élèves juste à la fin de la leçon. Alors pourquoi faudrait-il le faire pour les adultes en formation continue ? L’interviewé s’interroge beaucoup, ce qui est important, sur l’évaluation et ses limites, mais au final, il ne met pas grand-chose en place.
Obstacles et contraintes organisationnels à l’évaluation de la formation
-elles sont envoyées en formation mais elles n’ont pas eu la…, elles n’ont pas toujours eu connaissance de la fiche programme par exemple. Elles ne savent pas toujours ce qui va se passer dans la formation. - C’est vrai que, au niveau organisationnel, c’est difficile à mettre en place. Nous on travaille sur l’ensemble des régions VP, donc il y a des pratiques et des cultures différentes et d’une région à l’autre… -quand on aborde la question de l’évaluation, c’est finalement très compliqué euh, d’une part parce qu’on est en entreprise, euh, que nos clients euh, enfin on a des clients qui sont les responsables de formation et des stagiaires qui sont les personnes qui suivent la formation et
L’un des obstacles principaux à l’évaluation de la formation, c’est le manque d’implication des apprenants ou de leur hiérarchie par rapport à la formation puisque l’interviewé sait que certains participants n’ont même pas connaissance du programme de la formation en y arrivant et ne savent pas pourquoi elles sont là. Au niveau organisationnel, Veolia Environnement comprend plusieurs branches et plusieurs régions qui ont chacune leur propre fonctionnement, notamment en termes de gestion de la formation. Pour cette raison, l’interviewé qui travaille dans un
XVIII
donc on évalue les stagiaires. Campus, doit s’adapter à chaque région, à chaque responsable de formation.
Existence d’un cahier des charges
- pour la formation de directeur d’agence, le DG nous a demandé qu’il y ait une forme d’évaluation à la fin. Euh, donc, euh, je peux pas vous dire aujourd’hui comment je vais faire, mais je sais que je suis obligé de… - Oui, alors moi je fais toujours un cahier des charges. Quand on me fait une demande, je fais une reformulation de la demande, toujours, pour qu’on soit bien sûr qu’on est OK euh, et puis, alors pas toujours mais je fais parfois une proposition de méthodologie euh, de conception en fait euh.
Globalement, l’interviewé a l’habitude d’utiliser le cahier des charges pour la formation. La plupart du temps, elle fait un cahier des charges officieux pour se mettre d’accord avec le commanditaire. Cette façon de faire peu formaliste peut s’appliquer chez Veolia pour la bonne raison que le Campus est l’organisme de formation interne du groupe et donc il peut se permettre de fonctionner comme ça. Il lui arrive tout de même de réaliser de véritables cahiers des charges à la demande, encore une fois, du commanditaire.
Existence d’objectifs de formation prédéfinis
- on a un dossier qui présente la formation et on demande aux stagiaires de –enfin, ça passe par le responsable de formation, qui est en possession de ce dossier et qui doit le remettre au stagiaire et à son n+1, à son manager… - dans ce dossier, y a une présentation du dispositif, de ses objectifs, des différents modules. Voilà, on présente un petit peu le cadre et après, dans une deuxième partie, on a les objectifs pédagogiques de chaque module et on leur demande de se positionner par rapport à ça donc « est-ce que je suis à l’aise avec ce, ce, ce, cet objectif ? » ou est-ce que je suis pas du tout à l’aise ? ». Et puis, le manager euh, le manager, lui, il a une colonne, il évalue également le … la personne, en mettant si c’est important ou pas pour son poste, parce que parfois, on peut ne pas être à l’aise, par exemple, avec la gestion… - une fiche sur, ... pour se positionner par rapport aux objectifs pédagogiques de la formation
Pour le parcours de formation dont s’occupe l’interviewé, il a formalisé un document très intéressant pour la préparation de la formation. Ce document permet de présenter la formation au stagiaire et à son manager et de les impliquer tous deux dans la formation. A l’aide de ce document, ils définissent ensemble les objectifs de la formation et le stagiaire s’auto-positionne par rapport aux objectifs de la formation. Nous pensons que ce type de préparation est essentiel pour améliorer l’efficacité de la formation et de l’évaluation de la formation car il permet à tous les acteurs de mesurer l’importance de la formation et de mieux évaluer si celle-ci comblera les besoins du stagiaire et de son manager.
Evaluation de la formation conçue en amont
- c’est un processus qui …qui est continu, qui démarre en amont de la formation en fait, au moment de l’analyse des besoins et puis qui se poursuit tout au long de la formation. - ce qui est bien, c’est que je vais être obligé de le penser en amont de la création du dispositif. -il faudra intégrer la question de l’évaluation,
L’interviewé semble travailler dans un processus d’amélioration continue de ses dispositifs de formation mais il ne nous dit pas si c’est fait de manière formalisée ou non. Avec un dispositif en particulier, il va devoir préparer en amont, l’évaluation qu’il mettra en place après la formation.
XIX
comment… dans les livrables, il y aura le fameux référentiel d’évaluation, comment j’évalue ? Mais ça, ça va se faire pendant la phase de conception du dispositif
L’interviewé ne semble pas si habitué à ce type de préparation.
Réflexion sur l’amélioration de l’évaluation et sur l’amélioration de la formation
- mais essayer de voir quel impact ces formations ont et qu’est-ce qu’on peut faire euh, qu’est-ce qu’on peut faire pour faire évoluer ces formations. -il faut que les gens repartent en étant satisfaits, en ayant l’impression d’avoir appris des choses, mais c’est vrai que c’est pas un indicateur, pour moi, qui est suffisant de l’atteinte des objectifs, donc euh, après y aurait comment faire pour évaluer l’atteinte des objectifs. - Qu’est-ce qu’on mesure ? Et quand ? (rires). Voilà. Et comment on fait ? - Donc comment on fait pour mesurer, en fait, l’atteinte d’objectifs euh, c’est pas évident. Euh, donc ça c’est… est-ce qu’on le fait en salle ? Est-ce que c’est nous qui évaluons ou est-ce qu’on demande à leurs managers de les évaluer puisque finalement, nous, on vise le développement de compétences et non pas de connaissances ? - on s’est dit aussi : comment on évalue, est-ce qu’on évalue une personne, le groupe entier ? Enfin voilà quoi, toutes ces questions, je me les pose. - on va se poser la question de, de comment on évalue, qu’est-ce qu’on évalue chez les managers et comment on l’évalue parce que c’est quand même ça le, … est-ce qu’on doit évaluer chaque module ? Le module de gestion, le module de droit social ou est-ce qu’on va évaluer…, est-ce qu’on va leur faire faire un grand cas à résoudre seul ou à plusieurs ? - est-ce que c’est vraiment utile de saucissonner en fait, par thématique les, les ..., l’évaluation, ou est-ce qu’au contraire on veut évaluer quelque chose de plus global et à ce moment-là, comment on fait ? Est-ce qu’on fait une étude de cas euh, voilà (rires). - s’ils n’ont pas retenus l’essentiel, qu’est-ce qu’on fait quoi ? Donc on peut les réinviter éventuellement sur un autre module mais est-ce
L’interviewé se pose beaucoup de questions sur l’évaluation de la formation et sur son amélioration, notamment sur l’évaluation des connaissances et des compétences puisque c’est le sujet qui l’intéresse en ce moment. Mais il n’a pas en tête les autres types d’évaluation de la formation. En effet, l’interviewé pense surtout à évaluer les stagiaires sur leurs apprentissages. Lorsque l’interviewé cherche des solutions pour mettre en place l’évaluation, il utilise beaucoup de phrases interrogatives et émet un certain nombre de doutes.
XX
que le redoublement est utile ? On sait très bien que non ! (rires) Donc, en cas d’échec, c’est ça aussi penser l’évaluation, c’est se dire si, si la compétence n’est pas atteinte, qu’est-ce qu’on fait quoi ? Euh, comment on remédie à ça ? Donc, euh, honnêtement le dispositif, il n’est pas pensé comme ça quoi. - Et voilà, dans quel état on veut qu’ils sortent et comment on le mesure ?
Hypothèse 2 : « L'efficacité de l'évaluation est améliorable par la coopération entre les acteurs de la formation »
Questions posées : -Travaillez-vous sur ce sujet avec d’autres personnes ? Si oui, lesquelles ? -A-t-elle un intérêt pour votre service ? Recevez-vous, de la part de votre hiérarchie, des consignes sur l’évaluation de la formation ? Votre hiérarchie a-t-elle certaines attentes à ce propos ? -L’évaluation de la formation a-t-elle un intérêt pour les apprenants ? Se sentent-ils impliqués dans l’évaluation de la formation ? -L’évaluation de la formation a-t-elle un intérêt pour le formateur ? Comment utilise-t-il les différents types d’évaluation ? A-t-il des a priori à ce sujet ? -L’entreprise associe-t-elle l’évaluation de la formation à une démarche qualité ? -Pensez-vous que les acteurs de la formation aient une réelle volonté d’améliorer l’évaluation et la formation ? - Comment travaillez-vous collectivement ? Transmettez-vous vos pratiques à vos collègues ou collaborateurs ? -Votre collaboration est-elle fructueuse ? Pensez-vous qu’elle permette d’améliorer l’efficacité de l’évaluation de la formation et au final la formation elle-même ?
Items Enoncé Interprétation
Acteurs impliqués dans l’évaluation de la formation
-on travaille aussi régulièrement avec d’autres acteurs, pas seulement les stagiaires mais également les responsables de formation, euh et puis on essaye de travailler avec les managers de nos stagiaires - Ce qui nous permet à nous de nous vérifier que ça colle bien de … éventuellement, de de transférer le dossier au formateur en management…
L’interviewé travaille avec un nombre important d’acteurs, notamment les managers, en tant que maillon essentiel à la formation dans l’entreprise.
Intérêt de la hiérarchie pour l’évaluation
- le manager, lui, il a une colonne, il évalue également le … la personne, en mettant si c’est important ou pas pour son poste - comme c’est pas une commande des responsables formation, faut attendre qu’on travaille en réseau, euh, c’est actuellement pas une commande
D’après les réponses à mes questions, il ne semble pas y avoir un réel intérêt de la hiérarchie pour l’évaluation de la formation. L’interviewé essaye d’impliquer la hiérarchie des stagiaires dans le dossier préparatoire à a formation mais si l’interviewé ne demandait pas cet investissement aux managers, il y aurait sans doute peu de choses de faites.
XXI
Intérêt des apprenants pour l’évaluation
- Ça veut dire que les stagiaires, ils le sauront en amont et qu’on va mettre en place la pédagogie de façon à ce qu’ils réussissent à la fin si possible … quand même (rires). - ils ont des mauvais souvenirs d’évaluation et la meilleure récompense qu’on trouve dans les évaluations à chaud, souvent c’est : « J’avais pas envie de venir et j’ai envie de revenir ». -c’est très paradoxal parce que d’une part, ils ont des souvenirs scolaires et des mauvais souvenirs pour certains mais souvent, ils ont besoin de cette évaluation, ils ont besoin qu’on leur dise : « Ah oui, oui, c’est bien » (rires). Ils ont besoin qu’on porte un regard évaluatif sur eux
L’interviewé estime qu’en général, les stagiaires n’aiment pas l’évaluation ou en tout cas ce qu’elle représente dans leurs souvenirs. Néanmoins, l’interviewé a l’impression que les stagiaires se sentent bien en formation même s’ils viennent à contrecœur et pour l’interviewé, c’est une bonne évaluation de la formation. Selon l’interviewé, les stagiaires auraient même besoin d’être évalué pour prendre confiance en eux.
Intérêt du formateur pour l’évaluation
- ça permet […] au formateur de… d’avoir une forme d’adhésion aussi et puis de… de personnaliser, d’adapter un petit peu le stage par rapport aux attentes des participants. - Ce qui nous permet à nous de nous vérifier que ça colle bien de … éventuellement, de de transférer le dossier au formateur en management…
Le formateur a un besoin précis de l’évaluation de la formation. Grâce à elle, le formateur peut améliorer la formation et l’adapter aux besoins des stagiaires. L’évaluation permet aussi, au formateur, d’évaluer le niveau des apprenants.
Intérêt de l’entreprise pour l’évaluation
- Ah bah moi, je vous dis, je le préconise ; je ne peux pas l’imposer
Face à l’évaluation et à sa volonté d’impliquer la hiérarchie dans l’évaluation, l’interviewé n’a pas de réel pouvoir et l’entreprise n’abonde pas forcément dans son sens, hormis les responsables de formation.
Volonté commune d’amélioration de l’évaluation
- Je vous ai parlé du fait qu’on rencontre régulièrement les responsables formation pour euh, repenser les dispositifs… - ils souhaitent qu’il y ait un dossier de présentation, si vous voulez, de la formation et de ses objectifs et un entretien préalable à la formation entre le stagiaire et son manager.
L’interviewé et les responsables de formation seraient du même avis et souhaiteraient améliorer l’efficacité de l’évaluation de la formation en incitant les managers à avoir un entretien avec leurs collaborateurs à propos de la formation.
Mise en place d’une évaluation construite collectivement
-…, la vertu de ce dossier, c'est que ça permet d'avoir un dialogue entre managers - on préconise fortement que à l’issue de la formation, il y ait à nouveau un entretien pour faire le point, euh, et ce qu’on leur dit toujours quand ils s’en vont, c’est au pire de garder trace de ça, euh, de ce qui s’est passé en formation pour pouvoir en discuter, a minima, pendant l’entretien annuel. - On s’est rendu compte qu’il y avait, je crois, la
L’interviewé essaye de mettre en place le dialogue et un plan d’actions entre managers et apprenants. L’interviewé considère que c’est très important pour l’efficacité de l’évaluation et de la formation.
XXII
moitié, un peu moins de la moitié des gens qui avaient eu un entretien avec leur manager avant. - Vraiment moins de la moitié et encore un petit moins qui en avaient eu après. - on essaye de mettre en place des plans d’action et de faire en sorte que le stagiaire aille voir son manager fort de son plan d’action pour pouvoir bénéficier, a minima, d’une écoute et si possible d’un soutien.[…] enfin nous, on y croit, on pense que c’est efficace et utile
Réflexion sur l’amélioration de la coopération
L’interviewé ne propose pas de moyens concrets pour amener les gens à coopérer ensemble. Il tente de mettre en place des outils mais n’essaye pas de penser le fonctionnement de cet échange coopératif.
XXIII
Annexe 5 : Grille d’analyse de l’entretien B
Grille d’analyse de l’entretien B Problématique : Comment améliorer l’efficacité de l’évaluation de la formation ?
Hypothèse 1 : « L'efficacité de l'évaluation au sein des entreprises est dépendante de leur conception de l'évaluation »
Questions posées : -Pour vous l’évaluation de la formation c’est ….. -Quelles formes de l’évaluation de la formation utilisez-vous ? -L’évaluation de la formation fait-elle partie de votre champ de compétences ? Comment la mettez-vous en pratique ? -A-t-elle un intérêt pour vous ? Quels sont vos a priori à son sujet ? -D’après vous, est-elle nécessaire en formation professionnelle continue ? -Rentre-t-elle dans le cadre de vos fonctions ? -Quelle est la part de votre temps de travail alloué à l’évaluation de la formation ? -Grâce à quels moyens, dispositifs est-elle mise en œuvre ? -Quelles sont vos difficultés face à l’évaluation de la formation en général ? -Quelles contraintes (organisationnelles) vous empêchent de mener à bien l’évaluation de la formation ? -Un cahier des charges, aussi succinct soit-il, est-il créé avant chaque formation ? -Des objectifs de formation sont-ils définis par la hiérarchie ? L’entreprise utilise-t-elle la formation comme un moyen stratégique de développement des compétences de l’homme et de l’entreprise ? -Concevez-vous les évaluations de la formation en même temps que les formations ou programmes de formation eux-mêmes ? -Comment amélioreriez-vous l’évaluation de la formation ? Comment analysez-vous l’évaluation de la formation pour améliorer les formations ?
Items Enoncé Interprétation
Différents types d’évaluation connus
-Evaluation de satisfaction en niveau zéro -L’évaluation de la conduite d’un projet formation. -On peut évaluer les connaissances -On peut évaluer les savoir-faire ou capacités -On peut évaluer les compétences -On peut évaluer la performance
L’interviewé a une très bonne connaissance des différents types d’évaluation de la formation
Types d’évaluation utilisés
-On peut évaluer en allant sur les situations de travail, ce n’est pas simple à organiser mais ça se fait. On le fait avec les apprentis sur les niveaux infra-bac. -Evaluation de satisfaction - On peut évaluer les connaissances -On peut mesurer leur performance
L’interviewé utilise un nombre important de type d’évaluation de la formation
Pratiques -il s’agit de faire une interrogation écrite ou un L’interviewé utilise des
XXIV
réelles d’évaluation
quiz ou un QCM pour évaluer les connaissances -On peut organiser des simulations -On peut mesurer leur performance commerciale avec leur chiffre d’affaires ou d’autres indicateurs objectifs avant et après la formation -On met rarement en pratique le 4ème niveau. On ne le met en pratique que sur des projets stratégiques. On le met en place par exemple sur des formations liées à la sécurité -On peut comparer les régions qui ont déployé la formation, on peut faire de l’avant, de l’après. -On ne met pas en œuvre l’évaluation des compétences pour la formation continue. -Il est fréquent que l’on se contente d’une évaluation de satisfaction. -Dans nos questionnaires d’évaluation, outre la satisfaction des participants, on leur demande de s’auto-positionner sur l’atteinte des objectifs pédagogiques qui figurent sur la fiche programme. On est dans une évaluation de compétences mais c’est du déclaratif. -La personne se projette et indique si elle va être en capacité de. -dans l’évaluation, il y a du formel et de l’informel, du qualitatif et du quantitatif. D’abord, aux chiffres, on leur fait dire ce qu’on veut. On peut monter tous les discours qu’on veut avec les chiffres derrière et dire l’inverse aussi avec les mêmes chiffres -On peut parfois faire des entretiens -L’évaluation informelle donne surtout des résultats sur les premiers niveaux -sur la formation continue, la loi dit « chaque formation doit présenter une évaluation en fin de formation -ce qu’on a systématisé, ce qui est fait à chaque fois, en formation continue, c’est a minima l’évaluation de satisfaction et l’auto-positionnement des stagiaires sur les objectifs, ça
questionnaires pour la satisfaction, pour l’auto-évaluation des objectifs pédagogiques. L’interviewé met en place ponctuellement d’autres types d’évaluation et adapte ses pratiques au contexte de la formation ou avec les attentes du commanditaire. L’interviewé croise les données de ses évaluations avec des données informelles directement recueillies auprès des stagiaires. L’interviewé ne croit pas en la pertinence des données quantitatives car pour lui, l’analyse qu’on peut en faire est trop subjective et variable. Ces différentes pratiques servent à évaluer et à améliorer la formation. Les pratiques d’évaluation ne sont absolument pas figées chez Veolia Propreté car il n’y a aucune uniformisation, aucune standardisation d’une région à l’autre, d’un Campus à l’autre. Ainsi, les différents services, répartis sur toute la France, n’utilisent pas les mêmes outils d’évaluation. Cette façon de faire favorise, d’après l’interviewé, la « proximité avec le client », la flexibilité et l’adaptabilité. L’interviewé apprécie cette flexibilité, pourtant, elle semble se contredire parfois en souhaitant une harmonisation qui empêcherait la flexibilité mais qui permettrait une meilleure coopération sur l’ensemble de la France.
XXV
c’est fait tout le temps ensuite vous avez d’autres éléments d’évaluation en fonction de la taille des projets, du contexte, de la demande du commanditaire, qui vont aller de l’évaluation des connaissances à l’évaluation des compétences en situation de travail en passant par l’évaluation des capacités et savoir-faire dans le cadre de mise en situation ou de simulation. -l’information, on l’a avant que les questionnaires de satisfaction ne soient traités donc s’il y a quelque chose à améliorer, on va le savoir avant - Finalement, la formation chez Veolia Propreté, elle fonctionne un peu à l’image des activités de Veolia Propreté. Mais ça va avoir des avantages dans la flexibilité et dans l’adaptabilité, ça veut dire qu’on n’a pas besoin de faire une étude de 50 pages ou même de 10, de faire des camemberts à rallonge pour ajuster une formation, on le fait comme ça quoi. Et les améliorations fonctionnent, moi, je considère que c’est un vrai atout pour être au plus proche des besoins et que si on était plus formalisé, on n’arriverait pas à être aussi proche des besoins. Du coup, on n’a pas de procédures standardisées, harmonisées, on va pas pratiquer de la même manière dans un Campus ou dans un autre et ça va parfois être difficile à comprendre. -On n’a pas un process optimisé et rationnalisé et depuis quelque temps, chez Veolia, on rentre dans des démarches où on va centraliser et harmoniser toutes les pratiques mais ça, ce n’est pas que pour la formation donc on y passera aussi, je pense, mais on risque de perdre un peu de proximité avec le client mais au moins, on aura des manières de faire qui seront harmonisées d’un bout à l’autre de la France et une meilleure lisibilité. -Aujourd’hui, en formation, on est plutôt très décentralisé, donc chacun fait un peu à sa sauce sur un mode très informel mais du coup, on a du mal à partager, à mutualiser mais ça va changer. -la vraie intelligence, c’est que le modèle soit adapté au contexte
Utilité de l’évaluation
-Il faudrait pouvoir en faire plus -en tant qu’organisme de formation, moi j’évalue en quoi ma formation est efficace et en quoi elle
L’interviewé pense que l’évaluation de la formation est utile au point de souhaiter vouloir en faire davantage. Pour l’interviewé, l’évaluation est
XXVI
satisfait mes clients pour que les clients continuent à lui acheter
utile cat elle permet de mesurer l’efficacité de la formation et de connaître la satisfaction des clients.
Nécessité de l’évaluation de la formation
-Il faut être attentif à l’informel, il ne faut pas être dans son bureau et uniquement recevoir des questionnaires et en faire des camemberts parce qu’on pourrait tout à fait rater des choses importantes mais il faut les faire quand même ces évaluations -est-ce qu’il faut systématiser une évaluation sur tout, auquel cas, on peut vite ressembler à une bureaucratie absolument affreuse finalement s’il faut tout évaluer tout le temps. Je ne sais pas, ça coûte cher tout ça. -c’est toujours du cas par cas, ça n’aurait pas de sens de systématiser une évaluation de compétences, ça deviendrait complètement procédurier. -La subtilité, elle est dans : quelle procédure d’évaluation pour quel projet ? -De l’évaluation, on en fait tout le temps, puisque les formations évoluent. On est à l’écoute, on regarde les questionnaires
Pour l’interviewé, l’évaluation de la formation est nécessaire, mais pas n’importe comment. L’interviewé estime qu’il est nécessaire de communiquer avec les acteurs de la formation directement et de ne pas privilégier les questionnaires. L’interviewé n’apprécierait pas de ne faire que des questionnaires même s’ils sont nécessaires d’un certain point de vue. L’interviewé insiste sur le fait que l’évaluation est nécessaire mais toujours en tenant compte du contexte de la formation et qu’il n’est donc pas toujours utile de tout évaluer, loin de là.
Importance de l’évaluation de la formation
-Sur des projets stratégiques, c’est important d’aller jusqu’à l’évaluation de la performance pour pouvoir argumenter de l’impact de la formation, sur d’autres types, ce n’est peut-être pas nécessaire Il y a d’autres enjeux en ce moment qui méritent plus d’attention
Pour certains projets de formation, l’évaluation de la formation est très importante et ces projets méritent que l’on utilise plusieurs types d’évaluation pour améliorer au mieux leur efficacité. Néanmoins, d’une manière globale, l’évaluation de la formation n’est pas importante en ce moment et d’autre enjeux, selon l’interviewé « méritent plus d’attention » ce qui tend à montrer que l’interviewé voit l’évaluation de la formation comme un outil à utiliser quand il en a besoin et non comme un outil quotidien pour la qualité.
Temps accordé à l’évaluation
-Mon temps de travail consacré à la formation varie entre deux et cinq pour cent. -on n’a pas beaucoup de temps les uns et les autres -on accepte un mode d’évaluation informel parce qu’on n’a tout simplement pas le temps de faire autrement et que ça suffit pour l’instant
L’interviewé ne passe que peu de temps à s’occuper de l’évaluation de la formation par manque de temps, et le temps qu’il y passe comprend aussi l’évaluation informelle qui est suffisante d’après lui.
XXVII
Moyens accordés à l’évaluation
L’évaluation est souvent la dernière roue du carrosse malheureusement -Si on ne fait pas les camemberts, on n’est pas crédible. Ça ne nous empêche pas d’avoir des démarches d’évaluation plus qualitatives, plus informelles qui nous permettent de faire évoluer les dispositifs de formation -On peut avoir une évaluation qualitative qui peut être tout aussi intéressante voire plus et donner plus de pistes de réflexions qu’une évaluation quantitative -En formation par apprentissage, il y a plus de moyens pour manager l’évaluation en général, l’implication des managers et des tuteurs qu’il n’y en a dans la formation continue. Plus de moyens et plus de pression réglementaire : l’apprenti doit être évalué par deux fois durant son cursus de formation, c’est la loi donc on est bien obligé de mettre en œuvre les démarches d’évaluation qui vont bien. On n’a pas la ressource en temps, en argent, en ce moment, tout le monde est à flux tendu donc on va pas faire des usines à gaz d’évaluation, euh par contre, que ce soit un peu plus formalisé, ça serait pas plus mal
L’interviewé reconnaît que l’évaluation de la formation est « souvent la dernière roue du carrosse » en formation professionnelle continue et qu’elle souhaiterait que l’évaluation de la formation soit davantage formalisée mais sans en faire trop. L’interviewé réalise une analyse quantitative des évaluations de satisfaction qu’il représente avec des graphiques mais d’après lui, l’évaluation informelle qu’il réalise dans le même temps est « plus qualitative ».
Difficultés à évaluer
-c’est compliqué de faire un audit de la performance d’une formation -Il faut que la formation soit déployée à grande échelle pour faire des mesures objectives -L’évaluation des compétences est beaucoup plus compliquée à organiser sur la formation continue -c’est parfois compliqué à mettre en œuvre car on n’a plus le temps dans la formation de le mettre -l’évaluation de la formation, c’est un peu un serpent de mer, hein comme on dit, tout le monde en parle depuis des années, depuis des années, depuis des années, et y a pas grand-chose qui change. Faire de l’évaluation sophistiqué de manière systématique, c’est juste impossible ou alors, on est dans des activités qui le nécessitent parce que les enjeux sont différents, par exemple dans la santé, dans le médical ou dans l’aéronautique où l’évaluation
L’interviewé connaît des difficultés pour réaliser l’évaluation de la formation. L’interviewé manque de temps. L’interviewé a des difficultés avec certains types d’évaluation, avec ce qu’il appelle l’évaluation de la « performance » et avec « l’évaluation des compétences ». Quoi qu’il en soit, l’interviewé pense que l’évaluation ne peut donner des résultats objectifs si la formation n’est pas « déployée à grande échelle » et qu’une évaluation sophistiquée n’est pas à systématiser.
XXVIII
est extrêmement poussé mais y a les moyens pour et ça leur coûte ce que ça leur coûte mais ce n’est pas justifiée dans toutes les activités pour moi.
Obstacles et contraintes organisationnels à l’évaluation de la formation
-en premier lieu, les financements -nous, on n’est pas très mature en matière d’évaluation, on a un fonctionnement encore un peu artisanal si je puis dire, qui va parfois poser des difficultés dans la transmission des dossiers parce que peu de choses sont formalisées. Finalement, la formation chez Veolia Propreté, elle fonctionne un peu à l’image des activités de Veolia Propreté.
Deux obstacles sont présents : le manque de financement et le manque de formalisme dans le fonctionnement de l’entreprise, ce qui se ressent aussi en matière de formation et donc d’évaluation.
Existence d’un cahier des charges
Il y a un cahier des charges, il peut être à différents niveaux. […]On est sur des objectifs de compétences, on peut appeler ça un cahier des charges. -Le cahier des charges est établi par notre commanditaire qui est donc la fonction RH -En interne ou en externe, on établit un cahier des charges plus précis qui est proposé en interne, soit en externe donc envoyé à différents organismes de formation.
Il existe un ou plusieurs types de cahier des charges, plus ou moins précis et formalisés selon la formation et ses conditions futures de réalisation.
Existence d’objectifs de formation prédéfinis
Les managers, ce sont des personnes qu’il est important d’inclure dans l’avant-formation, c’est-à-dire pour le choix de la formation. -Son manager est-il au courant, est-ce qu’il connaît la formation ?
L’interviewé estime qu’il est important d’inclure le manager dans la préparation à la formation pour définir des objectifs mais concrètement, rien ne permet de certifier que c’est fait.
Evaluation de la formation conçue en amont
-quand c’est des formations qui n’existent pas encore, je le fais en lien avec mon commanditaire qui me demande de développer une formation et on pense l’évaluation ensemble. Lui, il veut tout évaluer et moi je temporise en disant : « attendez, on va faire les choses de manière à ce qu’elles soient réalistes »
L’évaluation de la formation est conçue en amont de la formation en partenariat avec le commanditaire. Le commanditaire a de fortes exigences en matière d’évaluation mais l’interviewé propose une évaluation plus « réaliste » que l’on peut interpréter par moins d’évaluation.
Réflexion sur l’amélioration de l’évaluation et sur l’amélioration de la formation
-J’aimerais mettre en œuvre plus d’évaluations sur ces différents niveaux. -L’auto-évaluation pédagogique n’est pas suffisante -La question, c’est : à quelle échelle mettre en place quoi ? Sur quel type de projet ? -On n’est pas allé jusqu’à ce niveau de réflexion, distinguer les différents process d’évaluation
L’interviewé pense pouvoir améliorer l’évaluation de la formation en analysant les projets de formation selon leurs besoins d’évaluation. Elle pense ainsi améliorer l’évaluation en classant les différents projets en type et en attribuant des modalités d’évaluation à chaque type. L’interviewé aimerait parfois pouvoir mettre en place une démarche
XXIX
selon les différents projets. On catégoriserait les projets : niveau 1, niveau 2, niveau 3 et puis le process d’évaluation qui va bien en face, on l’a pas ça -des entretiens ciblés […] vont amener beaucoup plus d’éléments qu’une étude quantitative, des questionnaires de satisfaction avec des camemberts de toutes sortes - il ne faut pas blâmer les instances, les organisations de ne pas faire plus d’évaluation qu’elles n’en font, par contre elles pourraient être plus structurées, plus matures, ça c’est sûr, il y a beaucoup de choses à perfectionner, à améliorer par contre, c’est pas blanc ou noir, si vous voyez ce que je veux dire. C’est pas parce qu’on évalue que la satisfaction des stagiaires de manière systématique, que c’est mauvais comme démarche, au contraire finalement, c’est pas plus mal d’en rester là et en fonction des projets, on va avoir d’autres systèmes d’évaluation en fonction des enjeux, des financements. - que ce soit un peu plus formalisé, ça serait pas plus mal mais ça, c’est aussi dans la conduite des projets. -La démarche qualité et l’amélioration continue, c’est un peu ce qu’on fait finalement même si on ne parle pas de roue de Deming, ni de « Plan, Do, Check, Act ». C’est comme pour tout, il faut veiller à ce que ça ne soit pas trop procédurier. La qualité, ça peut-être super sympa, très dynamique, très flexible, très adaptable et ça pourrait être intéressant
qualité et avoir des démarches d’évaluation plus structurée. Ainsi, l’interviewé a de réelles pistes de réflexion pour l’amélioration de l’évaluation qui peuvent s’avérer très intéressantes.
Hypothèse 2 : « L'efficacité de l'évaluation est améliorable par la coopération entre les acteurs de la formation »
Questions posées : -Travaillez-vous sur ce sujet avec d’autres personnes ? Si oui, lesquelles ? -A-t-elle un intérêt pour votre service ? Recevez-vous, de la part de votre hiérarchie, des consignes sur l’évaluation de la formation ? Votre hiérarchie a-t-elle certaines attentes à ce propos ? -L’évaluation de la formation a-t-elle un intérêt pour les apprenants ? Se sentent-ils impliqués dans l’évaluation de la formation ? -L’évaluation de la formation a-t-elle un intérêt pour le formateur ? Comment utilise-t-il les différents types d’évaluation ? A-t-il des a priori à ce sujet ? -L’entreprise associe-t-elle l’évaluation de la formation à une démarche qualité ? -Pensez-vous que les acteurs de la formation aient une réelle volonté d’améliorer l’évaluation et la formation ? - Comment travaillez-vous collectivement ?
XXX
Transmettez-vous vos pratiques à vos collègues ou collaborateurs ? -Votre collaboration est-elle fructueuse ? Pensez-vous qu’elle permette d’améliorer l’efficacité de l’évaluation de la formation et au final la formation elle-même ?
Items Enoncé Interprétation
Acteurs impliqués dans l’évaluation de la formation
-Il y a toujours les RH impliqués -On peut parfois faire des entretiens auprès des participants, des managers, des responsables formation, donc des prescripteurs -L’informel, ça peut être des contacts avec les participants pendant la formation ou a posteriori quand on en connaît certains ou ça peut-être des contacts avec leur hiérarchie ou les prescripteurs -Non, je ne collabore avec personne pour l’évaluation de la formation. Mon assistante traite les questionnaires
Au final, il est assez difficile de savoir quels sont les acteurs impliqués dans l’évaluation de la formation car l’interviewé nous dit qu’elle ne collabore avec personne mais qu’elle travaille tout de même avec son assistante, que les RH sont impliqués et qu’elle peut avoir des entretiens avec des participants, des managers et des responsables formation.
Intérêt de la hiérarchie pour l’évaluation
-c’est à eux que rendent des comptes nos participants qui sont censés être compétents et plus performants Les managers, ce sont des personnes qu’il est important d’inclure dans l’avant-formation -au-delà de l’évaluation, s’il ne sait pas que son collaborateur a été en formation et sur quoi il a été formé, il peut difficilement le challenger là-dessus, lui demander si la formation a été utile, lui demander dans quelle mesure ça lui permet d’améliorer son activité et dans quelle mesure ça facilite l’atteinte des objectifs -si personne ne vous demande jamais rien, vous pouvez très bien ne jamais rien réinvestir dans le travail -je n’ai pas connaissance de dispositifs dans lesquels on les questionne de manière claire. Ça doit exister mais de manière très ponctuelle. -En général, sur les formations diplômantes, les managers sont les tuteurs donc on leur demande d’évaluer leurs apprentis selon des grilles donc sur l’apprentissage, ils sont impliqués très fortement
Il est difficile de savoir si la hiérarchie reconnaît un véritable intérêt pour l’évaluation de la formation puisque l’interviewé nous dit qu’il n’a pas « connaissance de dispositifs dans lesquels on les questionne de manière claire », qu’il ne sait pas si les managers savent ce que leurs collaborateurs font en formation, même s’il pense qu’il est bon de les inclure dans « l’avant-formation » et que c’est au manager de savoir ce que son collaborateur a fait en formation et ce qu’il va pouvoir utiliser sur son poste de travail.
Intérêt des apprenants pour l’évaluation
-si ça ne vous intéresse pas de le mettre en œuvre et qu’en plus, on ne vous le demande pas, et bah, vous ne le faites pas donc ça sert à rien -on a des échanges avec les participants
Selon l’interviewé, les apprenants s’investissent dans l’évaluation de la formation sans le savoir lorsqu’ils font part de façon informelle de leur point de vue sur la formation.
XXXI
-ils sont impliqués dans l’évaluation sans savoir que c’est de l’évaluation, quand il y a des choses qui ne leur plaisent pas, simplement, ils nous le disent.
L’interviewé sait que certains apprenants n’ont aucun intérêt pour l’évaluation de la formation et n’en parle pas à leur manager et ils ne mettent pas en application les acquis de la formation qui devient alors parfaitement inutile.
Intérêt du formateur pour l’évaluation
-on a des échanges avec les formateurs qui vont pouvoir nous orienter, nous dire : « je pense que telle partie, ça me semble moins adapté pour telle région ou sur ce public-là » ; « d’accord, on prend note », on actualise les supports et les formations
D’après l’interviewé, les formateurs s’investissent pleinement dans l’évaluation de la formation en orientant l’interviewé pour qu’il fasse les changements nécessaires pour améliorer la formation.
Intérêt de l’entreprise pour l’évaluation
-pendant un moment, ce n’était pas prioritaire -il ne faut pas blâmer les instances, les organisations de ne pas faire plus d’évaluation qu’elles n’en font par contre elle pourrait être plus structurée, plus mature, ça c’est sûr -pour l’instant, on ne m’a pas parlé d’évaluation de la formation -Les RH impliqués puisque il s’agit de développement des compétences
D’après l’interviewé, les RH ont de l’intérêt pour l’évaluation de la formation puisqu’il « s’agit de développement des compétences » mais de manière générale, l’entreprise ne soutient pas les projets d’évaluation car ce n’est pas « prioritaire ». Si l’interviewé veut faire de l’évaluation plus que ce qui est fait actuellement, il ne sera pas soutenu par l’entreprise et devra travailler seul.
Volonté commune d’amélioration de l’évaluation
-on a des échanges avec les formateurs qui vont pouvoir nous orienter, nous dire : « je pense que telle partie, ça me semble moins adapté pour telle région ou sur ce public-là » ; « d’accord, on prend note », on actualise les supports et les formations. -l’information, on l’a avant que les questionnaires de satisfaction ne soient traités donc s’il y a quelque chose à améliorer, on va le savoir avant, parce qu’on aura échangé avec le formateur, avec les participants et on dira : « tiens, là il y a quelque chose à faire évoluer. -En clôture de formation, on fait des tours de table pour que les participants s’expriment et puis après, ça se fait naturellement avec les intervenants. Ce n’est pas perçu comme de l’évaluation, c’est un échange sur un projet commun.
La volonté d’amélioration de l’évaluation semble partagée par l’interviewé, les formateurs, les intervenants et les participants aux formations même si ces derniers n’ont pas conscience qu’ils participent à une évaluation néanmoins, leur volonté est bien là.
Mise en place d’une évaluation construite collectivement
-quand c’est des formations qui n’existent pas encore, je le fais en lien avec mon commanditaire qui me demande de développer une formation et on pense l’évaluation ensemble. Lui, il veut tout évaluer et moi je temporise en disant : « attendez, on va faire les choses de manière à ce qu’elles soient réalistes ».
L’évaluation est bien construite collectivement, en coopération avec le commanditaire de la formation qui est très demandeur d’évaluation. L’interviewé affirme qu’il est « très en lien avec [son] système client et qu’ils décident ensemble de ce qui
XXXII
-on est très en lien avec notre système client.
sera fait en terme d’évaluation
Réflexion sur l’amélioration de la coopération
-ce qui est sûr, c’est qu’on va nous demander d’optimiser, de rationaliser, donc il va falloir que les gens partagent, que les gens échangent, que les manières de faire s’harmonisent
A l’heure actuelle, l’interviewé estime que chacun travaille dans son coin sans partage et sans coopération. L’organisation de Veolia va changer et les moyens et les méthodes seront harmonisés ce qui va amener les personnes à coopérer davantage, à se mettre d’accord, à travailler ensemble. C’est par la restructuration que les personnes vont être amenées à améliorer leur coopération.
XXXIII
Annexe 6 : Grille d’analyse de l’entretien C
Grille d’analyse de l’entretien C Problématique : Comment améliorer l’efficacité de l’évaluation de la formation ?
Hypothèse 1 : « L'efficacité de l'évaluation au sein des entreprises est dépendante de leur conception de l'évaluation »
Questions posées : -Pour vous l’évaluation de la formation c’est ….. -Quelles formes de l’évaluation de la formation utilisez-vous ? -L’évaluation de la formation fait-elle partie de votre champ de compétences ? Comment la mettez-vous en pratique ? -A-t-elle un intérêt pour vous ? Quels sont vos a priori à son sujet ? -D’après vous, est-elle nécessaire en formation professionnelle continue ? -Rentre-t-elle dans le cadre de vos fonctions ? -Quelle est la part de votre temps de travail alloué à l’évaluation de la formation ? -Grâce à quels moyens, dispositifs est-elle mise en œuvre ? -Quelles sont vos difficultés face à l’évaluation de la formation en général ? -Quelles contraintes (organisationnelles) vous empêchent de mener à bien l’évaluation de la formation ? -Un cahier des charges, aussi succinct soit-il, est-il créé avant chaque formation ? -Des objectifs de formation sont-ils définis par la hiérarchie ? L’entreprise utilise-t-elle la formation comme un moyen stratégique de développement des compétences de l’homme et de l’entreprise ? -Concevez-vous les évaluations de la formation en même temps que les formations ou programmes de formation eux-mêmes ? -Comment amélioreriez-vous l’évaluation de la formation ? Comment analysez-vous l’évaluation de la formation pour améliorer les formations ?
Items Enoncé Interprétation
Différents types d’évaluation connus
-on a les évaluations de prérequis lorsqu’il s’agit de formation informatique - C’est une évaluation de satisfaction. - on évalue par un quiz, dans la plupart des cas, à savoir s’il a bien acquis les connaissances - acquisition de compétences
L’interviewé connaît surtout l’évaluation de satisfaction, l’évaluation des connaissances et l’évaluation des compétences.
Types d’évaluation utilisés
-on a les évaluations de prérequis lorsqu’il s’agit de formation informatique -Il y a aussi les évaluations générales qui sont pour le centre de formation. - C’est une évaluation de satisfaction. - on évalue par un quiz, dans la plupart des cas, à savoir s’il a bien acquis les connaissances
Il utilise l’évaluation de satisfaction et l’évaluation des connaissances, notamment pour mesurer les prérequis et les acquis en fin de formation.
Pratiques réelles d’évaluation
-A l’issue de la formation, il y a l’évaluation qui en est faite -Nous, organisme de formation, on évalue par un
L’interviewé propose, a minima, pour chaque formation une évaluation finale composé d’un questionnaire de satisfaction qui
XXXIV
quiz, dans la plupart des cas, à savoir s’il a bien acquis les connaissances dispensées lors de la formation -L’organisme de formation gère […] les documents d’auto-évaluation du collaborateur - Il y a aussi les évaluations générales qui sont pour le centre de formation, qui sont traités pour la logistique mais pas en acquisition de compétences -on va prendre en compte toutes les anomalies qu’il a pu émettre, ses insatisfactions et on va remplir sur l’outil de formation qui s’appelle OBCEO, l’intégralité des évaluations de chacun des stagiaires du groupe ; on va en sortir une synthèse, ça va donner une note générale sur les appréciations qui vont être envoyées à l’entreprise. C’est une évaluation de satisfaction. -les synthèses sont envoyées avec les factures à chacune des DAR -Par le questionnaire de prérequis, on va savoir ce qu’il sait déjà, pourquoi il va venir et on envoie le questionnaire au prestataire et lui va faire un programme personnalisé
sera traité par outil informatique et une auto-évaluation du stagiaire sur les objectifs pédagogiques de la formation qui sera validée par le formateur puis conservée par le stagiaire. Pour certaines formations, une évaluation des prérequis sera réalisée avant l’entrée en formation. Pour les formations habilitantes, un quiz de connaissances sanctionnera l’acquisition ou non de l’habilitation. Les évaluations réalisées par l’interviewé sont assez formalisées et précises même si la palette d’évaluation proposée n’est pas très large.
Utilité de l’évaluation
L’évaluation en fin de stage, on ne peut pas en tirer de bienfaits dans le sens où elle reste la propriété du collaborateur donc on ne peut pas faire de remontée là-dessus, ça c’est une difficulté […] mais franchement, pédagogiquement, elle n’a aucun intérêt. -on veut que le collaborateur s’exprime, ça ne fera qu’améliorer la qualité des prestations dispensées par le Campus. Une évaluation, il faut que ça amène quelque chose, des points d’amélioration ou des axes à travailler donc si c’est faire des évaluations pour faire des évaluations, c’est rébarbatif et c’est pas intéressant. Il faut qu’il y ait, derrière ça, la possibilité d’en tirer des enseignements
L’auto-évaluation du collaborateur n’a pas grande utilité puisque c’est une évaluation très sommaire qui n’est pas traité par l’interviewé et qui n’amène aucune plus-value à l’évaluation de la formation. L’interviewé souhaite sincèrement que l’évaluation de la formation soit utile, qu’elle s’améliore et qu’elle fasse progresser la formation.
Nécessité de l’évaluation de la formation
-L’auto-évaluation est devenue réglementaire -Le quiz, c’est quand il y a une habilitation. Il y a une attestation habilitante qui est fournie à l’entreprise sur certaines formations comme la vapeur, etc… -L’évaluation finale est aussi réglementaire
L’évaluation de la formation est nécessaire quand elle est réglementaire, ce qui est le cas pour l’évaluation des connaissances lorsqu’il y a habilitation ou pour l’auto-évaluation. Pour l’interviewé, l’évaluation des prérequis n’est pas nécessaire si cette évaluation n’est
XXXV
quelque part parce qu’elle est issue du programme de formation -On peut évaluer les prérequis sur toutes les formations mais pour moi, ce n’est pas nécessaire parce que le prérequis n’est pas forcément le reflet de la réalité. Si on veut le rendre obligatoire, il faut prévoir une salle et libérer le temps pour la personne pour une bonne auto-évaluation. Si on ne met pas les conditions nécessaires à ça, je considère qu’il y a parfois des fausses routes.
pas réalisée dans des conditions satisfaisantes. En ce sens, l’interviewé a raison, il ne sert à rien d’évaluer pour évaluer si les choses ne sont pas faites correctement.
Importance de l’évaluation de la formation
-c’est un élément important parce que c’est un élément de leur passeport individuel de formation -L’évaluation finale, en fin de formation, ça, c’est important parce que ça nous donne des informations qu’on ne pouvait pas pressentir ou pour s’améliorer tous les jours, pour que les formations soient toujours optimales, ça c’est vraiment très important
D’après l’interviewé, les évaluations de satisfaction sont vraiment importantes car ce sont elles qui permettent d’améliorer la formation grâce aux informations qu’elles fournissent.
Temps accordé à l’évaluation
Ça fait 1000 heures qui sont dédiées à la saisie des évaluations de fin de stage pour l’activité FPC complète du Campus soit 10 minutes par évaluation, pour chaque collaborateur donc à peu près 150 heures par personne, pour les assistantes FPC, donc c’est assez contraignant et ça fait partie des obligations mais c’est nécessaire
Le temps consacré à l’évaluation de la formation consiste surtout pour l’interviewé à rentrer les informations des évaluations de satisfaction dans l’outil informatique de traitement. L’interviewé et son équipe prennent 10 minutes pour chaque évaluation. Sur l’année, « ca fait 1000 heures qui sont dédiées à la saisie des évaluations »
Moyens accordés à l’évaluation
Difficultés à évaluer
-Même si la personne rend un quiz avec une note inférieure à la moyenne, si elle s’auto-positionne en acquisition complète, il y a incohérence. C’est là où le rôle du formateur est important. -Personne n’a la maîtrise de ce document qui reste dans les mains du collaborateur. L’entreprise n’en a pas connaissance et nous non plus en centre de formation, ça ne reste pas dans nos archives. C’est une difficulté quand il y a une habilitation de faire comprendre au collaborateur qu’il faut pas y mettre n’importe quoi. - L’évaluation en fin de stage, on ne peut pas en tirer de bienfaits dans le sens où elle reste la propriété du collaborateur donc on ne peut pas
Les points de difficulté, pour l’interviewé, concernent l’auto-évaluation des stagiaires sur les objectifs pédagogiques d la formation. L’apprenant peut mal remplir cette auto-évaluation et le formateur doit ensuite le faire comprendre à celui-là et rectifier avec lui. Le formateur passe donc un certain temps à faire ces rectifications et ce n’est pas toujours facile de faire comprendre au stagiaire qu’il s’est mal auto-évalué. Finalement, l’interviewé, lui-même, n’a pas de difficultés avec l’évaluation de la formation, ce qui
XXXVI
faire de remontée là-dessus, ça c’est une difficulté mais on ne peut pas en tirer d’avantage, à la limite, c’est plus l’inconvénient de revoir les mauvais positionnements des collaborateurs par les formateurs, ça prend du temps, il faut qu’ils soient psychologues, il faut qu’ils présentent bien les choses ; la difficulté, elle est là, mais c’est obligatoire donc on ne peut pas se poser de questions, il faut le faire
paraît étonnant.
Obstacles et contraintes organisationnels à l’évaluation de la formation
Existence d’un cahier des charges
-il est impératif que le service ingénierie se déplace pour faire un cahier des charges -Dès qu’il y a un nouveau besoin, il y a systématiquement un cahier des charges qui est fait pour la formation, rédigé par le service ingénierie et avant d’être lancé, il doit être validé par la division
D’après l’interviewé, dès qu’une création de nouvelle formation est envisagée, « il y a systématiquement un cahier des charges » mais ce n’est pas l’interviewé qui le réalise.
Existence d’objectifs de formation prédéfinis
-le manager donne des objectifs à son collaborateur donc un brief avant de partir en formation donc en lui disant : « voilà ce que j’attends de vous à votre retour de formation ». La personne part en formation avec son programme. Pour moi, la réussite d’un collaborateur en formation, c’est le brief avant de partir et le brief au retour de formation en lui donnant des objectifs et pour la formation et des objectifs quand il revient sur son poste de travail. Pour moi, c’est primordial. Dans la réalité, je suis persuadé que ce n’est pas fait. Les responsables hiérarchiques sont pris par leur activité professionnelle. Parfois, le collaborateur ne verra pas son responsable. Parfois, c’est quand ils reçoivent la convocation qu’ils disent : « Ah non, il pourra pas venir » ou le collaborateur nous dit : « voilà, je suis venu parce qu’on m’a dit de venir ». Quand il y a de la dilettance en formation, c’est souvent quand il n’y a pas eu de brief : « on m’a envoyé mais je sais pas pourquoi »
Pour l’interviewé, il est capital que le collaborateur ait eu un brief de son supérieur hiérarchique avant la formation pour discuter des objectifs de formation. Néanmoins, l’interviewé ne sait pas si c’est fait et en doute sérieusement. L’interviewé pense que certains collaborateurs vont en formation sans savoir pourquoi. Pour l’interviewé, ce manque de préparation à la formation rendrait la formation inefficace.
Evaluation de la formation conçue en amont
-Si on veut améliorer l’évaluation, il faut retravailler le programme de formation, l’un ne va pas sans l’autre
Pour l’interviewé, l’évaluation de la formation ne peut être conçue qu’en amont de la formation, en même temps que le programme puisque « l’un ne va pas sans l’autre » et lorsqu’on veut « améliorer
XXXVII
l’évaluation, il faut retravailler le programme de formation ». La démarche constatée par l’interviewé semble assez efficace.
Réflexion sur l’amélioration de l’évaluation et sur l’amélioration de la formation
-L’évaluation finale, en fin de formation, ça, c’est important parce que ça nous donne des informations qu’on ne pouvait pas pressentir ou pour s’améliorer tous les jours, pour que les formations soient toujours optimales, ça c’est vraiment très important -Si on veut améliorer l’évaluation, il faut retravailler le programme de formation, l’un ne va pas sans l’autre -Pour moi, c’est irrévocable, si y a pas le brief, avant de partir en formation et si y a pas définition avec le collaborateur et son responsable hiérarchique et le brief au retour sur les objectifs, la formation ne sera pas prise comme une acquisition de compétences, elle ne portera pas ses fruits.
L’évaluation de satisfaction donne, pour l’interviewé, les meilleures informations pour améliorer la formation. L’interviewé estime que l’on peut améliorer l’évaluation de la formation en préconisant la réalisation d’un entretien entre le collaborateur et son responsable hiérarchique au retour de la formation. Cet entretien permettrait de faire un point sur les acquis du collaborateur après la formation et sur ce qu’il peut mettre en place sur son lieu de travail.
Hypothèse 2 : « L'efficacité de l'évaluation est améliorable par la coopération entre les acteurs de la formation »
Questions posées : -Travaillez-vous sur ce sujet avec d’autres personnes ? Si oui, lesquelles ? -A-t-elle un intérêt pour votre service ? Recevez-vous, de la part de votre hiérarchie, des consignes sur l’évaluation de la formation ? Votre hiérarchie a-t-elle certaines attentes à ce propos ? -L’évaluation de la formation a-t-elle un intérêt pour les apprenants ? Se sentent-ils impliqués dans l’évaluation de la formation ? -L’évaluation de la formation a-t-elle un intérêt pour le formateur ? Comment utilise-t-il les différents types d’évaluation ? A-t-il des a priori à ce sujet ? -L’entreprise associe-t-elle l’évaluation de la formation à une démarche qualité ? -Pensez-vous que les acteurs de la formation aient une réelle volonté d’améliorer l’évaluation et la formation ? - Comment travaillez-vous collectivement ? Transmettez-vous vos pratiques à vos collègues ou collaborateurs ? -Votre collaboration est-elle fructueuse ? Pensez-vous qu’elle permette d’améliorer l’efficacité de l’évaluation de la formation et au final la formation elle-même ?
Items Enoncé Interprétation
Acteurs impliqués dans l’évaluation de la formation
-le manager, au retour de la formation, revoit son collaborateur -Le formateur distribue les évaluations -ça remonte au responsable FPC - un chargé de formation qui travaille avec les RF et les référents
D’après l’interviewé, une multitude d’acteurs travaillent à l’évaluation de la formation.
XXXVIII
-le service ingénierie travaille avec la direction formation
Intérêt de la hiérarchie pour l’évaluation
-le manager, au retour de la formation, revoit son collaborateur et il voit avec lui si la formation lui a apporté les manques qu’il avait en connaissances et bien veiller à ce qu’au moment de la pratique, tout soit bien mis en pratique -pour moi, la réussite complète, c’est l’implication du responsable hiérarchique au moment du départ en formation, au moment du choix et à son retour de formation
L’interviewé ne sait pas si la hiérarchie s’intéresse véritablement à l’évaluation de la formation mais elle le devrait.
Intérêt des apprenants pour l’évaluation
-c’est quand même un document qui va rentrer dans le passeport du collaborateur et s’il a juste son test de positionnement, ça ne va pas être le reflet de ce qu’il a acquis comme compétences -les collaborateurs se sous-évaluent parce qu’ils se disent que s’ils viennent avec de bonnes évaluations, on va leur donner autre chose à faire et ils ont pas envie de le faire donc ils vont se sous-évaluer en se disant comme ça, on ne m’embêtera pas sur le poste de travail et là aussi, ça fait partie d’un entretien. -Y a ceux qui se disent, je vais vite remplir, que tout est bon et d’ailleurs, sur l’évaluation générale, on voit que « très satisfait » […], « on a bien mangé, on a bien dormi », pour eux la formation s’est bien passé juste pour ces critères-là. -c’est plus une corvée en fin de formation, ils ont déjà rangé toutes leurs affaires et « oh, il y a encore ça à faire quoi. » -si le collaborateur veut faire une VAE, ils en tiendront compte, d’où l’intérêt de bien positionner […] d’où l’intérêt de bien être rigoureux sur le remplissage et la validation. -de par les remontées des appréciations de fin de stage, il peut y avoir modification des supports pédagogiques
Les apprenants ne voient pas suffisamment l’intérêt de l’évaluation de la formation néanmoins, leur avis peut faire évoluer la formation et leurs auto-évaluations sont importantes pour leur passeport formation et leur développement des compétences.
Intérêt du formateur pour l’évaluation
-Le formateur s’assure quand même que le collaborateur se soit bien positionné dans l’acquisition des connaissances -si le formateur n’est pas d’accord sur l’auto-positionnement du collaborateur, il ne doit pas signer sa feuille et discuter avec lui : « tu sais, par rapport à moi, ce que j’ai pu voir pendant la
Le formateur a un réel intérêt pour l’évaluation de la formation, il valide les auto-évaluations, il est jugé par les stagiaires dans l’évaluation de satisfaction, par les auditeurs lors des sessions tests des nouvelles formations. Il est amené à s’améliorer à partir des résultats de
XXXIX
formation, là, tu n’as pas été performant, là oui », c’est vraiment ajusté. -Le formateur distribue les évaluations et les collaborateurs repartent avec. -ils restent complètement neutres sur les évaluations de fin de formation mais traditionnelles […] il n’intervient pas du tout, il n’intervient que sur les auto-positionnements. Il récupère les évaluations générales sans y mettre de commentaire -comme le formateur est jugé par les stagiaires, on peut aussi en sortir la qualité de prestation de chacun des formateurs -au départ, c’est vrai qu’il se braque : « moi, ça fait la centième formation que je fais sur ce sujet », il se justifie. -ils prennent au sérieux l’auto-évaluation pédagogique. Il peut pas lui, être intègre et valider l’acquisition des compétences en sachant très bien qu’il le mérite pas. -il met sa validation en doute s’il valide n’importe quoi. Il prend son rôle au sérieux à ce niveau-là. […] Il a le respect de son engagement à valider. -L’évaluation, elle doit être accompagnée de commentaires du formateur. Si on veut qu’elle soit bien remplie, il faut que le formateur les prévienne de à quoi ça va servir et surtout sur l’auto-évaluation, que ce soit le reflet de la réalité. Il doit accompagner le remplissage. -le formateur, il a besoin d’être audité avec les sessions tests de nouvelles formations.
ces évaluations.
Intérêt de l’entreprise pour l’évaluation
-les synthèses sont envoyées avec les factures à chacune des DAR, mais par contre, je ne sais pas comment ça se passe derrière dans l’entreprise. -le traitement derrière, je n’en ai pas connaissance -L’entreprise a un rôle a joué, ça doit faire partie d’un axe managérial, tout autant que l’entretien annuel. Les managers font bien l’entretien annuel, pour le départ en formation, ça doit être pareil. Je suis convaincu qu’il faudrait formaliser quelque chose à ce niveau-là. Ce n’est pas fait par
Il est difficile de savoir, pour l’interviewé, si l’entreprise s’intéresse vraiment à l’évaluation de la formation. Il pense que c’est très important pour l’entreprise et qu’elle a un rôle à jouer au niveau du management mais il pense que « ce n’est pas fait par manque de temps ».
XL
manque de temps
Volonté commune d’amélioration de l’évaluation
-on ne va pas modifier systématiquement parce qu’un groupe a dit que c’était trop long, on va reprendre les évaluations des sessions précédentes et s’il s’avère que c‘était un groupe particulier, on ne modifiera pas. -L’évaluation des auditeurs permet vraiment d’améliorer la formation. On la rend optimale sur tout ce qu’ils attendaient. Comme ils ont travaillé ensemble avant, elle ne sera à reprendre que sur deux ou trois points ou alors elle sera validée à 100 % -sur la qualité, ça remonte au responsable FPC, qui voit avec le formateur qu’est-ce qui s’est passé, pour voir si c’était général au groupe, à savoir si un collaborateur a mentionné ce fait-là, pourquoi ? Là, on creuse chez nous, on remonte les informations
Il y aurait une véritable volonté commune d’amélioration de l’évaluation entre certains des acteurs de l’évaluation. Les acteurs de l’évaluation, stagiaires, service ingénierie, responsable FPC, formateurs, tiennent compte des évaluations de satisfaction. De plus, les formations sont toujours testées par des auditeurs et optimisés par le service ingénierie avant d’être déployées à grande échelle.
Mise en place d’une évaluation construite collectivement
-Mais après, c’est la qualité d’entretien du responsable hiérarchique pour lui amener, pour lui présenter les choses, qui fera que, qui prendra conscience qu’il a peut-être besoin ou de respirer entre deux stages ou peut-être qu’il en a eu trois d’affilé et puis le dernier, en fait, il l’a fait en dilettante parce que il s’est fatigué à répéter la même chose. On essaiera de plus varier son animation. On verra s’il a besoin d’un accompagnement sur un sujet où il a quelques lacunes. Peut-être qu’avec des experts de leur métier, il est pas à l’aise et a besoin d’être accompagné pour qu’on évoque tout ça. -on a bien briefer les formateurs sur le fait qu’ils allaient tous se mettre en acquisition complète et que c’était à ce moment-là que son rôle était important dans le fait de lui faire comprendre que il avait pas tout compris, que tout n’était pas acquis. -je crois que c’est le discours et le préalable qu’on fait au formateur qui rend cette évaluation importante à ses yeux -moi j’ai fait tous les démarrages de formation avec les explications aux formateurs en amont et après faire la présentation au groupe quand il arrivait en expliquant le pourquoi de cette évaluation, en expliquant le risque s’ils mettaient une acquisition complète
L’évaluation de la formation est construite collectivement par les acteurs de la formation. Le formateur est évalué par son responsable hiérarchique, par les apprenants, par les auditeurs-testeurs à la création d’une formation. Ces acteurs coopèrent entre eux pour améliorer le travail du formateur et donc la formation elle-même. Le service formation, dont fait partie l’interviewé, coopère avec le formateur sur les évaluations de satisfaction et sur l’auto-évaluation des stagiaires. Le service formation travaille avec le service ingénierie à l’amélioration de la formation à partir des évaluations des stagiaires. Le formateur et le service ingénierie, composé de chargés de formation, travaillent ensemble à l’amélioration de la formation à partir des évaluations de la formation réalisées par les auditeurs-testeurs et la direction formation.
XLI
-il y a eu quatre ou cinq semaines, ces présentations, après le formateur a pris sur lui le relais des présentations PowerPoint que j’avais faites -Le formateur va amener son expérience du terrain, ou sur la théorie et le service ingénierie va rédiger le programme avec des termes d’acquisition de compétences -quand les appréciations sur la qualité du stage, sur la durée sont inscrites, on en fait part à notre service ingénierie, quand c’est une durée trop courte ou trop longue -Si c’est général, au formateur, on lui fait des remontées -sur les formations sensibles, le service ingénierie missionne un chargé de formation qui travaille avec les RF et les référents pour cette formation et il va y avoir une session test avec les référents et on va réajuster la formation sur le retour de ces gens-là avant d’être démultipliée après. On va se baser sur les commentaires des personnes qui viendront en formation sachant qu’ils sont là en auditeur. Ils sont là pour juger de la formation, dire ce qui va, ce qui ne va pas, ce qu’il faut améliorer -Après l’ajustement avec la session test, la direction formation n’évalue plus la formation
Réflexion sur l’amélioration de la coopération
-Avoir le Campus dans le groupe, ça permet d’être plus proche des besoins de formation, ça doit se faire en parfait partenariat. -Les gens de terrain seront plus à même d’exprimer leurs besoins à des gens qui ont le même langage.
L’interviewé pense que le fait d’avoir l’organisme de formation intégré à l’entreprise est une bonne chose pour le travail en « partenariat ». Les personnes qui ont le même langage et les mêmes codes travailleront mieux ensemble que les autres.
XLII
Annexe 7 : Grille d’analyse transversale des
entretiens
Grille d’analyse transversale des entretiens
Problématique : Comment améliorer l’efficacité de l’évaluation de la formation ?
Hypothèse 1 : « L'efficacité de l'évaluation au sein des entreprises est dépendante de leur conception
de l'évaluation »
Questions posées :
-Pour vous l’évaluation de la formation c’est …..
-Quelles formes de l’évaluation de la formation utilisez-vous ?
-L’évaluation de la formation fait-elle partie de votre champ de compétences ?
Comment la mettez-vous en pratique ?
-A-t-elle un intérêt pour vous ? Quels sont vos a priori à son sujet ?
-D’après vous, est-elle nécessaire en formation professionnelle continue ?
-Rentre-t-elle dans le cadre de vos fonctions ?
-Quelle est la part de votre temps de travail alloué à l’évaluation de la formation ?
-Grâce à quels moyens, dispositifs est-elle mise en œuvre ?
-Quelles sont vos difficultés face à l’évaluation de la formation en général ?
-Quelles contraintes (organisationnelles) vous empêchent de mener à bien l’évaluation de la formation
?
-Un cahier des charges, aussi succinct soit-il, est-il créé avant chaque formation ?
-Des objectifs de formation sont-ils définis par la hiérarchie ? L’entreprise utilise-t-elle la formation
comme un moyen stratégique de développement des compétences de l’homme et de l’entreprise ?
-Concevez-vous les évaluations de la formation en même temps que les formations ou programmes de
formation eux-mêmes ?
-Comment amélioreriez-vous l’évaluation de la formation ? Comment analysez-vous l’évaluation de la
formation pour améliorer les formations ?
Items Interprétation
Différents types
d’évaluation connus
Les connaissances des interviewés sur les différents types d'évaluation sont
hétérogènes, l'un d'entre eux connaît les termes évaluation à chaud et
évaluation à froid, un autre est capable de classer l'évaluation selon 5
niveaux et le troisième a moins de connaissances.
Types d’évaluation
utilisés
Là encore, les types d'utilisation sont hétérogènes, mais les interviewés
n'utilisent pas tous les types d'évaluation qu'ils connaissent.
Pratiques réelles
d’évaluation
Les interviewés ont un socle commun d'évaluations qu'ils utilisent. Ce socle
commun est principalement composé de l'évaluation de satisfaction qui
recueille les opinions des participants et de l'évaluation des connaissances
parfois par de l'auto-évaluation. Certains des interviewés ajoutent à ces
pratiques d'évaluations d'autres pratiques plus ou moins formalisées comme
l'évaluation du transfert pédagogique en milieu de travail, l'évaluation des
prérequis, la mesure de la satisfaction faite de manière informelle,
l'évaluation informelle du travail en groupe ou de l'analyse de pratique. Ce
qui ressort des entretiens est le penchant manifeste des interviewés pour la
flexibilité, pour l'adaptation. Les trois interviewés ne travaillent pas
ensemble et ne sont pas dans les mêmes locaux de Veolia. Hormis le socle
commun d'évaluations réglementaires que sont l'évaluation de satisfaction
XLIII
et l'évaluation des connaissances, l'évaluation de la formation n'est pas
uniformisé, n'est pas standardisé et les interviewés adaptent leurs pratiques
à leurs clients, aux formations.
Utilité de l’évaluation Les interviewés n'ont pas le même point de vue sur l'utilité de l'évaluation
de la formation. Lorsque l'on parle d'utilité de la formation, l'un des
interviewés ne pense qu'à l'évaluation des connaissances et à l'évaluation
des compétences et pour cette personne, l'apprenant fait lui-même
naturellement ces deux types d'évaluation lors de l'utilisation des acquis de
la formation sur son poste de travail. Les deux autres interviewés n'ont pas
le même sentiment et pour eux, l'évaluation de la formation doit
s'améliorer et elle est très utile puisqu'elle permet « de mesurer l'efficacité
de la formation ».
Nécessité de
l’évaluation de la
formation
Pour le premier interviewé, l'évaluation de la formation n'est pas nécessaire
car pour lui, les adultes en formation n'ont pas besoin des mêmes outils
pédagogiques que les enfants. Les autres interviewés pensent que
l'évaluation de la formation est nécessaire mais pas dans tous les cas ; il
n'est pas nécessaire de toujours tout évaluer tout le temps, surtout si ces
évaluations ne sont pas réalisées dans de bonnes conditions. Il ne faut donc
pas « évaluer pour évaluer ».
Importance de
l’évaluation de la
formation
Les trois interviewés disent accorder une grande importance aux opinions
des stagiaires mais l'un d'entre eux souhaite tout de même que l'évaluation
soit réduite au minimum et le troisième interviewé ajoute que c'est très
important si le contexte de la formation le nécessite, ce qui est loin d'être
toujours le cas d'après lui.
Temps accordé à
l’évaluation
L'un des interviewés dit ne pas consacrer beaucoup de temps à l'évaluation
de la formation et le troisième passe beaucoup de temps, avec son équipe,
à rentrer les informations contenues dans les questionnaires de satisfaction
dans un logiciel de traitement statistique des données qui y sont collectées.
Moyens accordés à
l’évaluation
Seul l'un des interviewés a permis de répondre à cette question et celui-ci a
indiqué que peu de moyens étaient mis à disposition de l'évaluation de la
formation car c'est souvent « la dernière roue du carrosse ».
Difficultés à évaluer Deux des interviewés admettent avoir des difficultés dans l'évaluation de la
formation, dès le niveau de l'évaluation des acquis. Ils ne mentionnent
même pas le niveau supérieur de l'évaluation du transfert pédagogique.
L'un d'entre eux affirme avoir des difficultés avec ce qu'il appelle
l'évaluation de la « performance ». Cependant, ils n'ont pas de difficultés
avec le niveau de l'évaluation des opinions. Le troisième interviewé n'a
aucun problème avec l'évaluation de la formation mais il sait quelles sont
les difficultés que rencontrent les formateurs avec qui il est en contact. L'un
des interviewés pensent déjà que l'évaluation des connaissances à la chaud
n'est pas légitime. Le deuxième interviewé estime qu'une évaluation ne peut
être objective que si elle est déployée à grande échelle et donc que la
formation elle-même soit déployée à grande échelle.
Obstacles et
contraintes
organisationnels à
l’évaluation de la
formation
Le premier obstacle est, pour l'un des interviewés, le manque d'implication
des stagiaires et de leur hiérarchie dans la formation. Lorsque ceux-là
arrivent en formation sans en connaître le programme et qu'ils ne savent
pas pourquoi ils sont là car ils n'ont pas définis d'objectifs de formation
avec leur manager, la formation ne peut pas être efficace et ils ne peuvent
faire aucune évaluation de la formation. Avec l'évaluation de la formation,
on sait alors rapidement que la formation n'apportera sans doute aucun
bénéfice au salarié comme à l'entreprise. Le second obstacle pour deux des
XLIV
interviewés est le manque de formalisme dans le fonctionnement de
l'entreprise, ce qui se ressent aussi en matière de formation et donc
d'évaluation de la formation. En effet, les interviewés doivent sans cesse
s'adapter aux pratiques des différents responsables de formation des
différentes régions et différentes branches de Veolia Environnement.
Existence d’un cahier
des charges
En ce qui concerne l'existence d'un cahier des charges, les trois interviewés
sont formels et disent qu'ils en réalisent, mais il y en a différents types, plus
ou moins formalisés, qui sont utilisés selon le contexte et la formation.
Existence d’objectifs
de formation
prédéfinis
Deux des interviewés estiment que définir des objectifs de formation avant
la formation est très important mais qu'ils ne savent pas si les stagiaires
communiquent avec leurs managers sur ce point avant de partir en
formation. Le troisième interviewé a conçu un document qui présente la
formation au manager et à son collaborateur et qui permet de les impliquer
tous les deux dans la formation et de préparer l'évaluation de la formation.
Evaluation de la
formation conçue en
amont
Les pratiques des trois interviewés sont disparates. L'un des interviewés ne
semblent pas concevoir l'évaluation de la formation en amont de la
formation la plupart du temps, le deuxième la conçoit avec le
commanditaire et le troisième précise que le service chargé de concevoir
les formations le fait systématiquement.
Réflexion sur
l’amélioration de
l’évaluation et sur
l’amélioration de la
formation
Le premier interviewé s'interroge beaucoup sur l'évaluation des
connaissances et des compétences mais il est en cours de recherche de
solutions mais n'en a pas vraiment pour l'instant. Le deuxième interviewé
souhaite améliorer l'évaluation de la formation en prescrivant des
procédures d'évaluations particulières selon les types de formation, en
formalisant davantage les évaluations et en mettant en place une démarche
qualité. Le troisième interviewé souhaiterait améliorer l'évaluation du
transfert des connaissances en situation de travail en préconisant la
réalisation d'un entretien entre le collaborateur et son manager au retour de
la formation.
Hypothèse 2 : « L'efficacité de l'évaluation est améliorable par la coopération entre les acteurs de la
formation »
Questions posées :
-Travaillez-vous sur ce sujet avec d’autres personnes ? Si oui, lesquelles ?
-A-t-elle un intérêt pour votre service ?
Recevez-vous, de la part de votre hiérarchie, des consignes sur l’évaluation de la formation ?
Votre hiérarchie a-t-elle certaines attentes à ce propos ?
-L’évaluation de la formation a-t-elle un intérêt pour les apprenants ? Se sentent-ils impliqués dans
l’évaluation de la formation ?
-L’évaluation de la formation a-t-elle un intérêt pour le formateur ? Comment utilise-t-il les différents
types d’évaluation ? A-t-il des a priori à ce sujet ?
-L’entreprise associe-t-elle l’évaluation de la formation à une démarche qualité ?
-Pensez-vous que les acteurs de la formation aient une réelle volonté d’améliorer l’évaluation et la
formation ?
- Comment travaillez-vous collectivement ?
Transmettez-vous vos pratiques à vos collègues ou collaborateurs ?
-Votre collaboration est-elle fructueuse ?
Pensez-vous qu’elle permette d’améliorer l’efficacité de l’évaluation de la formation et au final la
formation elle-même ?
Items Interprétation
Acteurs impliqués Quelque soit l'interviewé, une multitude d'acteurs est impliqué dans
XLV
dans l’évaluation de la
formation
l'évaluation de la formation comme les managers, les participants, les
membres des services formation, les RH, les responsables formation.
Intérêt de la hiérarchie
pour l’évaluation
Les trois interviewés estiment que la hiérarchie devrait être intéressée par
l'évaluation de la formation mais ils ne savent pas réellement si elle l'est
vraiment et ils en doutent.
Intérêt des apprenants
pour l’évaluation
Selon les trois interviewés, les apprenants ne sont pas intéressés par
l'évaluation de la formation mais ils peuvent l'être sans s'en rendre compte.
Pour l'un des interviewés, ils montrent tout de même leur intérêt lorsqu'ils
lui donnent leur avis de façon informelle. Pour le deuxième interviewé, les
stagiaires auraient même besoin d'être évalués pour prendre confiance en
eux.
Intérêt du formateur
pour l’évaluation
Pour les interviewés, le formateur semble être intéressé par l'évaluation de
la formation. Grâce à elle, il va pouvoir évaluer le niveau des apprenants, il
va pouvoir améliorer la formation en donnant des pistes de changement au
chargé de formation, il va pouvoir s'adapter aux besoins des stagiaires et il
va pouvoir améliorer ses pratiques.
Intérêt de l’entreprise
pour l’évaluation
D'après les interviewés, certains acteurs de l'entreprise s'intéressent à
l'évaluation de la formation, comme les responsables de formation, les
responsables des Ressources Humaines mais pour eux, ce n'est pas
prioritaire et l'entreprise ne soutient pas vraiment les projets d'évaluation de
la formation.
Volonté commune
d’amélioration de
l’évaluation
Les trois interviewés pensent qu'il y a une volonté commune d'amélioration
de l'évaluation de la formation mais les interviewés ne prêtent pas
forcément cette volonté aux mêmes acteurs. Le premier interviewé estime
que cette volonté est commune aux responsables de formation et aux
chargés de formation, le deuxième interviewé estime que cette volonté est
commune aux chargés de formation, aux formateurs, aux participants et le
troisième interviewé estime que cette volonté est commune à tous les
acteurs de la formation.
Mise en place d’une
évaluation construite
collectivement
Pour les trois interviewés, l'évaluation de la formation est construite
collectivement. Le premier interviewé essaye de mettre en place une
évaluation de la formation construite par les managers et leurs
collaborateurs en formation pour améliorer la préparation de la formation et
le transfert pédagogique des acquis de la formation sur le lieu de travail. Le
deuxième interviewé cherche à construire l'évaluation de la formation en
coopération avec le commanditaire de la formation lors de sa création. Le
troisième interviewé pense que l'évaluation de la formation est construite
collectivement à plusieurs niveaux : le formateur travaille avec les
auditeurs-testeurs, les apprenants, la direction formation et les responsables
hiérarchiques à la création d'une action de formation. Le formateur
construit l'évaluation de satisfaction et l'évaluation pédagogique avec le
service formation. Le service formation travaille avec le service ingénierie
sur les évaluations de satisfaction.
Réflexion sur
l’amélioration de la
coopération
L'un des interviewés estime qu'à l'heure actuelle, il n'y a pas de réelle
coopération et que seul le changement d'organisation, la restructuration de
l'entreprise amènera les acteurs de la formation à travailler ensemble. Le
deuxième interviewé pense que la coopération existe entre l'entreprise et
son centre de formation intégré parce qu'ils parlent le même langage. Pour
ces deux personnes, la coopération est donc difficile à trouver puisqu'il
faudrait forcément avoir des codes communs ou qu'elle soit forcée,
contrainte par l'organisation pour qu'elle puisse exister.
XLVI
Annexe 8 : Commentaires en supplément des
questionnaires
-Les questions sont claires et précises mais pas adaptées à mon poste dans un service support. Cette
évaluation est utile. La formation m’a servi dans ma façon de penser pour mieux cerner les
questions de sécurité.
-C’est utile et j’espère que cette évaluation fera avancer les choses.
-Cette évaluation fait un état des lieux sur les personnes, c’est bon pour faire progresser la
formation.
-Ce genre d’évaluation est trop fermé. L’évaluation est utile mais ça dépend comment c’est analysé
en haut lieu.
-Cette évaluation peut-être utile.
-Cette évaluation est une petite claque derrière pour se rappeler des choses. Ça fait du bien de voir
qu’il y a un suivi après cette formation.
-C’est intéressant pour se remettre en cause. Je vais reprendre le bouquin dès que je raccroche. On
devrait passer plus de temps à travailler cette formation après. Ça permet de se poser les bonnes
questions.
-C’est bien de demander après un certain temps pour savoir si on a mis en place les choses.
-C’est bien de revenir sur ce qui a été fait. Ça peut être que bien.
-C’est utile, ça permet de faire un point et de voir s’il y a besoin d’améliorer la formation.
-Les questions se tiennent, c’est cohérent.
-Ça correspond à ce qui a été vu en formation.
-C’est une piqûre de rappel. C’est bien d’en reparler.
-C’est bien. Aujourd’hui, je suis fier d’avoir plus de 1700 jours sans arrêt de travail.
-Ça va dans la bonne dynamique. On revoit les fondamentaux.
-C’est utile.
-Ça peut être utile, ça permet de faire un bilan.
-Ca remet les choses au point. Ça montre qu’il y a un suivi, que le Siège fait attention à la sécurité.
-C’est une bonne chose mais il faut que ça soit suivi d’effet. Il me faut un retour sur les décisions.
J’aimerais avoir un positionnement par rapport aux autres.
-Il faut une évaluation de la formation. Notamment une évaluation pédagogique en fin de formation
des stagiaires.
-J’espère que ça va servir et que ce n’est pas seulement pour remplir un tableau Excel.
XLVII
-C’est la première fois que l’on me fait faire une évaluation longtemps après la formation. Ça
permet de mesurer les écarts entre ce qu’on fait et ce qu’on a appris.
-C’est bien d’avoir un suivi de la formation. C’est intéressant de savoir si ce qu’on a appris est bien
mis en œuvre.
-L’évaluation est très complète. C’est adapté.
-C’est toujours bien de débriefer sur ce qu’on a fait en formation.
-Elle est très bonne. Ça permet de voir s’il faut refaire une formation, ou pour informer.
-C’est bien d’interviewer les gens. Ça permet d’avoir le ressenti, c’est utile.
-Cette évaluation est insuffisamment adaptée aux acteurs transverses.
-Le questionnaire arrive un peu tard.
-C’est bien. Ça permet d’améliorer la formation.
-C’est bien d’aller jusqu’au bout des choses et de vérifier le suivi et l’efficacité de la formation sur
le terrain.
-J’espère que ça va actualiser les choses concernant l’accompagnement.
-C’est une bonne synthèse de la formation. Avec du recul, c’est bien.
-Ca a le mérite d’exister. C’est important d’avoir un suivi de la formation. C’est toujours difficile
d’évaluer une formation mais c’est bien de le faire lorsqu’elle est déployée à grande échelle.
-L’évaluation de satisfaction était classique. Il faudrait débriefer oralement à la fin de la formation
pour la satisfaction. Est-ce que le but de la formation est de plaire ? Non, il faut apprendre et mettre
en pratique. On peut passer un bon moment avec un formateur mais ne rien apprendre. Il faut faire
un débriefing par quelqu’un de la formation et pas seulement par le formateur. Pour l’évaluation
différée, j’ai l’impression d’être écouté. On a le sentiment de pouvoir tout dire. Il y a un suivi sur
l’apport concret.
-Ça permet de dire ce qu’on pense.
-Ça arrive trop tard par rapport à la formation.
-L’évaluation est approximative comme la formation. Ce ne sont que des grandes lignes et ce n’est
pas applicable sur le terrain.
-Je ne me souviens plus de l’évaluation finale. Pour cette évaluation, ça vous apporte des
informations. Ça ne m’apporte rien personnellement.
-Ça correspond bien à ce qu’on doit faire depuis la formation.
-C’est nécessaire pour voir si on a compris les enjeux, si la mise en pratique se fait facilement.
-C’est toujours intéressant de discuter. Je souhaite que ça serve pour affiner la formation et que ça
profite aux jeunes collaborateurs qui vont entrer dans la société et qui seront formés.
-C’est bien, ça permet de discuter, de savoir ce qu’on pense. C’est une bonne évaluation.
XLVIII
-Je n’en pense pas grand-chose.
XLIX
Annexe 9 : Questionnaire général
L
LI
Annexe 10 : Questionnaire spécifique à VIVRE
LII
LIII
Annexe 11 : Extrait du tableau de données
quantitatives
LIV
Annexe 12 : Exemple de tri croisé dans Excel
LV
Annexe 13 : Réponses aux questions ouvertes des
questionnaires
Commentaire 5 V24 :
Les personnes qui ont répondu « oui » à la question précédente V23 ont dit :
-En simplifiant. Avoir un support plus adapté à nos métiers, plus compréhensible.
-Une journée de rappel par trimestre ou semestre.
-Un recyclage tous les deux ans serait le bienvenu.
-Il faut une piqûre de rappel sans suivre une nouvelle formation. Il faut se replonger dans les
supports.
-Une piqûre de rappel tous les deux ans en un jour.
-Une piqûre de rappel fait du bien, par un recyclage d'une journée par an surtout s'il y a de nouvelles
règles.
-En allant sur d'autres sites pour échanger avec d'autres responsables d'exploitation.
-Faire une journée de retours d'expériences entre les personnes formées pour voir ce que les gens
appliquent.
-Une heure pour reprendre les axes six mois après la formation puis à douze mois.
-En e-learning, assez court. Avec zoom sur des points difficiles à appliquer
-Un rappel ferait du bien avec une journée et une visite de site, plus que quelqu'un d'autre qui
viendrait faire une visite sur mon site.
-Sur une journée, une fois par an, en échangeant sur des cas concrets.
-Sur de nouvelles procédures, un retour d'expériences, sur ce qu'ont mis en place les autres dans un
groupe d'échanges.
-Une demi-journée, une fois par an.
-recyclage d'une demi-journée par an
-Une demi-journée sur les nouveautés tous les six mois
-Une demi-journée ou une journée, une fois par an
-Oui, s'il y a une évolution de la formation
-Par du concret, dans des mises en situation, une journée par an.
-Par piqûre de rappel, une demi-journée tous les deux ans
-Par demi-journée annuelle
-S'il y a de nouveaux éléments sinon, ce n'est pas nécessaire.
-Dans le cadre des challenges sécurité, on pourrait parler des méthodes
LVI
-Quelques heures annuellement à une demi-journée
-Par une évaluation des connaissances
-Toutes les formations devraient être actualisées. Deux jours n'étaient pas suffisants. Une demi-
journée thématique avec mise en situation (par an)
Proposition d'amélioration V25 :
-Plus de terrain. Faire plus d'ateliers avec les collaborateurs qui sont concernés par les accidents du
travail, les impliquer davantage.
-Avoir un suivi de la formation par un accompagnement.
-Faire plus simple sur la partie audit (trop complexe pour le terrain), administrativement.
-Point positif : il y a eu beaucoup d'échanges pendant la formation
-Le problème, c'est le support qui n'est pas adapté à chaque site. Il faudrait faire la formation pour
tout le personnel d'un site, en même temps et sur le site.
-Il est impossible d'appliquer la formation sur le terrain sans moyens techniques.
-Mettre plus d'études de cas. Faire vivre davantage la formation en commun.
-Changer de site de rencontre plus souvent pendant la formation et avec des homologues de plus
d'agences différentes
-Les moyens étaient biens. Filmer une intervention et voir comment on pourrait l'améliorer par la
critique et l'analyse de ce que l'on voit.
-Elle est parfois trop éloignée de la réalité. Proposer des actions qui soient plus réalistes d'un point
de vue économique car on ne peut pas arrêter tout le temps l'activité même si la formation dispense
des grands principes.
-C'était pas mal comme c'était.
-Le personnel n'a pas acquis les concepts de base. Il y a un décalage.
-Faire plus de terrain en allongeant la durée de la formation.
-Faire plus court car j'ai fait trois jours.
-Plus de cas concrets.
-Il faut la faire sur deux jours consécutifs ou proches.
-Il faut que les commerciaux fassent la formation. Il faut insister sur la partie responsabilité
juridique. Impliquer voire former tous les membres des CHSCT.
-Travailler par activité.
-Manque d'informations et d'accompagnement avant la formation.
-Faire plus de terrain
LVII
-La formation était trop longue
-Faire deux jours en continu et plus d'exercices pratiques sur le terrain. Impliquer davantage les
personnes sur le site pendant ces exercices pratiques
-Voir plus de technicité : pouvoir répondre aux besoins des salariés opérateurs. Voir plus de
psychologie humaine dans la formation
-Faire plus de pratique, plus de simulation en tenant compte des moyens humains, financiers, etc…
-Création d'un outil de gestion, de suivi, d'analyse et reporting des fiches visites de sécurité
-Difficulté à interdire un travail sur un site qui n'est pas le mien. C'est difficile d'appliquer l'arrêt
immédiat de l'activité préconisé dans la formation
-La faire tenir en une journée
-Qu'elle soit ouverte à tout le monde
-Simplifier la méthode car je pense qu'elle apporte une certaine lourdeur aux visites sécurité
-Il faut voir dans la globalité ce qu'on fait. La mise en application manque d'anticipation. Si je
licencie quelqu'un pour manque de sécurité, je ferme le site donc c'est impossible à appliquer.
Simplifier les méthodes qui sont imbuvables. Prendre plus de cas concrets lors de la formation ; il y
en a beaucoup. Ma hiérarchie me parle de zéro tolérance mais c'est le grand écart avec la réalité du
terrain.
-La hiérarchie aurait dû être formée avant. On a fait des visites mais tout le monde n'était pas au
courant. Il faut déployer la formation à toute personne qui travaille sur le site dès le premier jour. -
Prévoir une formation accélérée en une heure avant tout autre chose dès l'arrivée du salarié dans
l'entreprise.
-Formation plus sur le terrain (2 jours de plus)
-Faire plus de mises en situation. Faire deux jours non-consécutifs pour la formation initiale. Il
faudrait un représentant région QHSE pendant la formation en plus du formateur.
Commentaire 1 V13
Les personnes qui ont répondu « oui, tout à fait » à la question V12 ont commenté ainsi :
-En fonction de mes besoins en compétences lors de l'entretien de fin d'année avec mon
responsable.
-Tous les ans, lors de l'entretien de fin d'année, on fixe des objectifs de formation.
-Avant, j'étais conducteur donc j'avais besoin de mise à niveau.
-Lors de l'entretien annuel
-Avant la formation, on avait eu un débrief sur les règles fondamentales
LVIII
-Lors de l'entretien annuel
-Lors d'entretien de fin d'année
-Par les objectifs annuels
-A l'occasion de l'entretien annuel
L’une des personnes qui a répondu « assez » à la question V12 a répondu :
-Lors d'un entretien informel.
L’une des personnes qui a répondu « assez peu » à la question V12 a répondu :
-Je n'ai pas eu d'objectifs de formation.
Commentaire 2 V17
Les personnes qui ont répondu « oui, tout à fait » à la question V16 ont commenté ainsi :
--Lors d'une réunion, on a eu un rappel sur les principes à mettre en place sur le site.
On s'est fixé des objectifs de visites, de causeries. C'est limité sur une plate-forme de compostage
où il y a peu de points dangereux à vérifier.
-Par des réunions.
-On met en place des réunions journalières dans lesquelles on aborde la sécurité et les moyens à
mettre en place.
-Visites sécurité à faire une fois par mois sur des sites différents.
-On m'a demandé d'appliquer la formation et c'est ce que j'ai fait en proposant deux indicateurs par
trimestre.
-En parlant de plein de problème. Mise à plat après la formation de ce que l'on pouvait améliorer.
-On a prévu les visites sécurité, le respect des règles fondamentales et la mise en valeur des bonnes
pratiques.
-On a mis en place les visites sécurité chaque mois avec HOT, ABCD en alternance avec mon
supérieur.
-On a vu ensemble ce qu'on pouvait améliorer et mettre en commun.
-On a vu les règles fondamentales qu'il fallait appliquer.
-J'ai signé une fiche d'engagement dans laquelle j'ai renseigné les actions que j'allais mener ou
celles menées par mes collaborateurs.
-On se sert de HOT, SVP.
-Le jour de la formation, chaque responsable a eu un livret et des objectifs.
LIX
-On s'est basé sur des bilans faits avant notre formation puis on a contractualisé les nouveaux
objectifs après la formation au regard du bilan passé.
Les personnes qui ont répondu « assez » à la question V16 ont commenté ainsi :
-La hiérarchie m'a donné des objectifs de suivi de collecte, de causeries.
-En réunion d'exploitation, on nous a dit ce qu'il faudrait faire.
-On a décidé ensemble de la conduite à tenir, en causerie.
-Par un entretien au cours duquel on a rempli la fiche d'objectifs VIVRE.
-Lors de l'entretien annuel, on a déterminé les objectifs sécurité avec la formation VIVRE.
-On a eu une feuille à compléter dans laquelle on devait écrire ce que l'on devait et allait faire mais
je ne sais pas si ça a été vu par ma hiérarchie.
-En entretien, en prévoyant des tournées sécurité
-Lors de visites sécurité (vu avec le responsable)
-On a fait l'engagement sécurité puis en CODIR, on a mis en place un planning de visites. On a
décidé d'utiliser HOT et SVP
Les personnes qui ont répondu « assez peu» à la question V16 ont commenté ainsi :
-Peu de retours entre nous mais un peu avec mon supérieur direct.
-On en a parlé et on a essayé de mettre en place les nouvelles fiches de suivi sécurité.
-On ne nous a pas laissé le choix, il fallait l'appliquer.
-On a décidé d'intégrer HOT et SVP aux fiches terrain. Mais je suis embêté pour les utiliser.
-On a dû appliquer ce qu'on a appris mais on n'a pas d'indications précises
Commentaire 3 V20
Les personnes qui ont répondu « oui, tout à fait » à la question V19 ont commenté ainsi :
-Par audit de sécurité dans les services. On pratique entre nous.
-C'était déjà mis en pratique avant.
-On s'interroge ensemble sur l'étude des risques et des moyens à mettre en place. On essaye de
mettre en place les interventions à faire pour limiter les risques.
-On a communiqué, on a mis en place des indicateurs.
-On a décidé d'être exemplaire.
-En faisant des visites ou des causeries.
-On a mis en place les programmes de visites, de suivi
LX
-Au quotidien, on travaille ensemble.
-Sur le suivi des accidents du travail, implication des équipes.
-Utilisation de la fiche sécurité avec ABCD avec les managers de sécurité lors de visites collectives
au début. Aujourd'hui, visites seuls puis réunion pour plan d'action.
-En échangeant lors des réunions QSE sur les moyens et en regardant les écarts entre ce qui est fait
et ce qui devrait être fait.
-On se réunit pour se fixer des objectifs
-On a les mêmes documentations, trames mises en place avec notre hiérarchie
-A l'occasion des visites sécurité
Les personnes qui ont répondu « assez » à la question V19 ont commenté ainsi :
-Par la mise en place de visites sécurité en mettant en place HOT, SVP et le barème ABCD vus
pendant la formation.
-On s'explique par rapport au terrain. On voit ce qui n'est pas bien.
-Tournées de sécurité ensemble et causeries
-En tant que responsable sécurité, je m'assure que chaque manager fasse une visite sécurité par mois
-Par la communication orale, par la pratique
-J'ai fait les visites avec les responsables de site en utilisant les fiches sécurité, en utilisant le même
langage, les mêmes problématiques
-Par des visites sécurité à plusieurs
-Lors des visites sécurité notamment impromptues
Les personnes qui ont répondu « assez peu» à la question V19 ont commenté ainsi :
-Par manque de temps.
-Ils ont du mal à comprendre HOT et SVP sans avoir suivi la formation. Même ceux qui ont suivi la
formation ont parfois du mal à comprendre.
-La formation donne peu d'outils.
-On n'avait pas la même activité et on n'en a pas discuté par manque de temps.
-Je n'ai déjà pas totalement assimilé la formation alors je l'utilise peu avec les autres
-On est séparé donc je ne travaille pas directement avec eux
-Lors d'une visite sur un site, ce qu'on remarque et ce qu'on signale aux collègues n'est pas
forcément suivi d'effet par manque de moyens
-On a mis en place les visites sécurité
-Par des causeries, avec HOT, en utilisant les documents qu'on a, en visite sécurité à plusieurs
LXI
-Ce sont de belles méthodes mais ce n'est pas la réalité du terrain.
Les personnes qui ont répondu « non, pas du tout » à la question V19 ont commenté ainsi :
-Pas pour le moment.
-On n'est jamais ensemble donc on ne peut pas mettre en place les outils ensemble.
-Car il n'y a pas de lien direct. On est isolé.
-Chaque encadrant se fixe ses propres objectifs. On échange en réunion d'exploitation
Les personnes qui ont répondu « non concerné » à la question V19 ont commenté ainsi :
-Mes collègues ne sont pas sur mon site donc je ne travaille pas directement avec eux.
Commentaire 4 V22
Les personnes qui ont répondu « oui, tout à fait » à la question V21 ont commenté ainsi :
-Les collaborateurs sont très motivés pour réduire les accidents du travail. Certains ont même fait
des propositions que j'ai mises en place.
-Impact positif pour communiquer sur les bons réflexes, mise en valeur des salariés. Ils ne sont pas
seuls devant les difficultés. Il faut une communication positive sur les erreurs faites aussi en déchet
dangereux et de soin.
-Mise en place d'éléments de repères : EPI, etc…
-On s'auto-surveille les uns les autres donc ça tire tout le monde vers le haut. Quand il s'agit de
sécurité, il n'y a plus de hiérarchie. Un chauffeur peut dire à un responsable qu'il a oublié des EPI.
-Après la formation, on a fait un briefing avec eux, pour les impliquer et les responsabiliser.
-Ça a permis qu'on en parle, qu'on donne notre avis, notre ressenti
Les personnes qui ont répondu « assez » à la question V21 ont commenté ainsi :
-Par plus de dialogue.
-Ca m'a permis d'avoir les bons réflexes avec les opérateurs pour comprendre les risques.
-Mise en place d'une communication sur les résultats.
-Dès le lendemain de la formation, on en a parlé.
-Ca accentue l'importance que l'on donne à la sécurité sur le terrain. Ca les implique dans une
démarche participative.
-On a remis des choses au point mais il reste des mauvaises habitudes
-C'est partagé, surtout avec ceux qui n'ont pas envie d'appliquer les règles sécurité.
LXII
-Chacun sait maintenant de quoi on parle donc on a le même langage sur la sécurité
-Par des causeries
-Quand on voit une situation à risque, on communique dessus et on fait des mises en pratique
pédagogiques
-J'ai eu le même langage avec une collaboratrice QSE une fois que j'ai fait la formation.
Les personnes qui ont répondu « assez peu » à la question V21 ont commenté ainsi :
-En faisant travailler les gens différemment mais c'est difficile de leur faire prendre conscience que
la sécurité prime avant l'intervention.
-J'avais déjà un bac + 5 en sécurité donc j'ai peu appris en une journée de formation
-Les collaborateurs ont suivi la formation et donc proposent deux indicateurs par trimestre.
-Ils n'ont pas été formés. Moi, j'ai changé certaines choses que je leur dis mais ça n'a pas d'impact
sur nos relations.
-Ca n'a pas changé grand-chose
-Ça permet de faire face à un risque mais il y a un décalage entre ce qui est demandé et l'application
sur le terrain
-Je le faisais déjà avant la formation donc ça n'a eu que peu d'impact
-La démarche HOT n'est pas faite systématiquement, ce n'est pas un réflexe : gérer une agence, c'est
énorme, on ne peut pas l'avoir en tête en permanence.
-Manque de temps pour travailler avec les collaborateurs
Les personnes qui ont répondu « non, pas du tout » à la question V21 ont commenté ainsi :
-Les relations étaient bonnes avant et ça n'a pas changé.