L'évaluation de la formation à l'épreuve de la réalité

Synthèse du jeudi de l'Afref du 21 avril 2016 

Dispositifs de formation multimodaux et complexes, réglementation de la qualité, développement du training advisor… La réforme de la formation et l'essor du consumérisme réinterrogent complètement l'évaluation de la formation. Pourtant, cette notion reste une source inépuisable de recherches et d'expérimentations dans les entreprises. Le "Jeudi de l'Afref" du 21 avril 2016 a permis de débattre de cette question.

"A chaque fois que l'on parle d'évaluation de la formation, on est au bord de la noyade!" En ouvrant le "Jeudi de l'Afref" du 21 avril 2016 sur le thème de l'évaluation, Philippe Joffre, consultant et président de Paradoxes-Conseils donne le ton de cette matinée foisonnante. Evaluation des politiques, des systèmes, des organismes, des modalités, des programmes, des personnes, des effets de la formation: de quoi parle-t-on? Source inépuisable de travaux de recherche, cette question est une préoccupation concrète pour les acteurs (entreprises, organismes de formation, Opca, acheteurs publics…) dans un cadre légal renouvelé – en particulier depuis la loi du 5 mars 2014 et le décret du 30 juin 2015 sur la qualité des formations[1]. Les acteurs doivent approcher plus finement le ROI (ou ROE[2]) sur des dispositifs de formation de plus en plus complexes et multimodaux liés au développement du digital, et dans une société consumériste où le "liking", les recommandations, les systèmes de cotation par étoiles et le training advisor sont en plein essor.

A quoi renvoie cette notion?

"L'évaluation n'est pas un sujet nouveau, mais sur le plan conceptuel on est encore loin de savoir à quoi renvoie cette notion", note Nora Yennek, chercheuse associée au laboratoire de cognition humaine et artificielle de  de l’Université de Paris Ouest Nanterre la Défense. Dans la multitude de concepts, celle-ci se place plutôt du côté de l'évaluation des actions de formation et en distingue trois types: "L'implicite qui se révèle à travers ses effets (l'auto-censure d'un apprenant qui ne se présente pas à un examen, par exemple), l'évaluation spontanée, à chaud dès la sortie de la formation, et l'évaluation instituée, à la fois explicite dans sa formulation mais surtout dans l'instrumentation qu'elle met en place." Pour Nora Yennek, la notion d'évaluation de la formation renvoie à celle d'efficience, et la chercheuse retient la définition de Philippe Carré[3]: une formation efficace doit permettre "d'optimiser le rapport avec ses résultats et ses coûts". Elle doit être co-construite avec l'apprenant, "client principal, à qui revient le premier rôle dans la formation". Un rôle renforcé par la dernière réforme de la formation qui rend "le salarié acteur de son parcours professionnel", souligne René Bagorski, président de l'Afref.

 Le modèle Kirkpatrick résiste…

Dans le débat sur l'évaluation de la formation, le modèle de Donald Kirkpatrick reste incontournable. Développé à la fin des années 50, il est basé sur quatre niveaux d'évaluation (degré de satisfaction des participants, évaluation des apprentissages, évaluation du niveau de transfert, c'est-à-dire de la mise en œuvre des compétences acquises, et évaluation des résultats de la formation: augmentation de la production ou de la qualité, réduction des coûts, etc.). "On ne peut pas parler d'évaluation sans utiliser le vocabulaire du modèle Kirkpatrick...", constate Nora Yennek, auquel s'est ajouté, à la fin des années 90, un cinquième niveau, le ROI. Pourtant, relève la chercheuse, "ce modèle est insuffisamment contextualisé". De plus, "c'est la satisfaction des apprenants qui est le plus évalué, et plus on monte dans les niveaux, moins on évalue". Une formation efficace serait donc une formation satisfaisante pour l'apprenant-client? Pas si simple. D'autant plus que cette satisfaction s'exprime en général à l'égard du formateur. On est loin de l'évaluation du niveau de transfert par exemple…

Toutefois, dans la mesure où le 6ème critère du décret du 30 juin 2015 sur la qualité des formations précise que les financeurs doivent s'assurer de "la prise en compte des appréciations rendues par les stagiaires", Nora Yennek estime qu'il va "falloir creuser cette notion". L'appréciation client peut, par exemple, se traduire par une motivation à suivre une nouvelle formation. Dans quelle mesure également, une situation formative soutient l'intérêt des apprenants pour un sujet donné et permet de lutter contre l'ennui et le décrochage? Qu'il s'agisse des traditionnels face-à-face pédagogiques, ou des Mooc, Cooc et autres Spoc dont les taux de complétion sont souvent assez faibles (10% chez Orange).

Orange évalue les prérequis

Dans le cadre de son projet de transformation en "entreprise digitale et humaine", Orange a conduit, il y a deux ans, un groupe projet sur l'évaluation des formations, la moitié d'entre elles étant destinées à devenir digitales d'ici 2018. "Nous avons commencé par nous appuyer sur le modèle Kirkpatrick; nous en avons pris tous les niveaux en y ajoutant l'évaluation des prérequis", se remémore Roland Settelen, manager de projets chez Orange. Premier constat: "On n'évalue pas deux formations de la même façon (e-learning, parcours de professionnalisation…)."

Ensuite, "l'idée d'évaluer les prérequis s'est imposée (souvent sous la forme de quiz) car il est essentiel de constituer des groupes homogènes d'apprenants". Enfin, "nous avons constaté que le manager était l'interface clé de l'évaluation à ses différentes étapes et que l'échange avec le salarié devait se poursuivre après la formation". 68% des salariés d'Orange formés disent avoir eu un entretien à l'issue de leur formation, "ce qui nous laisse une marge de progression", souligne Roland Settelen, ajoutant qu'il est impossible d'évaluer toutes les formations sur le transfert de connaissances. "Nous ne le faisons que sur certains projets structurants portant sur la stratégie d'Orange", dit-il. Ce qui est déjà conséquent puisque sur les 3 millions d'heures de formation dispensées dans l'année, 600 000 portent sur la stratégie. "Si nous n'évaluons pas le transfert sur ces actions, nous mettons en péril l'évolution de la société", insiste Roland Settelen.

Ingénierie de l'évaluation

Cela oblige les managers à développer une vraie ingénierie de l'évaluation. D'après Marc Dennery, directeur associé de C-Campus, celle-ci doit comporter quatre étapes: "Un positionnement amont essentiel, une évaluation en cours de formation (qui suppose de proposer une formation ad hoc au référent), une évaluation à l'issue pour mesurer la qualité de la formation, et une évaluation de fin de parcours". Celle-ci s'avère de plus en plus sophistiquée avec le développement des formations certifiantes. Exit les seuls quiz de fin de formation et l'attestation finale!

De son côté, Mathilde Bourdat, manager Offre et Expertise chez Cegos insiste sur la complexification de l'évaluation des parcours de formation de longue durée, hors formations techniques. "Les parcours professionnalisants comportent de plus en plus de compétences transversales dont l'acquisition ne pourra être évaluée que dans le temps." Elle souligne d'autre part, l'intérêt dans certaines formations de mixer des stagiaires de niveaux différents pour favoriser les échanges entre pairs et l'interaction. L'évaluation en amont peut donc dans certains cas s'avérer contreproductive. C'est pour cette raison qu'Orange mène "une réflexion globale sur l'évaluation et l'adapte selon les situations". Toute la difficulté pour une grande entreprise consiste à développer les outils les mieux adaptés à chaque situation tout en s'inscrivant dans une logique industrielle de la formation. "C'est au manager de proximité que revient le rôle de mesurer les effets attendus et inattendus d'une formation sur un salarié", souligne Roland Settelen. Les 20 000 salariés d'Orange formés chaque année reçoivent un questionnaire de dix items à l'issue de la formation dont l'un porte sur l'adaptation aux contraintes du poste. "Cet item est tombé récemment de 10 points. Articuler la formation et les parcours professionnels est donc devenue notre priorité", précise Roland Settelen.

A utiliser avec discernement…

Complexe et obscur objet de désir pour les acteurs de la formation, "l'évaluation est pratiquée, même si on ne sait pas exactement dans quel but", souligne en conclusion Bernard Liétard, professeur émérite au Conservatoire national des arts et métiers (Cnam). L'évaluation est "une sorte de couteau suisse" aux multiples usages: "Bien acheter de la formation, reconnaître l'efficacité d'une formation, évaluer les processus pédagogiques, faire sortir de la valeur, se questionner sur le sens de la formation…" Pour Bernard Liétard, "il faut toujours penser l'évaluation en 3D: Directe (évaluation de la formation en cours), Différée (mesure des effets réels), Diagnostic (évaluation du processus d'ensemble). La mise en place d'un processus d'évaluation pose aussi la question de l'adéquation des moyens utilisés. "Faut-il noyer le serpent de mer de l'évaluation?", demande Bernard Liétard. "Non, répond-il, à condition d'y apporter une approche systémique et plurielle." L'évaluation est à utiliser avec discernement…

 


[1] Décret n° 2015-790 du 30 juin 2015 relatif à la qualité des actions de la formation professionnelle continue (JO du 1/07/2015) - https://www.legifrance.gouv.fr/eli/decret/2015/6/30/ETSD1506316D/jo/texte

[2] Retour sur investissement

[3] Professeur des universités en sciences de l'éducation à l'Université de Paris Ouest-Nanterre La Défense et responsable de l'équipe "Apprenance et formation des adultes" au Cref (Centre de recherche éducation formation).

Imprimer