Imaginez la revue de formation de fin d'année. Vous annoncez un excellent taux de satisfaction. Quelqu'un demande ce que ça a changé sur le terrain. Silence.
Le modèle Kirkpatrick-Phillips classe la preuve en cinq niveaux. Le premier mesure le plaisir. Le cinquième mesure l'euro. Le niveau 1 est évalué sur la quasi-totalité des cours, le niveau ROI sur 5 à 8 % d'entre eux (données ASTD citées par Barnett et Mattox, 2010).
- Votre plafond de preuve est probablement le niveau 1 ou 2. C'est le cas de la quasi-totalité des entreprises, toutes formations confondues.
- La cause est budgétaire. Moins de 4 % des budgets L&D vont à l'évaluation.
- Changer une question de votre questionnaire de fin de formation double sa valeur prédictive. Demandez l'utilité, pas la satisfaction.
- Le CECRL vous offre le niveau 2 presque gratuitement. Il ne vous donne pas le niveau 3.
- Le ROI monétisé ne se calcule que sur une poignée de dispositifs. Phillips lui-même le recommande.
Les 5 niveaux de preuve : repérez le vôtre
Avant de lire le tableau, une consigne. Cherchez la dernière ligne que vous savez documenter aujourd'hui, chiffres à l'appui. C'est votre plafond actuel.
| Niveau | La question posée | Ce que vous collectez | Quand |
|---|---|---|---|
| 1. Réaction | Ont-ils aimé ? | Questionnaire de fin de session | Jour J |
| 2. Apprentissage | Ont-ils appris ? | Test, score, niveau CECRL | Fin de parcours |
| 3. Application | S'en servent-ils au travail ? | Observation, auto-déclaration, avis du manager | 2 à 3 mois après |
| 4. Résultats | Qu'est-ce que ça a changé pour l'entreprise ? | Indicateur métier suivi avant et après | 3 à 12 mois après |
| 5. ROI | Combien d'euros pour un euro investi ? | Bénéfices monétisés rapportés aux coûts complets | 6 à 18 mois après |
Si votre plafond est la ligne 1 ou la ligne 2, la suite vous concerne directement.
Les quatre premiers niveaux viennent de Donald Kirkpatrick, années 1950. Jack Phillips ajoute le cinquième, le ROI financier, au milieu des années 1980 (Barnett et Mattox, 2010, Journal of Asynchronous Learning Networks).
Presque personne ne dépasse le niveau 1, et ce n'est pas votre faute
L'évaluation échoue par manque de moyens dédiés, pas par manque de volonté. Le phénomène touche toutes les formations, pas seulement les langues.
Les chiffres sont anciens et remarquablement stables. L'ASTD a mesuré l'usage réel des modèles Kirkpatrick et Phillips dans les organisations, données reprises par Barnett et Mattox (2010) : le niveau 1 s'applique à la quasi-totalité des cours, puis les pourcentages chutent à chaque palier, jusqu'à 5 à 8 % des cours pour le ROI.
Regardez maintenant le budget. C'est là que tout se joue. Une enquête de Ray (2008) montre que la majorité des organisations consacrent moins de 4 % de leur budget formation à l'évaluation et aux métriques. Parmi elles, 59 % y consacrent moins de 1 %. Bersin (2010) trouve un ordre de grandeur voisin : 39 % des organisations dépensent moins de 1 % de leur budget formation en mesure, et 94,3 % moins de 5 %.
Une évaluation sérieuse demande du temps, des compétences statistiques et un outil. Avec 1 % du budget, vous financez un questionnaire automatique. Vous ne financez pas une étude d'impact.
Ce constat déplace le sujet. Votre incapacité à prouver la valeur d'une formation en langues n'est pas un défaut de votre prestataire. C'est un trait structurel du secteur de la formation.
Le piège du sourire : ce que la satisfaction prédit vraiment
La note de satisfaction ne prédit quasiment rien. Une autre question, posée le même jour sur le même formulaire, prédit deux fois mieux.
Voici le résultat le plus utile de cet article, et il tient dans une méta-analyse de 1997.
Alliger et ses coauteurs ont agrégé 34 études et 111 corrélations pour mesurer les liens entre les niveaux du modèle Kirkpatrick. Ils ont fait une chose que personne n'avait faite avant eux : couper le niveau 1 en deux. D'un côté les réactions affectives (« avez-vous aimé ? »). De l'autre les jugements d'utilité (« pensez-vous pouvoir vous en servir dans votre travail ? »).
Les résultats, publiés dans Personnel Psychology :
| Ce que vous mesurez | Corrélation avec l'usage réel au travail |
|---|---|
| Réactions affectives, « j'ai aimé » | 0,07 |
| Mesures d'apprentissage immédiat, le test de fin | 0,11 |
| Jugements d'utilité, « ça va me servir » | 0,18 |
| Réactions mixtes, affect et utilité combinés | 0,21 |
Les jugements d'utilité sont plus fortement liés à la performance sur le poste que les réactions affectives. Ils sont même de meilleurs prédicteurs du transfert que les mesures d'apprentissage immédiat ou de rétention.
Prenez une seconde pour mesurer ce que ça implique.
Le chiffre que vous remontez en comité de direction, la note de satisfaction, corrèle à 0,07 avec l'usage réel de la formation. C'est presque zéro. Les auteurs le disent sans détour : aimer un cours ne dit pas si on a appris, ni si on va s'en servir.
Et la question qui prédit deux fois mieux coûte exactement le même prix à poser.
L'action concrète, applicable cette semaine. Ouvrez votre questionnaire de fin de formation. Remplacez « Êtes-vous satisfait de cette formation ? » par « Dans quelle mesure pensez-vous utiliser ce que vous avez appris dans les trois prochains mois ? ». Gardez les deux séparées dans votre reporting. Les auteurs recommandent explicitement de traiter les deux types de questions séparément, en utilisant les questions d'utilité comme meilleure estimation du transfert potentiel.
Vous venez de gagner un indicateur prédictif pour zéro euro.
Le CECRL vous donne le niveau 2. Il ne vous donne pas le niveau 3.
Passer de B1 à B2 est une preuve d'apprentissage, pas une preuve d'usage. La confusion entre les deux fait échouer des dossiers en interne.
La formation en langues a un avantage rare. Une échelle publique, comparable, comprise de tous : le CECRL. Un score de certification vous donne un chiffre avant et un chiffre après.
C'est du niveau 2, et c'est déjà mieux que ce dont disposent les autres familles de formation.
Attention à la marche suivante. La corrélation moyenne entre l'apprentissage mesuré et la performance sur le poste est de 0,11. Un collaborateur peut passer de B1 à B2 et ne jamais prendre la parole en réunion. Il sait faire. Il ne fait pas.
L'écart entre les deux a un nom dans la littérature : le transfert. Il dépend moins de la formation que de l'environnement de travail. Les auteurs expliquent que le transfert est fonction à la fois de l'acquisition de connaissances et de la disposition du contexte de travail à permettre l'usage des nouvelles compétences.
Traduction pour votre dispositif : si personne n'a d'occasion de parler anglais dans les trois mois qui suivent, aucune pédagogie ne sauvera la mise.
Franchir le niveau 3 : trois mois, une question, un manager
Le niveau 3 ne demande pas de budget. Il demande de reposer une question à froid et d'aller chercher un deuxième point de vue.
Le niveau 3 est le vrai palier. Il sépare les dispositifs qu'on défend de ceux qu'on subit à l'arbitrage budgétaire.
Voici le protocole minimal.
- 1. Posez l'indicateur avant de lancer. Décidez maintenant de ce que vous observerez dans trois mois. Une réunion client menée en anglais. Un ticket support traité sans escalade. Un compte rendu rédigé sans relecture.
- 2. Relancez à froid. Phillips recommande de comparer les évaluations de fin de session à des évaluations de suivi menées deux à trois mois après la formation. Trois questions suffisent. Deux minutes de réponse.
- 3. Demandez au manager. L'apprenant décrit son ressenti. Le manager décrit ce qu'il observe. Les auteurs suggèrent d'ailleurs d'aller chercher des jugements d'utilité auprès des responsables des participants, et pas seulement auprès des apprenants.
- 4. Traitez les extrêmes, pas la moyenne. La Success Case Method de Robert Brinkerhoff repose sur ce principe : identifier les répondants aux notes très hautes et très basses, puis les interroger pour comprendre les causes de succès et d'échec. Cinq entretiens vous apprendront plus que trois cents réponses moyennes.
- 5. Nommez ce qui bloque. Si les apprenants ont progressé mais n'utilisent rien, votre problème n'est plus pédagogique. Il est organisationnel. Cette information vaut de l'or en comité.
Comptez une demi-journée de travail par cohorte. C'est le meilleur rapport effort/preuve de toute la chaîne.
Le niveau 5 : la formule, et pourquoi vous n'y irez presque jamais
Le calcul est simple, l'isolation de l'effet ne l'est pas. Réservez le ROI monétisé à deux ou trois dispositifs par an, au maximum.
La formule de Phillips tient en une ligne.
ROI (%) = (bénéfices nets du programme ÷ coûts complets du programme) × 100
Les bénéfices nets sont les bénéfices monétisés moins les coûts. Les coûts complets incluent les licences, le temps salarié passé en formation, l'ingénierie interne, l'administration et les frais de certification.
La difficulté est ailleurs. Elle porte un nom : l'isolation.
Vos délais de traitement client ont baissé de 12 %. Combien vient de la formation en langues, combien du nouvel outil déployé au même moment, combien des trois recrutements du printemps ? Établir la causalité de façon valide et fiable demande un protocole expérimental avec groupes témoins, affectation aléatoire et mesures répétées, ce qui est difficile et presque toujours coûteux.
D'où la recommandation des auteurs du modèle eux-mêmes. Phillips préconise d'évaluer au niveau 1 la quasi-totalité des programmes et de n'étudier le ROI que sur un très petit nombre d'entre eux : tous les programmes ne méritent pas une telle profondeur d'analyse, et le coût peut être prohibitif. Kirkpatrick formule une recommandation similaire.
Choisissez vos batailles. Un dispositif cher, visible, stratégique. Une étude ROI par an, deux au maximum. Le reste vit très bien aux niveaux 1, 2 et 3.
Votre plan sur douze mois
Un dispositif de mesure crédible se construit par paliers. Voici l'ordre qui fonctionne.
Mois 0. Remplacez la question de satisfaction par une question d'utilité. Choisissez l'indicateur métier que vous observerez.
Mois 0. Faites passer un test de positionnement CECRL à tous les apprenants. Sans point de départ, aucune progression n'est démontrable.
Fin de parcours. Collectez le niveau CECRL de sortie et le taux de certification. Vous tenez votre niveau 2.
Mois +3. Relancez apprenants et managers. Interrogez cinq profils extrêmes. Vous tenez votre niveau 3.
Mois +6 à +12. Comparez l'indicateur métier posé au départ. Vous tenez votre niveau 4, sans monétisation.
Une fois par an. Sur le dispositif le plus stratégique uniquement, montez au niveau 5.
Questions fréquentes
Comment calculer le ROI d'une formation en langues ?
Appliquez la formule de Phillips : bénéfices nets divisés par les coûts complets, multipliés par cent. Le calcul est la partie facile. La partie difficile se joue en amont : il vous faut un indicateur métier posé avant le lancement, une valeur de départ, une méthode pour isoler l'effet de la formation des autres facteurs, et une conversion en euros acceptée par votre direction financière. Sans ces quatre éléments, le chiffre produit ne résistera pas à la première question.
Quelle différence entre le modèle Kirkpatrick et le modèle Phillips ?
Kirkpatrick définit quatre niveaux à la fin des années 1950 : réaction, apprentissage, comportement, résultats. Phillips reprend ce cadre au milieu des années 1980 et ajoute un cinquième niveau, le ROI monétisé, ainsi qu'une étape d'isolation des effets du programme. Le modèle Phillips est une extension du modèle Kirkpatrick, pas une alternative.
Le niveau CECRL suffit-il à prouver l'impact d'une formation ?
Non. Un passage de B1 à B2 est un résultat de niveau 2 : il prouve un apprentissage, pas un usage. La méta-analyse d'Alliger et de ses coauteurs (1997) mesure une corrélation de 0,11 entre l'apprentissage et la performance sur le poste. Le CECRL doit être complété par une observation de l'usage réel deux à trois mois après la fin du parcours.
Faut-il mesurer le ROI de toutes les formations ?
Non, et les auteurs du modèle le déconseillent. Phillips recommande d'évaluer au niveau 1 la quasi-totalité des programmes et de réserver l'étude ROI complète à un très petit nombre de dispositifs, les plus coûteux et les plus stratégiques. Viser systématiquement les niveaux 2 et 3 produit plus de valeur, pour bien moins d'effort.
Combien de temps faut-il pour mesurer l'impact d'une formation en langues ?
Le niveau 2 se mesure à la fin du parcours. Le niveau 3 demande deux à trois mois de recul. Le niveau 4 dépend du cycle de votre indicateur métier : un délai de traitement client bouge en quelques semaines, un taux de rotation demande au moins un an.
Ce que GlobalExam met à votre disposition pour chaque niveau
Notre conviction se résume à une phrase : une plateforme doit produire la preuve, pas seulement la formation.
Le test de niveau établit le niveau CECRL de chaque apprenant à l'entrée. C'est votre valeur de départ, celle sans laquelle aucune progression n'est démontrable.
Les formations e-learning et la préparation aux certifications documentent la sortie. Niveau CECRL atteint, taux de certification, compétences validées. Votre niveau 2, sans travail supplémentaire.
Les mises en situation IA et les cours en visio avec des formateurs natifs travaillent l'usage plutôt que la connaissance. Négocier un contrat, animer une réunion, gérer un appel client. C'est là que se prépare le niveau 3.
L'espace admin et BI vous donne les données d'adoption et de progression en continu. Le cadre technique et réglementaire est posé : RGPD, Qualiopi, SSO et API, SLA supérieur à 99 %.
La preuve sociale. 4 millions d'apprenants et 750 entreprises utilisent GlobalExam, dont Doctolib, Orange, Deezer et Clarins. La note apprenants est de 4,5 sur 5 sur Trustpilot.
Un dispositif de formation en langues à cadrer, ou un dossier à défendre en interne ?
Demander une démo→Sources citées
- Barnett, K. & Mattox, J. R. (2010). Measuring Success and ROI in Corporate Training. Journal of Asynchronous Learning Networks, 14(2), 28-44.
- Alliger, G. M., Tannenbaum, S. I., Bennett, W. Jr., Traver, H. & Shotland, A. (1997). A Meta-Analysis of the Relations Among Training Criteria. Personnel Psychology, 50, 341-358.
- Sugrue, B. & Riviera, J. (2005). State of the Industry: ASTD's Annual Review of Trends in Workplace Learning and Performance. American Society for Training and Development. Cité par Barnett et Mattox (2010).
- Ray, R. L. (2008). The Strategic Impact of Learning. ROI Institute, 12th Annual Global ROI Conference, Dublin. Cité par Barnett et Mattox (2010).
- Bersin, J. (2010). High-Impact Learning Measurement: State of the Market. Bersin & Associates. Cité par Barnett et Mattox (2010).
- Phillips, J. J. (1997). Return on Investment in Training and Performance Improvement Programs. Gulf Publishing Company.