Les dix questions prioritaires : un guide pour l’évaluation des initiatives adaptées au milieu

Auter(s): Sanjeev Sridharan, St. Michael’s Hospital et l’Université de Toronto
Type de document: Note d'information sur les politiques
Date de publication: Samedi, Octobre 1, 2011 - 4:00am
INuméro ISBN: PH4-101/2011F-PDF, 978-1-100-98141-7
Média substitut: 2011-0087_f.pdf

Le présent document est une approche de processus pour l’évaluation des initiatives adaptées au milieu. Nous examinons dix questions qui doivent être prises en compte dans une évaluation des initiatives adaptées au milieu, mais qui pourraient tout aussi bien être utilisées pour guider l’évaluation de programmes ou de projets qui ne sont pas nécessairement territorialisés. Les questions sont plus de nature réflective que prescriptive. Elles visent à éclairer la planification de l’évaluation des initiatives adaptées au milieu complexes à différents emplacements.

1. QUELLES SONT LES DONNÉES À LA BASE DE L’ÉLABORATION DE L’INITIATIVE?

Quelles sont les principales incertitudes? Comment l’évaluation aidera-t-elle à améliorer la base factuelle?

L’évaluation doit être explicite en ce qui a trait aux données à la base de l’initiative et aux zones d’incertitude afin de comprendre les types de collectivités pour lesquelles ce modèle a le plus de chance d’être efficace. Comment l’investissement dans une évaluation de l’initiative contribuera-t-il à établir une base factuelle pour des expériences futures de ce type?

2. POURQUOI SE SOUCIER D’UNE ÉVALUATION?

Quels sont ses buts mulitples?

Les évaluations suscitent souvent des préoccupations. Les organisations intelligentes doivent communiquer constamment à leurs intervenants les buts multiples de l’évaluation, notamment :

  • préciser la nature des activités et la façon dont elles sont censées atteindre des résultats en mettant au jour les hypothèses selon lesquelles les activités influencent les résultats à court, à moyen et à long terme;
  • aider à définir la signification du succès pour les différents intervenants;
  • examiner si certaines de ces hypothèses se confirment (note : les hypothèses ne peuvent pas toutes être essayées);
  • essayer l’initiative adaptée au milieu pour voir si elle « fonctionne ».

3. QUELLE EST LA THÉORIE DU CHANGEMENT POUR L’INITIATIVE ADAPTÉE AU MILIEU?

La théorie du changement différera-t-elle selon les collectivités?

Les théories du changement orientent souvent la mise en œuvre des approches adaptées au milieu, indiquant comment l’initiative est censée donner lieu à des améliorations. La majorité de ces approches sont libres de placer l’initiative dans son propre contexte communautaire, mais les cadres d’évaluation traitent souvent cette hétérogénéité comme un « bruit » de fond qui doit être éliminé. Dans le cadre d’une évaluation, il faut :

  • être explicite quant aux mécanismes nécessaires pour influencer les résultats et cerner comment différentes collectivités mettent ces mécanismes en œuvre;
  • définir ce que les principaux termes dans la théorie du programme signifient pour différentes collectivités avant qu’il n’y ait un mouvement vers l’opérationnalisation et la mesure des concepts (comme la capacité communautaire ou le capital social communautaire). La mesure ne devrait pas prendre le dessus sur les concepts; la conceptualisation devrait donc respecter les idées hétérogènes des collectivités et des intervenants;
  • être explicite quant aux principales hypothèses de la théorie du programme et à celles qui seront essayées dans le cadre de l’évaluation;
  • décrire la théorie de manière à faciliter la mise en œuvre et la conceptualisation des aspects locaux;
  • décrire un processus et une stratégie pour la mise à jour de la théorie du changement au fil des enseignements tirés de la mise en œuvre de l’initiative.

4. COMMENT UNE CHRONOLOGIE ET UNE TRAJECTOIRE PRÉVUES DE L’IMPACT PEUVENT-ELLES AIDER?

Ce qui est surprenant au sujet de la théorie du changement, c’est qu’il est rare qu’on connaisse précisément la chronologie de l’impact. Une chronologie prévue de l’impact peut fournir des renseignements que n’offre pas le modèle logique, en particulier lorsque des changements sont susceptibles de se produire en ce qui a trait aux principaux résultats. Il est important que cela soit fondé sur des expériences concrètes et non seulement sur des aspirations.

  • Faire participer les intervenants à l’élaboration de la chronologie et de la trajectoire prévues de l’impact. On peut prévoir que les indicateurs de certaines initiatives connaîtront une amélioration graduelle ou marquée et que d’autres s’aggraveront avant de s’améliorer.
  • Prendre note des désaccords entre les intervenants. Utiliser une approche inductive axée sur les participants comme la schématisation conceptuelle pour mieux comprendre les points de vue des intervenants sur la chronologie et la trajectoire de l’impact.

5. COMMENT LE MODÈLE DE SURVEILLANCE ET D’ÉVALUATION AIDE-T-IL À ÉVALUER L’IMPACT?

Une étape essentielle du cadre d’évaluation est de clarifier le modèle permettant de comprendre si une intervention « fonctionne ». Un bon modèle peut aider à exclure différentes explications pour les changements dans les principaux résultats au fil du temps. Parmi les éléments à prendre en considération dans le modèle, notons :

  • la considération de ce qu’un impact positif signifie pour une intervention;
  • une chronologie précise de l’impact;
  • des mesures claires et fiables pour étudier l’impact de l’intervention territorialisée – les mesures doivent reposer sur la théorie du changement;
  • les mesures des contextes et des mécanismes dynamiques qui pourraient être nécessaires au fonctionnement de l’intervention;
  • idéalement, le modèle doit intégrer l’approche de surveillance et l’approche d’évaluation. La surveillance vise à étudier le progrès par rapport à des indicateurs sélectionnés et mesure le progrès des indicateurs du système par rapport aux objectifs visés. D’autre part, les évaluations étudient le « pourquoi » et le « pourquoi pas » du rendement et tentent de fournir des mesures correctives si le rendement ne répond pas aux attentes.

6. COMMENT L’ANALYSE DES DONNÉES SUR LA SURVEILLANCE ET L’ÉVALUATION PRODUIRA-T-ELLE DE L’INFORMATION UTILE?

L’évaluation doit également examiner comment les renseignements recueillis aideront chaque initiative à adapter ses activités en fonction de l’apprentissage. La clarté de la méthodologie d’évaluation, y compris l’éventail de techniques analytiques, est importante dans la prise de décisions pour poursuivre les programmes ou contribuer à l’amélioration des initiatives ponctuelles.

  • Examiner comment l’information sera utile aux initiatives ponctuelles. Cela renforce la confiance et le soutien à l’égard de l’évaluation et contribue à de meilleures décisions.
  • Penser explicitement à la façon dont l’analyse sera menée pour recueillir des renseignements d’actualité pour les initiatives et à la façon dont elle contribuera à éclairer la décision de poursuivre le programme.
  • Élaborer une stratégie coordonnée en matière de données : comme il est essentiel que les données sur les principales mesures de rendement soient recueillies avec coordination, l’équipe de l’évaluation joue un rôle clé. Indiquer clairement les types de données devant être recueillies et dans quel but, ainsi que la personne en charge du système de collecte de données. La collecte de données doit reposer sur la théorie du changement.

7. QU’EST-CE QUI SERA GÉNÉRALISÉ À LA FIN DE L’ÉVALUATION?

Et comment l’apprentissage sera-t-il diffusé?

Être clair au sujet de l’apprentissage pouvant être généralisé et utilisé pour guider l’élaboration d’autres initiatives. L’évaluation proposera-t-elle des recommandations quant au renforcement ou à la reproduction de l’initiative? Quels types d’apprentissages seront diffusés grâce à l’évaluation?

  • Dialoguer avec les intervenants dès le début de l’initiative et périodiquement au cours de celle-ci afin de préciser quels types d’apprentissages acquis dans le cadre de l’évaluation devront être « diffusés ».

8. QUELLES SONT LES CONSÉQUENCES FORTUITES DE L’INITIATIVE?

Une grande partie de la documentation existante sur les initiatives adaptées au milieu prend pour hypothèse qu’elles ne donneront que des résultats positifs. Cependant, il est très possible que les initiatives adaptées au milieu aient des impacts moins que favorables.

  • Porter attention aux conséquences fortuites dans le cadre du dialogue et de la réflexion entre les bailleurs de fonds et les autres intervenants en examinant les mécanismes par lesquels les initiatives agissent sur les résultats.

9. « ET ALORS? »

COMMENT L’INITIATIVE ADAPTÉE AU MILIEU A-T-ELLE AMÉLIORÉ LES VIES OU LES ÉCOSYSTÈMES?

Au bout du compte, les bonnes évaluations concernent des histoires de rendement – il y a un peu plus d’histoires de rendement crédibles que d’histoires qui s’arrêtent à la façon et la raison pour lesquelles les investissements dans les initiatives adaptées au milieu font une différence dans la vie des gens ou l’état de l’écosystème. Cela peut se situer hors de la sphère d’influence immédiate de l’initiative adaptée au milieu et pourrait également prendre beaucoup de temps.

  • Examiner comment les vies ou les écosystèmes ont été touchés.
  • Élaborer des histoires de rendement décrivant les divers mécanismes qui ont atteint ces résultats.

10. QU-EST-CE QU’UNE STRATÉGIE D’APPRENTISSAGE EXPLICITE POUR LA MISE À JOUR PÉRIODIQUE DE LA THÉORIE DU CHANGEMENT?

Une évaluation en soi est peu susceptible de donner lieu à un apprentissage concret et à des améliorations de la mise en œuvre sans une stratégie d’apprentissage explicite. Il faut planifier de quelle façon l’initiative adaptée au milieu peut prendre des mesures proactives pour tirer des enseignements de l’information recueillie et améliorer le rendement avec le temps. Un cadre d’apprentissage peut établir les types d’apprentissages pertinents à l’initiative.

  • Apprentissage organisationnel : Quelles sont les structures organisationnelles nécessaires pour faciliter la coordination de programmes et de politiques qui soutiennent l’initiative adaptée au milieu et quel est l’« ingrédient actif » de l’initiative adaptée au milieu?
  • Apprentissage lié au processus : Quelles ont été les difficultés pour passer du plan stratégique à la mise en œuvre et de la mise en œuvre à la viabilité? Quel est l’« avantage collaboratif », s’il en existe un, et cela change-t-il avec le temps?
  • Paysage de risque des individus : Comment a-t-on utilisé l’intervention pour être informé des facteurs de risque et de protection à niveaux multiples liés aux résultats individuels?
  • Existe-t-il des éléments de preuve indiquant que de tels risques sont « malléables » et qu’ils sont influencés par une approche coordonnée en partenariat? Y a-t-il des impacts évidents avec les résultats individuels?
  • Mettez à jour la théorie du changement en fonction de l’apprentissage. Partagez ce que vous avez appris tant au sein de votre équipe qu’avec les autres intervenants. L’apprentissage peut se faire en examinant les éléments de fait recueillis dans le cadre des efforts de surveillance et d’évaluation. Communiquez un apprentissage plus poussé aux autres initiatives adaptées au milieu qui sont peut-être moins avancées ou moins influentes.

Note: Ces questions sont fondées sur un article commandé par Horizons de politiques Canada (anciennement le Projet de recherche sur les politiques), dans le cadre d’un grand projet financé par un comité interministériel de praticiens de l’approche territorialisée au sein du gouvernement canadien. L’article intégral, disponible sur demande à questions@horizons.gc.ca, explore les nouvelles approches dans l’évaluation des initiatives adaptées au milieu.


2016-08-05