L’évaluation des approches adaptées au milieu : une conjecture favorable?

Auter(s): Teresa Bellefontaine, Horizons de politiques Canada
Type de document: Note d'information sur les politiques
Date de publication: Mercredi, Juin 1, 2011 - 4:00am
INuméro ISBN: PH4-91/2011F-PDF, 978-1-100-97607-5

Qu’ont en commun la Stratégie des partenariats de lutte contre l’itinérance, le Programme des collectivités forestières et l’Aboriginal Leadership Strategy? Ce sont des initiatives fédérales qui s’attaquent à des problèmes tenaces en instaurant dans un milieu une approche décisionnelle et de planification en collaboration. Qu’elles soient axées sur un voisinage, une collectivité ou un écosystème, ces approches adaptées au milieu tirent parti des ressources, établissent des solutions et des objectifs communs, et mettent en place des mesures multisectorielles coordonnées. Elles mobilisent de nombreux acteurs travaillant en partenariat et leurs voies vers le succès sont imprévisibles – une dynamique complexe qui cadre difficilement avec l’évaluation traditionnelle.

Habitudes, besoins et la motivation au changement

Les initiatives adaptées au milieu tiennent compte de la différence et répondent au contexte propre à chaque milieu. Il semble qu’il soit problématique d’évaluer leurs impacts en ayant recours aux pratiques traditionnelles d’évaluation, qui nécessitent généralement des données et des résultats prédéterminés. C’est notamment le cas au sein du secteur public, où il est plus difficile d’adapter des programmes nationaux en fonction des réalités du milieu en raison de la priorité historique accordée à la gestion du rendement et à la reddition de comptes. D’aucuns ont déterminé que les approches d’évaluation descendantes nuisaient aux avantages de la collaboration dans les approches adaptées au milieu. John Mayne, un spécialiste de l’évaluation, a par exemple encouragé les gouvernements à adopter une nouvelle conception de la reddition de comptes qui tient compte des partenariats et de la complexité.

Cela nécessiterait également de répondre aux besoins multidimensionnels en matière d’évaluation des approches adaptées au milieu, notamment la gestion du rendement, l’évaluation axée sur la reddition de comptes et l’évaluation axée sur l’apprentissage pour des partenaires multiples ayant des perspectives et des besoins différents. La communauté de l’évaluation soulève la question de savoir s’il est possible qu’une évaluation soit axée en même temps sur la reddition de comptes et sur l’apprentissage. Bien que ce soit une question ouverte, il pourrait exister un obstacle si la gestion du rendement, l’évaluation axée sur la reddition de comptes et l’évaluation axée sur l’apprentissage ne se complètent pas. Une approche imbriquée, dans laquelle des processus de reddition de comptes liés à une évaluation axée sur l’apprentissage concourraient à des buts différents, mais complémentaires, pourrait représenter un modèle à explorer.

Possibilités d’évaluation

Certaines approches d’évaluation, comme la « théorie du changement » et l’« évaluation développementale », offrent des possibilités pour évaluer des programmes qui sont supposés innover et évoluer avec le temps. Comme les modèles logique portant sur les stéroïdes, la théorie du changement encourage les gestionnaires à énoncer des résultats immédiats, intermédiaires et à long terme, ainsi que les préconditions nécessaires aux résultats à long terme. Elle précise également les hypothèses des causes et des effets à la base des mécanismes du programme qui créent le changement, et encourage l’essai de ces hypothèses. Ces éléments deviennent la base de la planification de l’évaluation. Ainsi, cela définit des données d’orientation qui peuvent être généralisées, atténuant le besoin de prouver l’attribution du même mécanisme de changement dans chaque application, ce qui est particulièrement utile lorsque l’attribution directe n’est pas possible, comme c’est souvent le cas des approches adaptées au milieu. L’évaluation développementale a été créée pour appuyer l’innovation sociale, comme lorsqu’on applique des principes généraux à un nouveau contexte ou que l’expérimentation fait partie du modèle de programmes permanent. Elle permet la formation de la théorie du changement à la base d’un programme à mesure que celui-ci évolue et encourage l’évaluation continue. Ces approches placent l’apprentissage et l’évaluation liés au projet local à l’avant-plan des objectifs.

Au Canada, RHDCC et l’ACDI pilotent des programmes fédéraux en utilisant l’évaluation fondée sur la théorie du changement, et le SCT – en vertu de la Politique d’évaluation de 2009 – encourage ces nouvelles approches. Une possibilité semble se présenter pour de nouvelles façons d’évaluer ces programmes à l’échelle nationale, dont les applications peuvent être surprenantes. La théorie du changement pourrait servir à établir un lien entre les évaluations des programmes actuels et celles d’itérations des programmes précédents – programmes maintenant considérés distincts à des fins d’évaluation, mais partageant le même mécanisme de changement. Cela impliquerait l’adoption d’une approche souple aux questions soulevées durant les recherches relatives à l’évaluation et d’une orientation stratégique axée sur les résultats concrets d’une évaluation à n’importe quel moment, dans la perspective de créer une analyse à long terme. Un cadre fédéral d’évaluation adaptée au milieu pourrait communiquer les résultats à un large éventail de programmes présentant un mécanisme de changement similaire et contribuer encore plus efficacement à une base de connaissances de plus en plus importante.

Aux États-Unis, au Royaume-Uni et en Australie, le domaine de l’évaluation adaptée au milieu est de plus en plus actif, ce qui indique une augmentation des données empiriques dans l’ensemble des disciplines qui pourraient être exploitées efficacement en vue de contribuer à une meilleure compréhension des forces et des faiblesses des approches adaptées au milieu. La recherche continue offre la possibilité d’un meilleur environnement d’apprentissage, d’une base de données plus vaste, et favoriserait l’intégration d’objectifs économiques, environnementaux et sociaux dans les initiatives.

Références

Bradford, Neil, et Jill Anne Chouinard. 2010. « Learning through Evaluation? Reflections on Two Federal Community Building Initiatives. » Revue canadienne d’évaluation de programme (The Canadian Journal of Program Evaluation) 24, no. 1: 55-77.

Cantin, Bernard. 2010. « Des approches intégrées territoriales pour favoriser le développement durable ». Horizons : Territoires viables, volume 10, numéro 4. Projet de recherche sur les politiques : Ottawa.

Koontz, Tomas M., et Craig W. Thomas. 2006. "What Do We Know and Need to Know about the Environmental Outcomes of Collaborative Management?" Public Administration Review (December). Numéro spécial sur la gestion publique collaborative.

Mayne, John. 2008. Contribution Analysis: An Approach to Exploring Cause and Effect. Institutional Learning and Change Brief 16.

Potvin, Louise et David McQueen. 2008. Health Promotion Evaluation Practices in the Americas: Values and Research. New York. Springer.

Shepherd, Robert P. 2010. "In Search of a Balanced Evaluation Function: The State of Federal Program Evaluation in Canada." Exposé présenté lors du Symposium international sur la gestion publique, du 7 au 9 avril 2010, à Berne, Suisse.

Shugart, Ian, et Thomas Townsend. 2010. « Intégrer le « milieu » – L’examen du rôle du gouvernement fédéral ». Horizons : Territoires viables, volume 10, numéro 4. Projet de recherche sur les politiques : Ottawa.

Sridharan, Sanjeev et Elizabeth Lopez. 2004. "Methodological Lessons Learned from the Process Evaluation of the Comprehensive Strategy for Serious, Violent and Chronic Juvenile Offenders." Social Policy Journal of New Zealand 22 (July).

2016-08-05