L'évaluation, une question de milieu

Auteur (s): 

Horizons de politiques Canada

Type de document: 

Note d'information sur les politiques

Date de publication: 

2011-11

Numéro ISBN: 

PH4-102/2011F-PDF
978-1-100-98142-0

Média substitut: 

NOTE: Hyperliens

  Tous les liens étaient valides à la date de publication.

Le pouvoir des mots : ADAPTÉ AU MILIEU

Les approches adaptées au milieu puisent dans les acteurs, le savoir et les ressources locaux en vue de proposer des interventions coordonnées et pertinentes pour le milieu relativement à des questions jugées trop complexes ou à trop longue échéance pour qu'on y trouve des solutions simples ou pouvant être mises en œuvre par un unique acteur. Il peut s'agir par exemple de la réduction de la pauvreté dans un quartier, de la protection de l'écosystème ou de stratégies de promotion de la santé publique.

Prince George, ce n'est pas Brampton, qui n'est pas St. John's. Les approches adaptées au milieu sont des interventions ascendantes qui tiennent compte des répercussions potentielles des réalités locales sur l'efficacité d'un programme. Par la collaboration multisectorielle, elles s'attaquent à des questions complexes et sont employées dans des collectivités individuelles de tout le pays.

Pour élaborer des politiques efficaces à l'échelle locale et nationale, il est essentiel de déterminer quelles sont les interventions qui fonctionnent le mieux, dans quelles circonstances et pourquoi. Horizons de politiques Canada a répondu à ce besoin en lançant un projet sur l'évaluation des approches adaptées au milieu dans une perspective gouvernementale nationale. Après une analyse des caractéristiques de ces approches et des difficultés connexes (voir le document d'analyse préalable et la note d'information), l'équipe du projet a cherché à approfondir la question et a commandé plusieurs travaux d'experts du domaine de l'évaluation. L'examen des données recueillies au sujet des approches adaptées au milieu, l'étude de l'expérience des parties intéressées relativement aux processus d'évaluation et le repérage de méthodes et d'outils d'évaluation novateurs sont quelques uns des objectifs du projet. Même s'ils ne se voulaient pas exhaustifs, ces travaux portaient essentiellement sur des initiatives adaptées au milieu auxquelles a collaboré l'administration fédérale dans divers domaines de politiques, grands piliers de la viabilité.

Voici les principaux constats issus de chacun de ces travaux, qu'on peut obtenir sur demande.

Thèmes communs : Cette application cherche à accéder aux données sur votre milieu

Notre société est en mutation. Des services personnalités et du contenu généré par l'utilisateur fleurissent tout autour, et les politiques gouvernementales sortent des sentiers battus pour combler ces nouvelles attentes. L'administration fédérale conclut de plus en plus de partenariats multiniveaux et multisectoriels afin de concevoir des programmes sur mesure et d'être mieux à même de régler les problèmes stratégiques communs à divers mandats. Or, les approches d'évaluation conventionnelles parviennent difficilement à intégrer à un cadre national des objectifs décentralisés. Des évaluations ont documenté des résultats positifs d'initiatives adaptées au milieu, mais les démarches de cet ordre sont devenues plus difficiles depuis que les évaluations sont axées sur la reddition de comptes. Les évaluations étudiées portaient généralement sur l'issue prédéterminée de programmes et considéraient ces adaptations comme des irrégularités à mettre de côté afin d'analyser la logique du programme. Par conséquent, les principaux objectifs locaux n'ont pas été mesurés. Par ailleurs, les évaluations ne tenaient souvent aucun compte des résultats à moyen terme ou « intangibles », comme le renforcement des capacités. Par conséquent, on estime qu'une politique adaptée au milieu repose sur ce qui se mesure facilement, situation qui entraverait la créativité dans la conception de politiques et de programmes et qui aurait des répercussions sur l'autodétermination des communautés autochtones.

Les évaluations sont des outils de reddition de compte et d'élaboration de politiques. Cerner des approches propices aux initiatives adaptées au milieu constitue une étape cruciale pour concrétiser les objectifs en matière de politiques qui ont mené à leur adoption : politiques souples pouvant être adaptés au contexte local, approche collaborative permettant une coordination entre les silos et habilitation locale stimulant l'innovation et l'expérimentation.

Étudier l'efficacité des évaluations de programmes axés sur un milieu

Meyer Burstein et Erin Tolley

Le rapport porte sur l'évaluation de neuf programmes axés sur un milieu auxquels le gouvernement fédéral a participé en tant que bailleur de fonds ou partenaire de premier plan. Il se fonde sur une série d'entretiens avec les évaluateurs, les agents de programme fédéraux et des représentants de la collectivité.

Selon les auteurs, les évaluations qu'ils ont étudiées ont adopté l'une des deux approches, une axée sur les exigences de reddition de compte et l'autre, sur les pratiques exemplaires. Les programmes auxquels collaboraient des partenaires locaux, mais où l'administration fédérale était le principal partenaire ou bailleur de fonds, recouraient généralement à des évaluations sommatives menées par des fonctionnaires et étaient moins susceptibles d'intégrer l'évaluation continue ou d'être axés sur les pratiques exemplaires. À l'opposé, les programmes comportant de nombreux partenaires et des processus décisionnels collaboratifs favorisaient l'amélioration et l'évaluation continues. Des évaluateurs non gouvernementaux se chargeaient généralement de l'évaluation, qui se faisait davantage au moyen de méthodes nouvelles, comme l'évaluation en cours d'exécution, la recherche action et l'analyse de réseau.

Alors que les évaluateurs fédéraux et communautaires ont indiqué ne pas avoir disposé des données requises pour procéder à l'évaluation des programmes, les praticiens axés sur le milieu ont souligné que le gouvernement fédéral exigeait souvent des évaluations sommatives avant de constater les résultats. Même si les rapports dégagent des pratiques prometteuses, ils laissent entendre que les outils d'évaluation habituels ne permettent pas de bien saisir les retombées des interventions adaptées au milieu. Ils appellent plutôt à la conception d'outils, de méthodes et de données novateurs et calibrés de manière à prendre acte des résultats « intangibles » et à moyen terme. L'examen propose de prendre l'évaluation en considération dès le début du processus et de l'intégrer au programme tout au long de sa durée.

L'évaluation des approches axées sur le milieu dans le contexte des Premières nations : rien de bien neuf sous le soleil

Robert Shepherd, PhD

Robert Shepherd fait l'analyse des modes d'évaluation des approches adaptées au milieu qu'emploie le gouvernement canadien, sous l'angle de l'essor économique des Premières nations. Il fait valoir que l'évaluation des programmes des Premières nations se concentre essentiellement sur le programme national. La participation locale semble se limiter à la consultation sur les techniques appropriées de collecte de données relativement à des questions de recherche d'intérêt national, laissant l'apprentissage, les résultats et les objectifs locaux essentiellement inexplorés.

Le document souligne une volonté renouvelée de la part des ministères d'axer les évaluations sur la compréhension des différences au sein des communautés autochtones. Il propose qu'on tienne compte des besoins de la communauté dans les méthodologies et les questions de recherche afin de favoriser un apprentissage pertinent et applicable à l'échelle locale, ce qui permettrait de recueillir des données fiables et de meilleure qualité. Les évaluations de programmes nationaux permettraient ainsi de faire des prévisions sur la réussite de l'adaptation de projets et sur les résultats locaux au lieu de se contenter de regrouper des indicateurs nationaux. Il s'agirait d'un changement de paradigme quant au sujet traditionnel de l'évaluation et aux résultats que l'on juge importants de documenter aux fins d'une évaluation visant la reddition de comptes.

Évaluation des initiatives de gestion intégrée

Livia Bizikova, Darren Swanson et Dimple Roy

Le document analyse l'évaluation d'approches adaptées au milieu dans des dossiers environnementaux (gestion intégrée) au moyen de plusieurs études de cas, dégage des tendances nouvelles, compare les approches et les cadres employés et présente des observations sur l'état du savoir relativement aux répercussions à long terme.

Les projets étudiés comportaient un volet de suivi d'indicateurs axés aussi bien sur les effets pour l'environnement que sur les processus au moyen d'une analyse de la gouvernance, de la planification, de la participation des parties intéressées et de la diffusion de données. L'intégration d'indicateurs visant la gouvernance constitue un pas dans la bonne direction pour ce domaine, mais l'information sur les effets à moyen terme pour l'environnement demeure limitée. Les auteurs documentent l'amélioration de la condition de divers milieux grâce à une approche adaptée au milieu, notamment pour le bassin du lac Champlain (États Unis et Canada), le bassin du Rhin (Europe) et le ruisseau South Tobacco (Canada).

Le document relève des tendances, notamment celle pour les administrations locales et nationales d'assumer un rôle prépondérant, mentionnant notamment l'établissement de normes et de bons principes directeurs et la prestation de données de qualité supérieure. Les auteurs soulignent l'importance des examens institutionnels pour avaliser les priorités et l'affectation des ressources en fonction des capacités des écosystèmes locaux. Conséquemment, toute activité de surveillance devrait comprendre des méthodologies souples qui peuvent s'adapter aux préoccupations des parties intéressées et à l'évolution des priorités de planification. Le document fait valoir que l'observation, qu'elle soit fondée sur les résultats ou sur les processus, est un volet d'évaluation important ainsi qu'un outil d'apprentissage et de motivation efficace pour les parties intéressées qui conçoivent des plans et des politiques stratégiques.

Évaluer des initiatives axées sur un milieu : défis, tendances récentes et questions de base à l'étape de la planification

Sanjeev Sridharan

Sanjeev Sridharan revient à la base de l'évaluation avec pour point d'ancrage l'observation de Ray Pawson voulant que rien ne soit aussi commode qu'une bonne théorie. Dans son document, il propose aux évaluateurs 10 grandes questions à poser avant de concevoir l'évaluation d'une approche adaptée au milieu. Fondées sur une approche théorique, les questions visent à documenter les données existantes et à choisir les questions d'évaluation de manière stratégique afin que l'on cherche à comprendre non pas si le programme fonctionne ou non, mais bien ce qui le fait fonctionner, de quelle manière et dans quelles circonstances. Une question fondamentale à cet égard consiste à savoir comment l'évaluation tiendra compte des différents mécanismes employés à divers emplacements. L'apprentissage est mis au premier plan et l'on se concentre sur des questions d'évaluation auxquelles il est possible de répondre efficacement, qui produiront de l'information utile et qui enrichiront les données, fondements de l'initiative. L'auteur fait valoir que ce type d'apprentissage diffère grandement de la gestion du rendement, mais constitue un volet crucial du résultat que devrait viser l'évaluation.

Par des sondages auprès des évaluateurs axés sur le milieu, l'auteur a documenté des approches courantes, comme la théorie du changement, l'évaluation en cours d'exécution et l'évaluation participative. Parmi les méthodes nouvelles évoquées, mentionnons les études par observation, l'analyse de réseau, l'échantillonnage guidé par les répondants et la dynamique de système. La définition d'un échéancier des résultats attendus est l'une des techniques aussi recommandées pour pallier les difficultés associées aux résultats à moyen terme, qui ne peuvent être documentés au cours du cycle courant d'évaluation.

Références

Bellefontaine, Teresa, et Robin Wisener. L'évaluation des approches adaptées au milieu : questions pour une recherche plus poussée. Horizons de politiques Canada, 2011.

Bizikova, Livia, Darren Swanson et Dimple Roy. Évaluation des initiatives de gestion intégrée, rapport de travail préparé pour Horizons de politiques Canada, 2011.

Burstein, Meyer, et Erin Tolley. Étudier l'efficacité des évaluations de programmes axés sur un milieu, Horizons de politiques Canada, 2011.

Horizons de politiques Canada. L'évaluation des approches adaptées au milieu : Une conjecture favorable?, Note d'information sur les politiques, 2011.

Shepherd, Robert P. L'évaluation des approches axées sur le milieu dans le contexte des Premières nations : rien de bien neuf sous le soleil, rapport de travail préparé pour Horizons de politiques Canada, 2011.

Sridharan, Sanjeev. Évaluer des initiatives axées sur un milieu : défis, tendances récentes et questions de base à l'étape de la planification, rapport de travail préparé pour Horizons de politiques Canada, 2011.