L’évaluation des politiques publiques : un esprit, une démarche, un savoir-faire
Depuis 1999 je participe à des groupes d’action et de réflexion autour de la question des politiques publiques (participation à des expérimentations d’évaluations de politiques locales conceptions de formations…). Nous avons collectivement mis en place une démarche participative caractérisée par sa capacité à être facilement appropriée par les acteurs locaux sa robustesse et sa fiabilité.
Un esprit
Nous appréhendons l’évaluation comme une démarche réflexive menée en continu, avant, pendant et après la mise en œuvre d’un projet ou d’une politique publique permettant de croiser des points de vue des parties prenantes et susceptible d’être appropriée par l’ensemble des acteurs concernés (élus, agents usagers experts…). Nous pratiquons donc une démarche dynamique et concertée.
DYNAMIQUE : Il s’agit de produire un avis précis, éclairé et argumenté sur une action en train de se dérouler. C’est l’observation en continu d’une situation complexe en évolution permanente dans le but de juger collectivement de sa valeur. Plus concrètement, faire une évaluation dynamique c’est tenter en permanence d’apporter des éléments de réponse à des questions comme : « Ce qui est mis en œuvre actuellement correspond-il à ce qui était prévu ? », « Ce qui était prévu est-il vraiment ce qu’il fallait ? », « Quels effets sont en train de produire ce qui est mis en œuvre ? » « Cela produit-il de la valeur ajoutée ? »…
CONCERTEE : Il ne s’agit pas d’une expertise développée par une personne extérieure à la situation. Elle peut, utilement, être appropriée par ceux qui en sont les acteurs. Eux seuls ont une vision de l’intérieur, un regard impliqué capable de développer une analyse en prise directe avec ce qui se vit sur le terrain. Eux, mieux que quiconque, peuvent utiliser l’évaluation pour réagir directement. L’évaluation est donc produite dans le cadre d’un dialogue entre des experts qui apportent les outils et garantissent la démarche et des parties prenantes de l’action qui apportent une vision impliquée.
Nous proposons donc des outils et des méthodes pour mettre en place un protocole qui garantisse :
- Le fait que chaque acteur concerné puisse construire une vision distanciée de la situation
- Le fait que chacun puisse apporter un regard sur la situation et se nourrir de celui des autres
- Le fait que les points de vue puissent être exprimés de manière sécurisée sans craindre les conséquences des prises de position
Une démarche
Nous proposons d’accompagner les démarches d’évaluation par l’apport de méthodes, d’outils et de conseils adaptés aux besoins des acteurs concernés selon les axes présentés dans le document ci-dessous :
Des temps de formation et des ateliers d’échanges de pratiques entre les parties prenantes impliquées dans la mise en œuvre du projet ou de la politique concernée sont proposés tout au long de la démarche en présentiel ou en distanciel sur chacune des étapes du cycle de l’évaluation :
Dans une telle démarche, il est indispensable de n’oublier personne tout en se prémunissant de la composition d’instances pléthoriques inopérantes. Un accompagnement à la structuration et à l’animation du collectif d’acteurs sera également proposé :
Les points de vigilance suivants font également l’objet d’ateliers de réflexion présentiels et/ou distanciels associant l’ensemble des acteurs impliqués tout au long du processus :
- Bien définir a priori les champs de l’évaluation
- Ne pas viser uniquement la performance chiffrée ou budgétaire
- Choisir le(s) responsable de l’évaluation
- Appuyer politiquement sa démarche pour garantir sa légitimité
- Faire participer les services et structures impliqués dans la politique à la démarche
- Mettre en place des instances de suivi à moyen terme
- Prendre en compte les usagers et les bénéficiaires
- Organiser le suivi des recommandations
- Communiquer sur l’évaluation
Quelques outils susceptibles d’être mobilisés pour produire de la connaissance partagée
Ces outils peuvent être mis en œuvre directement par les membres de notre équipe. Il est également possible de proposer des formations coutres permettant aux acteurs locaux de se les approprier. Il est toutefois déconseillé d’être dans le même temps partie prenante et pilote de la mise en œuvre d’un outil.
Le focus group
Le focus group est un outil qui, ces dernières années, s’est largement développé dans le cadre du pilotage et de l’évaluation des politiques publiques. Pratique et potentiellement peu coûteux, le focus group est relativement facile à mettre en œuvre et répond à une demande croissante de consultation et d’association des populations aux décisions et aux actions qui les concernent.
Le focus group prend la forme d’une réunion au cours de laquelle des personnes concernées par un sujet se rassemblent par petits groupes d’une dizaine de participants autour d’un animateur pour échanger sur un ou plusieurs aspects du sujet traité. Plusieurs petits groupes peuvent donc travailler simultanément au cours de la même séance.
Le focus group poursuit plusieurs objectifs : il s’agit d’explorer les différentes dimensions de la question traitée et d’en découvrir des aspects insoupçonnés grâce aux prises de parole des personnes concernées. Il s’agit également de confronter les points de vue pour faire émerger la diversité des manières d’aborder le sujet et, dans certains cas, d’ébaucher des pistes de réflexions communes. Il s’agit enfin d’initier une prise en compte réciproque des acteurs susceptibles d’être impliqués dans un projet.
Nous proposons des ateliers de production, de réflexion et d’échange de pratiques ainsi que des ressources théoriques (exposés en présentiel, vidéos, documents, exemples de réalisation…) pour aborder quelques points de vigilance afin de concevoir, mener et exploiter des focus groups.
L’entretien
L’entretien est un outil largement popularisé dans le cadre des opérations de diagnostic et d’évaluation des politiques publiques. Pratique et très peu coûteux, il est relativement facile à mettre en œuvre et il permet de recueillir des informations et des opinions très précises et nuancées. Pourtant, lorsqu’il est mal maîtrisé, cet outil peut s’avérer chronophage, inutile, voire contre-productif.
Nous proposons des ateliers de production, de réflexion et d’échange de pratiques ainsi que des ressources théoriques (exposés en présentiel, vidéos documents exemples…) pour aborder quelques points de vigilance afin de concevoir, mener et exploiter statistiquement un entretien de qualité dans différentes situations (entretien individuel entretien de groupe, entretien semi-directif entretien directif…), mais également pour éviter les erreurs les plus fréquentes.
Le questionnaire
Le questionnaire est un outil standardisé permettant de recueillir des information et/ou des opinions sur de sujets variés auprès d’un public massif afin de dégager des grandes tendances. Il est relativement facile à mettre en œuvre. Mal maîtrisé, cet outil peut néanmoins s’avérer chronophage, inutile et véhiculer des informations erronées sur les intentions de la collectivité vis-à-vis de la population cible.
Nous proposons des ateliers et des ressources théoriques (exposés en présentiel, vidéos, documents, exemples de réalisations…) pour aborder quelques points de vigilance afin de concevoir, mener et exploiter statistiquement un questionnaire exploitable et de qualité, mais également pour éviter les erreurs les plus fréquentes.
Quelques exemples de mise en œuvre
Nous avons accompagné les acteurs de l’évaluation dans les projets suivants :
- La mise en œuvre de l’évaluation des Contrats éducatifs locaux des Deux Sèvres : accompagnement des agents de la direction départementale de la jeunesse et des sports des Deux Sèvres dans le pilotage du dispositif et formation des coordonnateurs locaux placés sous la responsabilité des EPCI porteurs
- La mise en œuvre et l’évaluation des Contrats éducatifs locaux de Corse du Sud : accompagnement des agents de la direction départementale et régionale d’Ajaccio dans le pilotage du dispositif
- La mise en œuvre et l’évaluation de la politique sportive d’Amiens Métropole : formation et accompagnement des agents du service des sports d’Amiens Métropole impliqués dans le pilotage de la politique sportive
- La mise en œuvre de l’évaluation des politiques sportives de la Communauté d’Agglomération Pau-Pyrénées : formation et accompagnement des agents du service des sports impliqués dans le pilotage de la politique sportive.
Nous avons également conçu et animé le module consacré à l’évaluation des politiques publiques proposé aux agents des collectivités par l’INSET de Nancy. Nous avons enfin conçu et animé le module de formation consacré à l’évaluation des politiques sportives territoriales proposé en distanciel par le CNFPT.