Pouvez-vous nous citer un cas précis dans lequel une évaluation ne s’est pas déroulée comme prévu ?
Debazou : L’évaluation de la stratégie et programme pays de la Banque africaine de développement au Mali pour la période 2005-2019 avait démarré en novembre 2018, et nous avions soumis le Rapport de synthèse au Conseil d’administration en septembre 2020. Au cours de la mission exploratoire de cadrage, il était devenu évident que l’équipe d’évaluation n’aurait qu’une possibilité limitée, voire nulle, de collecter des données dans le centre et le nord du Mali, en raison du climat d’insécurité et de violence que les groupes de rebelles armés y faisaient régner sur un territoire couvrant près de la moitié du pays. Étant donné que le manque d’accès aux données aurait mis à mal notre évaluation, nous avions prévu d’engagerune société de conseil indépendante et expérimentée, basée localement, pour collecter des données dans les zones de conflit.
Cette société avait pour mission de collecter sur le terrain les données dont notre équipe de consultants indépendants avait besoin pour réaliser une évaluation complète et crédible. Cependant, après consultation des services de sécurité et des services juridiques de la Banque, il a été estimé que les risques pour la sécurité et la sûreté des employés de l'entreprise étaient trop importants et nous n'avons pas donné suite. L'équipe d'évaluation a donc dû compenser le manque de données primaires en s'appuyant sur de grandes quantités de données secondaires, y compris d'autres partenaires au développement, et a mené plus de 110 entretiens.
De même, l'évaluation n'a pas atteint ses objectifs de diffusion. Sur les trois événements prévus pour partager les conclusions de l’évaluation de la stratégie et programme pays du Mali avec les parties prenantes, un seul a eu lieu. L'événement était un atelier qui s’est tenu après la mission de collecte de données, dans lequel les consultants devaient partager leurs conclusions préliminaires avec les acteurs du développement local et identifier les lacunes dans les données. Malheureusement, le niveau de participation à cet atelier n'a pas été satisfaisant.
Quelles leçons avons-nous apprises dans le processus ?
Debazou : À la réflexion, la décision de la Banque de ne pas engager la société de conseil pour collecter des données dans la zone de conflit est lié à une forte aversion au risque et à un manque de compréhension commune de la situation au Mali. Les deux départements qui ont donné des conseils sur l’habilitation de sécurité n’ont été consultés qu’au stade de la mission de cadrage de l’évaluation et non au moment où les évaluateurs ont élaboré la note conceptuelle de l'évaluation lors de la phase de démarrage. Ainsi, la première leçon clé consiste à comprendre qu’il est important d’impliquer les parties prenantes d’un pays et au sein même de la Banque à toutes les étapes d’une évaluation. La deuxième leçon à retenir est d’organiser des discussions claires et ouvertes sur le niveau de risque que peuvent prendre les contreparties dans les situations de conflit. Cela peut favoriser une compréhension mutuelle entre les évaluateurs et les départements concernés de la Banque sur les contextes nationaux qui peuvent justifier une stratégie de collecte de données différente.
Quant aux trois événements qui avaient été prévus pour diffuser les résultats de l'évaluation, la première leçon concerne la lutte contre le faible taux de participation aux ateliers de diffusion des résultats de l'évaluation. Dans ce cas, le niveau de participation insatisfaisant résultait de l'absence d'une répartition claire des responsabilités entre les membres de l'équipe d'évaluation d'une part, et le personnel de soutien du bureau pays du Mali, d'autre part. Par ailleurs, les invitations n'ont pas fait l'objet d'un suivi adéquat. Quant aux deux autres événements, à savoir un atelier regroupant des hauts fonctionnaires à Bamako destiné à promouvoir l’exploitation des conclusions de l’évaluation et un séminaire pour présenter ces mêmes conclusions au personnel du siège de la Banque à Abidjan, ceux-ci n’ont pas eu lieu car l’intérêt s’était estompé après la présentation du Rapport de synthèse de l’évaluation au Conseil d’administration. Cela montre la nécessité d'assurer un engagement continu avec les départements utilisateurs, en particulier vers la fin d'une évaluation.
Quelles sont les leçons tirées de succès ou d’échecs liés à des évaluations précédentes dont vous tenez compte lorsque vous lancez une nouvelle évaluation ? Y en a-t-il en particulier qui vous paraissent toujours utiles?
Joseph : Lorsque je démarre une évaluation, je prends généralement en considération trois enseignements que j’ai pu tirer de précédentes évaluations : la qualité et la source des données, la possibilité d’être en désaccord sur les données factuelles et les conclusions de l’évaluation, et l’importance de communiquer les conclusions de l’évaluation de manière efficace. Permettez-moi de développer mon propos.
Pour ce qui est du premier point ayant trait à la qualité et à la source des données, j’ai constaté que les données ne peuvent servir à leur finalité que si elles sont exactes et fiables. La mauvaise qualité des données est un problème persistant dans la profession et plus généralement dans le suivi et l’évaluation (S&E). Ce défi peut être atténué en triangulant les données de S&E provenant de diverses sources.
Quant au deuxième point qui porte sur la possibilité d’être en désaccord sur les conclusions et les données factuelles, j’ai remarqué que les évaluateurs sont parfois invités à modifier leur approche ou leur rapport pour diverses raisons. Cela les met fortement sous pression et crée un conflit d’intérêts. De façon plus générale, cette pratique est aussi courante dans le domaine du S&E. J’ai appris que pour que les évaluateurs préservent l’intégrité et l’utilité de leur travail, ils doivent être capables de surmonter ce type de conflit et de bien le gérer.
Le dernier point concerne l’importance de veiller à disposer d’une communication efficace. La compréhension et l’apprentissage se produisent lorsque le processus de l’évaluation et ses résultats ont été communiqués et rapportés de manière adéquate. Cela nécessite d’impliquer activement les parties prenantes dans toutes les phases de l’évaluation. Le public et le contexte comptent aussi tout autant. Une des difficultés majeures au niveau de la communication des conclusions d’une évaluation apparaît lorsque cette dernière dresse un constat négatif. La littérature fournit de nombreux conseils pour présenter des résultats négatifs de manière constructive. Il existe une méthode que j’ai apprise et que je pratique depuis dans mes évaluations que l’on pourrait appeler « l’approche sandwich » ou la « méthode du hamburger ». Celle-ci consiste essentiellement à présenter les choses comme on ferait un sandwich, en plaçant une couche de rétroaction négative entre deux rétroactions positives. Cela atténue le coup de la critique.
Pouvez-vous nous citer l’exemple d’une évaluation qui s’est particulièrement bien passée ou en tout cas beaucoup mieux que prévu ? Quelles ont été les raisons de ce succès, et avons-nous réussi à en intérioriser les leçons ?
Debazou : Parmi les nombreuses évaluations de documents de stratégie pays que j’ai menées pour IDEV depuis 2014, celle du Sénégal, qui couvrait la période 2004 à 2013, s’est exceptionnellement bien déroulée. L’un des facteurs de notre succès a été que l’évaluation faisait partie d’une évaluation globale des résultats de développement de la Banque. Cela signifie qu’il s’agissait d’une collaboration à l’échelle du département, impliquant des collègues, le chef de division, l’évaluateur général, l’économiste pays et les parties prenantes au gouvernement. En conséquence, la coordination était fluide et la planification avait été réalisée sans heurts.
Cependant, nous avons développé de nombreux modèles pour la planification des évaluations des documents de stratégie pays qui ne sont pas utilisés car nous n’avons jamais eu suffisamment de temps pour les adapter à un usage général. De plus, nous n’avons pas établi de canal de diffusion pour partager les modèles avec des collègues ayant des affectations similaires.
Joseph : L’évaluation de la Facilité africaine de l’eau m’a semblé particulièrement réussie. La raison principale en est que l’équipe d’évaluation avait réussi à passer outre les interactions tendues qui avaient eu lieu lors d’une précédente évaluation de l’eau, afin de parvenir à un engagement positif, même si nous avions maintenu notre indépendance et délivré des messages durs. Il est important que les évaluateurs soient en mesure de transformer une situation conflictuelle, quelle qu’elle soit, en une expérience de collaboration ou d’apprentissage positive.
Selon vous, que pouvons-nous faire pour mieux saisir les enseignements tirés des succès et des échecs de nos évaluations ?
Debazou : À mon humble avis, IDEV pourrait devenir une organisation apprenante parfaite en effectuant, au terme de chacune de ses évaluations, un examen après action préalablement planifié, préparé et budgétisé. IDEV ferait également bien de développer un système de diffusion englobant les gestionnaires de tâches afin que ceux-ci puissent bénéficier des leçons apprises liées à leurs opérations, tout en continuant à organiser régulièrement des activités de diffusion. Encourager les chargés d’évaluation à rendre compte par écrit de leurs expériences me paraît aussi être une bonne approche.
Joseph : Le recours à des approches informelles et le partage d’anecdotes semblent être un autre bon moyen d’apprendre des succès et des échecs liés aux évaluations.
Author(s)