Réseau Accès aux Médicaments Essentiels (RAME)

TERMES DE REFERENCE

Evaluation à mi-parcours du projet OCASS II

I. Résumé synthétique de la mission

Intitulé de la mission	Conduire une évaluation externe à mi-parcours du projet
Projet liée la mission	« Renforcement du suivi stratégique à base communautaire des interventions de lutte contre le paludisme, la tuberculose et le VIH/sida en Afrique de l’Ouest (Burkina Faso, Guinée, Niger) à l’aide des nouvelles technologies de l’information et de la communication » 01/07/2018 au 30/06/2021 : OCASS II
Résultats du projet auxquels contribue la mission	R2 : « Les capacités des associations et des communautés sont renforcées en termes de suivi de l’accès aux soins, de gestion de projet (suivi-évaluation, planification, communication) et d’influence dans les trois pays cibles du projet »
Activité du projet définissant la mission	A 1.2.6: Faire une évaluation externe à mi-parcours du projet
Composition de l’équipe par pays	Equipe projet
Structures bénéficiaires de l’appui technique	Les équipes pays, les organisations partenaires RAME, RENIP+ et COFEL respectivement au BF, au Niger et en Guinée
Pays	Burkina Faso-Niger-Guinée
Financement	Expertise France
Période de la mission	Août à octobre 2020 dans les trois pays
Durée de la Mission	35 jours
Période de soumission	Du 11 au 24 juin 2020 à 17h

II. Contexte et présentation du projet

Le RAME a initié en 2011, un dispositif de veille sur les soins dispensés aux PvVIH qui se transformera en 2014 en un Observatoire Citoyen sur l’Accès aux Services de Santé (OCASS). Au cours de la même année, avec l’appui de l’Initiative 5% du Ministère français des Affaires Étrangères et de l’Europe, l’OCASS étend ses interventions sur le paludisme et la tuberculose et s’exporte en Guinée et au Niger.

Cette première phase de l’OCASS conduite au Burkina Faso, au Niger et en Guinée de 2014 à 2017 a prouvé que le suivi citoyen permet de disposer des informations stratégiques pour améliorer la qualité des services de prise en charge du paludisme, du VIH et de la tuberculose et de façon globale l’offre de soins dans les centres de santé. L’adhésion des décideurs des pays concernés à cette expérience confirme que la veille citoyenne et le contrôle communautaire sont de plus en plus appréhendés par les acteurs publics et associatifs comme un outil de démocratisation du système sanitaire. Au Burkina Faso, certaines des activités des observatoires sont intégrées dans le financement global du renforcement du système de santé communautaire. Le processus d’intégration de l’observatoire dans le financement global du renforcement du système de santé est également en cours au Niger.

Le projet « Renforcement du suivi stratégique à base communautaire des interventions de lutte contre le paludisme, la tuberculose et le VIH/sida en Afrique de l’Ouest (Burkina Faso, Guinée, Niger) à l’aide des nouvelles technologies de l’information et de la communication » est mis en œuvre par le Réseau d’Accès aux Médicaments Essentiels (RAME) au Burkina Faso, en partenariat avec le RENIP+ au Niger et la COFEL en Guinée. Ce projet est financé par l’Initiative 5% pour la période du 01/07/2018 au 30/06/2021.

Le projet a pour objectif général, d’améliorer l’accès à des soins de qualité par les populations en générale, les femmes et les enfants en particulier, grâce au renforcement des observatoires communautaires au Burkina, au Niger et en Guinée.

De manière spécifique, deux objectifs spécifiques sont recherché :

OS1: Renforcer l’efficacité et la couverture des observatoires communautaires d’accès aux soins au Burkina Faso, au Niger et en Guinée dans les formations sanitaires cibles du projet
OS2: Améliorer la qualité des services de santé en général, et ceux concernant la santé de la mère et de l’enfant en particulier, dans les formations sanitaires cibles du projet

Cinq (5) principaux résultats sont attendus pour cette phase de mise en œuvre du projet :

R1 : Le dispositif de la veille citoyenne (collecte, analyse, diffusion, plaidoyer) est étendu à la majorité des formations sanitaires des pays cibles du projet grâce notamment à l’utilisation des NTIC.
R2 : Les capacités des associations et des communautés sont renforcées en termes de suivi de l’accès aux soins, de gestion de projet (suivi-évaluation, planification, communication) et de plaidoyer dans les deux pays cibles du projet
R3: Des mesures appropriées sont prises par les décideurs sur la base des dysfonctionnements relevés par la veille dans les trois pays d’intervention
R4: Les droits humains et le genre sont promus dans l’offre de soins aux PVVIH, aux malades de tuberculose et de paludisme d’ici à fin 2020
R5: Un système de certification communautaire des centres de santé est mis en place dans chaque pays d’ici à fin 2020.

En somme, OCASS II est un projet complexe, multi-acteurs, en grande partie axé sur la mise en œuvre d’un observatoire citoyens d’accès aux soins dans chaque pays et sur le renforcement des capacités/compétences.

III. Justification de la mission

Cela fait déjà deux ans que le projet OCASS II est mis en œuvre dans les trois pays (2018-2020). La première phase de OCASS (OCASS I) a fait l’objet d’une évaluation finale qui a mis en évidence l’importance de renforcer le dispositif de suivi-évaluation du projet au sein du RAME. Ce dispositif devra consolider les données de projet recueillies des 3 pays et permettre de renseigner les indicateurs et les progrès réalisés avec respectivement chaque partenaire de mise en œuvre, le RENIP+ au Niger et la COFEL en Guinée et le RAME au Burkina.

L’élaboration de OCASS II a par ailleurs bénéficié de l’intégration des conclusions de l’évaluation finale de la première phase. Aussi, ces résultats ont une part vraiment importante dans les efforts d’amélioration continue du projet.

Avec la relance de OCASS II, il était prévu dans le cadre du projet, de consolider le dispositif de suivi-évaluation du projet OCCASS II au Burkina Faso, au Niger et en Guinée et accompagner sa mise en œuvre dans chaque pays. Ce dispositif est mis en place et des documents et plan de suivi-évaluation ont été produits. Aussi, la démarche de consolidation du dispositif s’est voulu participative et surtout formative. Certains résultats préliminaires de ce processus de consolidation ont été la relecture de certains outils, et la consolidation de l’harmonie et de la cohérence entre les outils et le dispositif de collecte.

Concurremment, l’évaluation de la Phase I de OCASS et l’exécution de OCASS II pendant deux ans durant ont certes apporté de grandes améliorations dans la pertinence des interventions et activités planifiées, mais aussi des changements tangibles vers l’objectif du projet, bien que cela ne soit pas explicitement documenté.

Par ailleurs, cette phase de mise en œuvre de OCASS II a connu d’énormes perturbations dans les trois pays. Il s’agit de l’insécurité introduite par les attaques djihadistes au Burkina et au Niger, les grognes sociales dans le secteur de la santé pour ce qui est du Burkina et de la Guinée, et enfin la suspension des financements pendant au moins dix mois, occasionnant un ralentissement voire un arrêt total des activités à certains moments.

Pour un projet qui n’a duré que deux ans, avec un contexte hautement perturbateur, il va s’en dire que toutes les potentialités ne sont pas exploitées et qu’il est indispensable de s’offrir les meilleurs moyens d’amplifier les effets. C’est dans cette logique qu’il apparait donc pertinent et opportun qu’une évaluation à mi-parcours soit conduite afin de définir les conditions d’une bonne relance des activités et analyser la qualité de la méthodologie de mise en œuvre dans les trois pays.

IV. Objectifs et résultats poursuivis

Objectif général de la mission

L’objectif général de la mission d’évaluation à mi-parcours est de faire le bilan de la mise en œuvre de la première phase de OCASS II (2018-2020). L’évaluation concerne les trois pays et dans tous les aspects de la gestion du projet (programmatique annuelle, exécution, Suivi & évaluation, à la fois technique et financier) et consistera à apprécier le projet suivant les critères d’évaluation recommandés par le Comité d’Aide au Développement de l’Organisation de Coopération et de Développement Economique (OCDE).

De façon spécifique, cette évaluation assistée veillera à :

Analyser les résultats du projet après deux (2) années de mise en œuvre par rapport aux résultats attendus dans les plans d’actions et ceux eu égard des grosses difficultés qu’a connu la période et de voir sur la base des indicateurs mesurables, le niveau d’atteinte des objectifs fixés initialement ;
Examiner soigneusement la stratégie de mise en œuvre et les méthodes de travail utilisées lors de la mise en œuvre des activités, notamment l’approche communautaire, la qualité de collaboration avec les services sanitaires étatiques tels que les CSPS, les Districts Sanitaires, les Préfectures Sanitaires, les Directions Régionale de Santé, les Ministères de Santé Publique dans chaque pays ;
Evaluer la qualité du partenariat institutionnelle (respect de la convention avec les organisations partenaires, les structures du système de santé) ;
Evaluer les performances des équipes de chaque pays (équipe projet, point focaux, superviseurs, collecteurs) par rapport aux réalités de leurs environnements et évaluer l’efficacité de leurs prestations dans la collecte, le traitement et la transmission des données et rapports ;
Analyser l’implication des communautés dans le fonctionnement des observatoires et aussi dans la gestion des centres de santé dans les trois pays ;
Evaluer la qualité de la collaboration/communication entre la communauté et les centres de santé et les acteurs de OCASS ;
Analyser le dispositif de collecte des données et apprécier la cohérence entre les exigences de qualités et le profil des collecteurs/ superviseurs ;
Analyser la pertinence des thèmes, des approches et stratégies retenus dans le cadre du renforcement du système de santé (causeries éducatives, cadres d’échanges sur la qualité des soins, restitution communautaires, émission radio, alertes, les appels sur les lignes vertes, restitutions sur les sites de collecte, etc…) ;
Evaluer l’évolution de la qualité de l’offre de service de santé au niveau des centres de santé ou structures sanitaires bénéficiaires de l’appui de l’OCASS, et ce conformément aux normes de qualité traduites dans les indicateurs du projet ;
Mesurer le potentiel observable au niveau des points focaux pour l’adoption à l’échelle de la nouvelle méthodologie de collecte numérique de données et estimer la plus-value de la stratégie sur le travail de plaidoyer ;
Identifier et documenter les leçons apprises et les enseignements tirés à caractère opérationnel par rapport aux dispositifs de chaque pays, à la spécificité de chaque contexte et aux instruments utilisés ;
Analyser les obstacles et les opportunités de pérennisation du dispositif de la veille citoyenne en cas d’arrêt de financement OCASS ;
Formuler des recommandations visant la consolidation des acquis et les ajustements nécessaires pour que le projet puisse atteindre ses objectifs

L’équipe d’évaluation sous la houlette du Consultant externe, finalisera sur la base de ces objectifs, la liste des questions et sous-questions d’évaluation (précisées et contextualisées selon le pays) après la réunion de cadrage avec le comité de suivi de l’évaluation, et élaborera une base de jugement ou des indicateurs pour chaque question.

Critères	Dimensions	Questions principales	Sous-questions
Pertinence, Cohérence	Logique d’intervention		§
	Bonnes pratiques		§
	Sensibilité aux besoins		§
Efficience	Utilisation des ressources (charge de travail des collecteurs, points focaux, coût de la collecte/ pays, par région), nombre d’outils et pertinences des données collectées		§
Efficacité	Qualité et conformité		§
Efficacité	Atteinte des résultats		§
Impact	Avantage au sein des communautés		§
Durabilité	Durabilité, appropriation et mise à l’échelle		§

Cette matrice d’évaluation devra être finalisée avant le départ des équipes sur le terrain.

Résultats à atteindre

Tenant compte des objectifs recherchés ci-dessus définis et des exigences des termes de référence, la mission d’évaluation à mi-parcours devra rassembler des données/informations pertinentes et crédibles sur :

Le niveau de réalisation des objectifs du projet dans chaque pays tenant compte des différents contextes spécifiques ;
Le taux de mise en œuvre des activités et le degré d’utilisation des ressources, afin d’analyser si les ressources ont été bien utilisées selon les activités réalisées (efficience) ;
la qualité du partenariat institutionnel (respect des conventions et efficacité des collaborations) ;
l’examen de la stratégie de mise en œuvre et des méthodes de travail utilisées notamment l’approche communautaire, la qualité de collaboration avec les services sanitaires étatiques ;
les effets de l’observatoire sur l’évolution de la qualité de l’offre de service de santé au niveau des centres de santé ou structures sanitaires bénéficiaires et ce, conformément aux normes de qualité traduites dans les indicateurs du projet ;
la pertinence des thèmes, des approches et stratégies retenus dans le cadre du renforcement du système de santé (causeries éducatives, cadres d’échanges sur la qualité des soins, restitutions communautaires, émission radio, alertes, les appels sur les lignes vertes, restitutions sur les sites de collecte, etc…) ;
le potentiel et la capacité des acteurs de la collecte à passer aux méthodes électroniques de collecte et à l’échelle ;
le fonctionnement des équipes pays (équipe projet, point focaux, collecteurs/superviseurs) et leurs efficacité dans le système de collecte et de rapportage ;
des recommandations visant la consolidation des acquis et les ajustements nécessaires pour que le projet puisse atteindre ses objectifs.

Livrables attendus

En marge des résultats quantitatifs à produire et qui sont en lien directe avec les objectifs décrits plus haut, le Consultant devra au cours du processus évaluatif rendre disponible :

Une note méthodologique avec la matrice d’évaluation finalisée ;
Une synthèse des premiers résultats sous forme de débriefing dans chaque pays ;
Un rapport intermédiaire dans les 20 jours qui suivent la fin de la mission sur le terrain ;
Une synthèse des résultats analysés sous forme d’atelier de restitution régionale au Burkina Faso ;
Un rapport définitif, intégrant les observations du comité de suivi de l’évaluation devra être disponible dans les 10 jours suivant la réception des commentaires ;
Un résumé exécutif du rapport définitif présentant les principales conclusions et recommandations.

NB : Rappelons que le canevas du rapport d’évaluation devra être proposé par le Consultant et validé par le comité de suivi.

V. Dispositif de suivi de la mission

La mission d’évaluation à mi-parcours sera placée sous le control d’un comité de suivi et de validation au sein du RAME. Ce comité pourra être étendu aux acteurs des organisations partenaires (RENIP+ et COFEL) des deux autres pays si le mode de travail le permet (Télétravail).

Ce comité a le devoir (i) de veiller au respect du chronogramme d’exécution de la mission, (ii) de faciliter la mise en contact de l’équipe de mission avec les partenaires et les acteurs à impliquer dans la mission dans les différents pays et enfin de (iv) valider tous les différents livrables de la mission.

VI. Lieu, durée et modalités d’exécution

Cette mission est prévue pour se dérouler au Burkina, au Niger et en Guinée. Les phases de la mission sont identifiées à travers ce calendrier indicatif.

Calendrier indicatif de l’évaluation [1]

Etapes	Activités	Evaluateur Externes indépendant (Nb de jour)	Equipe interne au RAME (Nb de jour)	Total
Préparatoire	Cadrage et prise de contact avec les parties prenantes	1	–	1
	Recherche documentaire	3	–	3
	Elaboration d’outils de collecte de données	3	–	3
	Test des outils et finalisation des outils	1	–	1
Etudes	Collecte de données	15 dont 5 jrs/pays y compris les jours de voyage	–	15
Etudes	Traitement et analyse des données	4	–	4
Rapportage et communication	Rédaction du rapport provisoire	4	–	4
	Préparation du support de restitution du rapport provisoire	1	–	1
	Restitution du rapport provisoire auprès des parties prenantes	1	–	1
	Rédaction du rapport final	2	–	3
TOTAL		35 jrs[2]	– jrs	35 jrs

VII. Expertise et profil demandé

Un Consultant Externe Indépendant en évaluation des projets multi-pays et multi-acteurs ayant un diplôme d’études supérieures égal au moins à BAC+5 dans le domaine des sciences sociales, sciences politiques, Développement et Gestion des projets.

Expériences :

avoir au moins dix (10) ans d’expérience professionnelle dans la planification, le suivi-évaluation des projets et programmes de santé ;
expérience dans la conception de dispositif de suivi-évaluation ;
expérience en gestion de données (conception et analyse d’indicateurs, statistiques de base) ;
expérience dans l’accompagnement des organisations de la société civile en Afrique
Expérience en formation / mentoring ;
Connaissances souhaitées dans le domaine de la santé et des systèmes de santé dans les pays en développement ;
bonne connaissance souhaitable de projets innovants intégrant les TIC dans la santé
excellentes capacités de synthèse et rédactionnelles (français) ;
bonne expérience en suivi-évaluation des projets intégrant les aspects de genre et les inégalités en santé

VIII. Compte-rendu de mission

Un compte rendu (maximum 10 pages) est rédigé par l’équipe de mission et devra être remis par mail après chaque activité charnière (jalon de progression) dans un délai de 10 jours. Ce compte-rendu, rédigé en français, devra pouvoir être diffusable auprès de l’ensemble des partenaires concernés par la mission.

IX. Informations pratiques

Le RAME au Burkina Faso s’engage à être disponible pour travailler avec le consultant sur cette mission, et à co-faciliter les déplacements au Burkina Faso et au Niger et en Guinée.

X. Composition et dépôt des dossiers de candidature

Les candidats intéressés devront faire parvenir un dossier de candidature comprenant :

Un curriculum vitae actualisé,
Les copies des diplômes et attestations requis,
Une offre technique décrivant la méthodologie de travail
Une offre financière

Les dossiers de candidature peuvent être envoyés sous pli fermé, portant la mention « Recrutement d’un Consultant Externe Indépendant en Evaluation » au plus tard le ___/___ / 2020 à ….heures GMT, au secrétariat du RAME, à l’adresse 04 BP 8038, Ouagadougou 08, Téléphone +226 25 33 41 16 ou par email mentionnant l’objet à l’adresse : secretariat@rame-int.org avec copie à l’adresse rpse@rame-int.org

NB : Pour toute information utile et complémentaire, y compris les documents du Projet, contacter Mlle Stella ZONGO, à l’adresse suivante : whatsApp. : +226 71 17 83 19 ou envoyer un mail à rpse@rame-int.org ou se rendre au siège du RAME sise à Koulouba.

[1] Ce calendrier est indicatif. Le consultant peuvent faire des propositions mais tout en restant dans les 35 jours de mission.

[2] Pour les membres de la mission issus du RAME, ils participeront à l’ensemble des opérations entamées par le consultant externe indépendant, toutefois, cela n’est pas estimé dans ce calendrier. Le temps de collecte des données dans les différents pays interne le temps de voyage.

TdR_Evaluation Intermédiaire-OCASS-09-06-2020_VF

Avis de Récrutement d’un Consultant Externe Indépendant en évaluation des projets multi-pays et multi-acteurs, Bac+5