Interventions and adaptations to strengthen data quality and use for COVID-19 vaccination: a mixed methods evaluation

Many countries used digital health solutions to support COVID-19 vaccination but struggled to implement them, resulting in adaptations. This theory-driven mixed methods evaluation of COVID-19 vaccine-related data and digital interventions from the Democratic Republic of the Congo, Niger and Vietnam aimed to uncover (i) what drove mid-course adaptations of these digital health interventions, (ii) how these adapted interventions may have contributed to improved availability, quality and use of COVID-19 vaccine-related data and (iii) if and how these interventions strengthened eHealth building blocks. Methods consisted of interviews, document review, secondary data analysis and observation. Findings indicated that decisions to adapt original interventions were driven by need and the availability of funding. Adapted interventions improved the availability and quality of data. Data use improved in all three countries although there were ongoing challenges observed in the Democratic Republic of the Congo and Niger. The interventions did not appear to strengthen the eHealth building blocks, although in the Democratic Republic of the Congo and Niger they had positive effects on routine immunization systems. Achieving longer-term improvements in eHealth building blocks requires intentional focus from the design stage, which may be more challenging in an emergency context. Abrégé De nombreux pays ont utilisé des solutions de santé numériques pour appuyer la vaccination contre la COVID-19, mais ont eu du mal à les mettre en œuvre, ce qui a conduit à des adaptations. Cette évaluation à base théorique des données liées au vaccin contre la COVID-19 et des interventions numériques de la République démocratique du Congo, du Niger et du Vietnam vise à découvrir (1) ce qui a motivé les adaptations à mi-parcours de ces interventions de santé numérique, (2) comment ces interventions adaptées ont pu contribuer à accroître la disponibilité, la qualité, et l'utilisation des données relatives au vaccin contre la COVID-19 et (3) si et comment ces interventions ont renforcé les composantes de cybersanté. Les méthodes ont compris des entretiens, un examen des documents, une analyse des données secondaires et l'observation. Les résultats indiquent que les décisions d'adapter les interventions originales étaient dictées par les besoins et la disponibilité des financements. Les interventions adaptées ont permis d'accroître la disponibilité et la qualité des données. L'utilisation des données s'est améliorée dans ces trois pays, bien que des problèmes persistent en République démocratique du Congo et au Niger. Les interventions n'ont pas semblé renforcer les composantes de cybersanté, bien qu'elles aient eu des effets positifs sur les systèmes de vaccination systématique en République démocratique du Congo et au Niger. Améliorer les composantes de cybersanté nationales sur le plus long terme exige une intentionnalité accrue dès la phase de conception, ce qui peut être plus difficile dans un contexte de crise. Resumen Muchos países utilizaron soluciones de salud digital para apoyar la vacunación contra la COVID-19, pero tuvieron dificultades para implementarlas, lo que dio lugar a adaptaciones. Esta evaluación de los datos relacionados con la vacuna contra la COVID-19 y las intervenciones digitales realizadas en la República Democrática del Congo, Níger y Vietnam, basada en la teoría y en métodos mixtos, tiene como objetivo descubrir: (1) qué impulsó las adaptaciones de estas intervenciones de salud digital a medio camino, (2) cómo estas intervenciones adaptadas pueden haber contribuido a mejorar la disponibilidad, la calidad y el uso de los datos relacionados con la vacuna contra la COVID-19, y (3) si estas intervenciones fortalecieron los componentes básicos de la cibersalud y cómo lo hicieron. Los métodos consistieron en entrevistas, revisión de documentos, análisis de datos secundarios y observación. Los hallazgos indicaron que las decisiones de adaptar las intervenciones originales fueron impulsadas por la necesidad y la disponibilidad de fondos. Las intervenciones adaptadas mejoraron la disponibilidad y la calidad de los datos. El uso de datos mejoró en los tres países, aunque se siguieron observando problemas en la República Democrática del Congo y Níger. Las intervenciones no parecieron fortalecer los componentes básicos de la cibersalud, si bien en la República Democrática del Congo y Níger tuvieron efectos positivos en los sistemas de vacunación sistemática. Para lograr mejoras a largo plazo en los componentes básicos de la cibersalud se requiere un enfoque deliberado desde la etapa de diseño, lo que puede resultar más difícil en un contexto de emergencia.