Evaluación |
Seguimiento (monitoreo) de programas
1. Propósitos principales
2. Identificación de los componentes que deben tener seguimiento
3. Indicadores 4. Fuentes de datos Planes de evaluación
Usted navega aquí:
Evaluación
Seguimiento del programa
Seguimiento (monitoreo) de programas 1. Propósitos principales del seguimiento El seguimiento de programas tiene dos propósitos principales:
Por ejemplo, ciertas técnicas de evaluación están diseñadas específicamente para mejorar el desempeño. En un esfuerzo para mejorar la calidad de la atención en los programas de planificación familiar, ciertos países han experimentado con la técnica Client-Oriented Provider-Efficient (COPE) o técnica de provisión eficiente orientada hacia el cliente, que es un instrumento de autovaloración diseñada para uso local, es decir en cada PPS (AVSC International, 1995). Los datos no se agregan a un nivel superior, sino que más bien se analizan por los proveedores de servicios para identificar cambios que puedan ocurrir a nivel local y dirigirse a problemas identificados por el ejercicio. Esta técnica cualitativa representa un enfoque promisor para mejorar los programas de abajo hacia arriba, pero no satisface las necesidades de un oficial regional de programa en el rastreo de resultados de los PPS en una red de establecimientos. Por otra parte, hay técnicas que dan seguimiento a los logros de un programa pero proveen una percepción relativamente pobre de las bondades y las debilidades. Un ejemplo sería la rutina que reporta las estadísticas de servicios (por ejemplo, el número de visitas prenatales, número de partos) recolectadas a nivel de los PPS y agregadas a nivel central. Este tipo de información es valiosa para el rastreo de las tendencias a través del tiempo, pero por sí solas no indican por qué el programa está o no está logrando los resultados deseados. Los administradores de programas y agencias donantes están generalmente interesados en ambos tipos de seguimiento. Las agencias donantes casi siempre quieren los datos cuantitativos sobre "resultados", pero están cada vez más interesados en que el programa tenga algunos medios para obtener datos, a menudo cualitativos en naturaleza (por ejemplo, grupos focales, entrevistas en profundidad, listas de chequeo de observación, etc.), los cuales serán usados directamente para mejorar el programa. En estas circunstancias, el seguimiento y control de programas a menudo consiste en una combinación de actividades de evaluación cuantitativas y cualitativas sobre resultados y procesos del programa. Las evaluaciones concentran cada vez más su atención en el efecto final de los programas de planificación familiar y salud, o sea, en el impacto de los programas o las intervenciones. La medición del impacto comprende más que el mero seguimiento de los cambios en los indicadores de resultados, requiere una evidencia empírica de que un cambio observado en los indicadores de resultados es atribuible a un determinado programa o intervención. En otras palabras, requiere evidencia de que el programa o la intervención evaluada ha causado el cambio. Para medir el impacto del programa están disponibles cierta cantidad de métodos y enfoques. Estos difieren en distintos aspectos, como por ejemplo, el número y tipo de supuestos, la solidez de las conclusiones alcanzadas sobre el impacto del programa y los requisitos operacionales y de datos. Este capítulo ofrece una visión de conjunto de los métodos más robustos disponibles para medir el impacto de programas de salud reproductiva, con el objetivo de ofrecer una guía para seleccionar la mejor opción. Las decisiones sobre cómo debería medirse el impacto del programa se deben hacer en la etapa del diseño o del planeamiento de los programas o nuevos ciclos de programas, porque es solo en esta etapa que se tienen disponibles todas las opciones. Una vez que un programa o ciclo de programas está funcionando, se pierde la oportunidad de usar algunos de los diseños de investigación más poderosos y se vuelve necesario recurrir a opciones más débiles. 2. Identificación de los elementos que deben tener seguimiento La decisión sobre cuáles componentes de un programa deben tener seguimiento depende, en parte, del propósito primario de la evaluación: mejorar el programa, rastrear los resultados o ambos. Para el administrador del programa, no se trata de "uno u otro", requiere ambos. Por el contrario, las agencias donantes están a menudo más interesadas en rastrear los resultados a nivel de programa (aunque también fomentan la adopción de mecanismos para identificar áreas que requieren mejoramiento). La evaluación de las diferentes operaciones de los servicios ("áreas funcionales") es particularmente útil cuando se realiza con suficiente antelación en el proceso de implementación para permitir correcciones a mitad de curso. La utilización del servicio está generalmente rastreada continuamente durante la vida del proyecto. Los productos, por el contrario, están medidos generalmente en intervalos (dos o más) para medir el cambio a través del tiempo. Ciertos puntos deben ser mencionados:
El uso de un marco conceptual que identifica los caminos para lograr los resultados deseados es conveniente tanto en proyectos como en programas nacionales. Las actividades de evaluación son generalmente escalonadas. Algunas pueden ser realizadas de rutina (por ejemplo, recolección e informes de estadísticas de servicios), otras sobre una base periódica (por ejemplo, simulaciones y encuestas de observadores incógnitos para valorar la calidad de la atención) y otras consisten en un solo ejercicio. El personal administrativo clave debería tomar el papel de líder en la decisión de a cuáles aspectos del programa dar seguimiento. Esto no lo debe hacer el especialista en evaluación. Es importante, sin embargo, que el especialista en evaluación se involucre bastante en estas discusiones, para proveer información útil para influenciar la decisión (por ejemplo, los costos y el tiempo requeridos para diferentes actividades de recolección de datos, las fuentes alternativas de información, los sesgos inherentes a distintos métodos de recolección de datos, etc.). La tarea es, entonces, identificar las preguntas de evaluación prioritarias para el programa en estudio. Por ejemplo, casi todos los administradores querrán retroalimentación regular sobre "resultados" que reflejen el desempeño a nivel de establecimiento (número de partos por cesárea, número de inmunizaciones de tétanos). A menudo hay, también, puntos específicos de interés a los cuales dirigirse (por ejemplo, la necesidad de dar seguimiento a la calidad). Los administradores también querrán saber cuán productivo es su personal administrativo en la generación de productos tales como atención de clientes: ¿cuántos clientes reciben servicios diariamente? ¿Cuál fue el costo de proveer parteras entrenadas para los partos del año anterior? 3. Indicadores Propósito de los indicadores Los indicadores miden diferentes aspectos de un programa: los insumos, los procesos, los productos y los resultados. A un indicador se le puede asignar un valor numérico (porcentaje, promedio, una jerarquía, valor absoluto) o un valor de si/no (por ejemplo, "presencia" versus "ausencia"). En algunos casos, el valor tiene una interpretación muy amplia (por ejemplo, la tasa de mortalidad materna de 948 por 100,000 en la República Central Africana para un período de 10 a 13 años puede ser percibida como "alta" (DHS Fact Sheets. 1994/95)). En otros casos, el valor (número) es más útil en un sentido relativo, en comparación con programas similares o con el mismo programa en una fecha anterior (por ejemplo, tendencias en inmunizaciones de tétanos). Una lista completa de indicadores está publicada en el documento (disponible solo en inglés) "Indicadores para la Evaluación de Programas de Salud Reproductiva: Informe Final del Subcomité sobre Embarazo Seguro" (Bertrand y Tsui, 1995). Para una evaluación dada, se debe priorizar los indicadores con base en objetivos específicos del programa específicos y seleccionar un conjunto manejable de indicadores para satisfacer las necesidades específicas de la situación. En resumen, es esencial identificar la(s) pregunta(s) clave(s) a la(s) cual(es) se dirige la evaluación y de acuerdo con esto, seleccionar los indicadores. Características de buenos indicadores Los buenos indicadores tienen ciertas características importantes. Tal vez la principal es la validez. ¿Mide el indicador lo que se supone que debe medir? Por ejemplo, en una encuesta, las preguntas sobre el tamaño ideal de familia generalmente no están diseñadas para ser medidas válidas de la demanda de fecundida, debido a los sesgos de las respuestas. En cambio, la intención indicada de tener más hijos está diseñada para ser un indicador válido de demanda de fecundidad, puesto que tiende a ser menos influenciada por el sesgo de respuesta. Otro ejemplo son las venta de equipos de embarazo seguro mercadeados socialmente. Este puede ser un indicador válido de su nivel de uso, si los usuarios no están sustituyendo el producto mercadeado por otros métodos o prácticas. Otra dimensión de la validez es que el indicador debe tener una conexión cercana, o al menos defendible a la intervención. Por ejemplo, la tasa de mortalidad materna, en general no es una medida válida del impacto de un programa de planificación familiar sobre la salud femenina. Aunque los programas de planificación familiar ciertamente contribuyen a reducir la mortalidad materna, existen otros factores (atención prenatal, sistema de referencia, acceso a la atención hospitalaria, transporte) que también influyen en la tasa. Un indicador con mayor validez del impacto de la planificación familiar en la salud de las mujeres puede ser el número de nacimientos de mujeres que pertenecen a categorías de alto riesgo. La confiabilidad es otra característica deseable en un buen indicador. La confiabilidad se refiere al grado de error de medición aleatorio en un indicador. El error de medición puede surgir de un error de muestreo, un error de no muestreo o una medición subjetiva del indicador. Por ejemplo, debido al error de muestreo, una encuesta nacional como la DHS no provee estimaciones confiables de la práctica anticonceptiva de áreas pequeñas debido a grandes errores de muestreo. Las estadísticas de servicios pueden dar medidas más confiables de práctica anticonceptiva en estas áreas (aunque pueden no ser válidas si la población en el área obtiene anticonceptivos fuera de los servicios oficiales). En resumen, la confiabilidad se refiere a si un indicador mide con precisión lo que debe medir. La validez se refiere a si el indicador seleccionado es apropiado para medir los cambios en una intervención particular. Un indicador debe definirse con términos claros y precisos. De igual forma, es preferible escoger indicadores que sean comparables en diferentes grupos poblacionales y enfoques programáticos. Los indicadores deben ser insesgados. Los indicadores deben ser recolectados a tiempo. Factores que afectan la selección de indicadores En un mundo ideal, el evaluador identificaría los indicadores considerados como más útiles para una evaluación determinada y procedería a recolectar o conseguir los datos necesarios. Sin embargo, en la realidad, cuando enfrenta escasez de tiempo y de recursos humanos y financieros, otros factores intervienen en la selección de los indicadores, como los siguientes:
Para cada indicador es necesario identificar una o más fuentes del dato. En la medida que los evaluadores tengan acceso a los informes de otros, es útil revisar cómo los colegas investigadores y evaluadores han manejado situaciones semejantes. Si esta información falta, la regla cardinal indica: documente cualquier decisión relacionada a la operacionalización de los indicadores de una evaluación específica. La evaluación de los programas de salud normalmente comprende datos a nivel de población y de programa. Al diseñar la evaluación, es esencial hacer un inventario de los datos existentes y de la recolección de datos adicionales que son necesarios para dar respuesta a las preguntas de evaluación que se van a estudiar. ¿Qué se hace primero? ¿identificar los indicadores a usar o identificar las fuentes de datos disponibles? Los dos procesos están estrechamente relacionados. La selección de los indicadores a menudo está determinado por la disponibilidad de los datos existentes o la factibilidad de recolectar información adicional a un costo mínimo para el programa (por ejemplo, las estadísticas rutinarias de servicios). Sin embargo, algunas evaluaciones no pueden realizarse usando los datos existentes, tales como la valoración de la calidad de la atención que requieren los estudios especiales. En tales casos, uno trata de hacer un esquema de los indicadores de interés y luego identifica la recolección de datos requerida para obtener la información. La evaluación de programas generalmente consiste en dos componentes: resultados en la población (utilizando encuestas de hogares de tipo DHS) y productos de programas. Datos a nivel de programas Los datos de programas provienen de distintas fuentes de datos, las cuales pueden ser agrupadas en cuatro categorías. (1) Registros de programas y estadísticas de servicios: los registros de programa se refieren a todos los tipos de información generados por una o más divisiones del programa y guardados en una oficina central o regional. Algunos ejemplos útiles para los programas de seguimiento (especialmente productos funcionales) son: el número de visitas de supervisión realizadas a trabajadores CBD (distribución comunitaria), el número de personas capacitadas por año por tipo de personal, el número de productos de comunicación distintos en un determinado año, la cantidad de productos de comunicación distribuidos. Las estadísticas de servicios son una sub-categoría de los datos de programa. Incluyen cualquier tipo de información recolectada de rutina y reportada en relación a la utilización de un servicio. Los indicadores comunes incluyen las características del usuario y el número de visitas a los puntos de provisión de servicios (PPS). Generalmente, estos datos son recolectados en cada PPS, luego agregados en una oficina central para dar seguimiento y control a tendencias a través del tiempo y por sub-unidad dentro del sistema. (2) Encuestas de establecimientos: El objetivo primario de las encuestas de establecimientos es describir la disponibilidad, funcionalidad y calidad de las actividades de salud materna y perinatal. Esta información puede obtenerse entrevistando personas informadas o visitando el establecimiento y observando sus operaciones. Los datos de establecimientos también son necesarios para los estudios que vinculan información del nivel del programa (por ejemplo, calidad de la atención) con resultados a nivel de población. Hay dos tipos básicos de encuestas de establecimientos en proyectos de la USAID. El primero, conocido como el "Análisis de situación", fue desarrollado en el contexto del proyecto de la Investigación de Operaciones en Africa/Asistencia Técnica (OR/TA) (Fisher et al., 1992) y ha sido replicado en varios países en el mundo. El segundo es el Módulo de Disponibilidad de Servicios (SAM), desarrollado e implementado bajo el programa DHS. Los dos tipos de encuestas se diferencian entre sí por (1) los instrumentos de recolección de datos y (2) en la población de PPS que describen. Para el Análisis de Situación, los instrumentos para recolección de datos incluyen una serie de módulos (por ejemplo, inventario de suministros en el PPS, observación de la interacción proveedor-cliente, entrevistas de salida con clientes, entrevistas con proveedores de servicios). SAM es una encuesta a comunidades, conducida en conexión con la encuesta de hogares en la DHS (en algunos países). Para cada conglomerado muestral de la encuesta, informantes clave proveen una lista de los establecimientos cercanos. Los equipos de campo obtienen luego la información en cada (1) hospital, (2) clínica, (3) centro de salud, (4) farmacia y (5) doctor privado que estén más cercanos dentro de un radio de 30 kilómetros del centro del conglomerado. La información recolectada en cada sitio cubre la estructura gubernamental (público vs. privado), el número y tipo de personal, la infraestructura (equipo, tipo de materiales de construcción), tipos de servicios ofrecidos, etc. Esta información es potencialmente útil para valorar la disponibilidad y suficiencia de los servicios maternos y perinatales para una población determinada y puede ser especialmente importante para vincular los cambios (mejoras) en la provisión de servicios maternos y perinatales a los cambios en la prevalencia a través del tiempo. La diferencia en el muestreo utilizado en los dos tipos de encuestas es la siguiente. El análisis de situación se basa en una muestra al azar de los PPS en un país (que puede ser desproporcionadamente localizado en áreas urbanas), mientras los datos SAM son recolectados en una muestra al azar de mujeres en el país. Entonces, el Análisis de Situación mide el PPS promedio, mientras la SAM mide los servicios disponibles a la mujer promedio en un país dado. (3) Sector comercial: Las fuentes de datos en el sector comercial generalmente no son parte de las estadísticas de programa, las cuales provienen del sector público y de los grandes proveedores no gubernamentales (NGOs). En cambio, no hay una central de estadísticas de servicios maternos y perinatales en el sector comercial. Esto se debe, en parte, a la ausencia de un cuerpo central encargado de estos datos y en parte porque los proveedores comerciales pueden estar reacios a compartir información sobre el volumen y calidad de sus servicios. Algunas de las actividades del sector comercial han sido medidas en algunos SAM y Estudios de Análisis de Situación, así como en encuestas focalizadas exclusivamente en los proveedores privados. (4) Estudios especiales: Los estudios especiales se realizan para responder a una necesidad específica. Pueden emplear métodos de investigación cuantitativos o cualitativos. La lista de posibles estudios especiales es larga; algunos ejemplos ilustrativos incluyen los siguientes: un seguimiento de clientes para determinar su nivel de satisfacción con los servicios recibidos grupos focales entre adolescentes que asisten a un programa para valorar si éste responde a sus intereses y necesidades una revisión administrativa de los documentos del programa y mapeo de una comunidad para mostrar dónde viven las parejas elegibles y qué método anticonceptivo usan. Datos a nivel de población El instrumento primario para recolectar datos de población es la encuesta tipo DHS. La Encuesta Demográfica y de Salud (DHS) generalmente se realiza entre una muestra representativa de mujeres en edad reproductiva en un país determinado. Recientemente ciertas DHS también han incluido algunos hombres (ya sea una muestra independiente de hombres o una muestra de cónyuges de las mujeres entrevistadas en las DHS). (Más información sobre esta encuesta, disponible en inglés, dando click en DHS) El cuestionario básico de las DHS consiste en unas 250 preguntas y provee información detallada sobre fecundidad, salud materno-infantil, planificación familiar, utilización de servicios de salud y temas afines (Robey et al., 1992). Usamos el término "encuestas tipo DHS" para subrayar que hay otras encuestas similares a la DHS en contenido y tipo de población estudiada. Los Centros para el Control y Prevención de Enfermedades (CDC) han realizado un número de Encuestas de Salud Reproductiva en algunos países de América Latina y otras regiones del mundo. De igual manera, ciertos países han realizado sus propias encuestas a nivel nacional sobre salud materno-infantil, planificación familiar y temas afines. Planes de evaluaciónUna vez que todos los elementos del plan de seguimiento han sido acordados, deberían ser mostrados en un formato fácil de leer. La Figura 3 es un ejemplo de un plan de seguimiento de programas de planificación familiar y la Fórmula 2 es una versión en blanco de esta misma fórmula. |
Última modificación: 27/7/99 por Helena Ramírez
© Derechos Reservados 1999