FASE 6. Definir el plan de evaluación

¿Qué pasos debemos completar?

Paso 1: Seleccionar el tipo de la evaluación

INDICADORES DE LA EVALUACIÓN DE PROCESO

Existen diferentes indicadores para medir cómo se ha desarrollado una intervención, qué ha ocurrido en la implementación, cuánta y qué población ha participado y cómo se ha valorado la intervención. Los indicadores de proceso se pueden definir tomando como referencia las preguntas siguientes:

¿Qué? En el proceso de una intervención habitualmente se miden la realización, la aceptación, la cobertura y la calidad de la misma. Por tanto, los indicadores de evaluación tienen que ser coherentes con el plan de actuación. Un error frecuente es confundir los indicadores de proceso con los de resultados. Por ejemplo, el número de personas que asisten a una actividad es un indicador de proceso puesto que mide el alcance (cobertura) de la misma. Sin embargo, en muchas memorias de intervenciones se documenta (erróneamente) el número de asistentes a las actividades o el número de personas atendidas como un indicador del resultado de las mismas. Esto es así porque, a veces, se piensa que el objetivo último de una actividad es llegar a la población, cuando en realidad, ésta es una condición necesaria pero no suficiente para lograr que la misma alcance los cambios esperados.

Para poder generar y/o seleccionar los indicadores de proceso más adecuados para evaluar una intervención es útil conocer: a) la información que puede proporcionar cada indicador, b) el procedimiento para recolectar datos sobre el mismo, y c) las claves para interpretarlo. Con esta información se puede hacer un balance entre los indicadores más adecuados y los más asequibles. Paso@Paso le ofrece una tabla informativa sobre algunos indicadores de proceso que se utilizan con frecuencia. También, podrá basarse en esa información para determinar otros indicadores no incluidos en la tabla. + 

¿Cómo? Para recopilar información sobre el proceso se suelen utilizar tanto métodos cuantitativos como métodos cualitativos. Entre los instrumentos cuantitativos más habituales se encuentran los cuestionarios (autoregistros) dirigidos a las personas que implementan la intervención (para valorar el nivel de realización) y los cuestionarios (autoinformes) dirigidos a la población diana (ej.: para conocer su grado de satisfacción). Por su parte, otras estrategias como las entrevistas o la observación no participante (métodos cualitativos) también ofrecen información muy valiosa sobre el cumplimiento y la satisfacción con el plan de actuación de la intervención.

¿Cuándo? El proceso se evalúa mientras se implementa la intervención (al finalizar cada acción o todo el plan de actuación). La información para saber cómo se desarrolla la intervención se recopila a medida que se implementan las acciones del proyecto. Por eso los instrumentos para recolectar datos tienen que estar disponibles en la fase de implementación. Además, parte de la información que se recopila se puede analizar ya durante la intervención, posibilitando de ese modo hacer ajustes que permitan adaptar mejor la intervención a las necesidades de la población.

¿Dónde? Los datos para analizar el proceso de una evaluación acostumbran a recopilarse en los escenarios donde se realiza la intervención y los principales informantes son la población (diana o intermediaria), además de los propios aplicadores.

¿Cuánto? En el caso de la evaluación de proceso es conveniente establecer unos criterios de intensidad o dosis de la intervención, así como unos niveles mínimos de satisfacción por parte de la población. Es aconsejable establecer los parámetros de intensidad y de calidad que se consideren aceptables para que la intervención proporcione cambios en la población. Por ejemplo, puede ocurrir que en una intervención no se puedan desarrollar todas las acciones previstas. Si esto sucede, es conveniente tener unas referencias que indiquen el nivel mínimo e indispensable que se debe cubrir para considerar que la intervención tiene ciertas garantías de calidad. Es más fácil localizar estas referencias si se aplica una intervención que haya sido previamente evaluada. En el caso que no se encuentre ninguna evidencia científica al respecto, se puede recurrir al consenso de expertos.

¿Quién? Habitualmente, las personas que se encargan de recopilar la información sobre el proceso son las mismas que implementan las acciones, o bien, evaluadores externos, que registran y proporcionan información más independiente. El perfil de las personas que se encargan de analizar e interpretar la información depende del tipo de la misma (cualitativa o cuantitativa) y del nivel de complejidad de la intervención