FASE 6. Definir el plan de evaluación

¿Qué pasos debemos completar?

PASO 2: Definir los indicadores y la metología de evaluación

Un indicador¹ es una unidad de medida que informa sobre la transformación de un fenómeno y, por tanto, se utiliza para comprobar los cambios que han tenido lugar en ese fenómeno a lo largo de un periodo de tiempo o tras una intervención. En el contexto que nos ocupa, los indicadores nos ayudan a medir y reflejar de manera simple los cambios operados en los objetivos de la intervención, y por tanto, en la población diana (en su conducta, conocimientos, actitudes, entorno...) en un período de tiempo dado (generalmente entre el inicio y el final de la intervención)², así como a valorar el plan de actuación.

Los indicadores de resultado tienen que ver con los efectos de la intervención sobre la población diana respecto a los objetivos específicos en tanto que los indicadores de proceso tienen que ver con los productos de la intervención (estructuras creadas, materiales publicados, etc.) relativos a las acciones de la intervención². La siguiente tabla ilustra las relaciones lógicas entre estos elementos:

Basado en: EMCDDA. (2010). Prevention and Evaluation Resources Kit (PERK).

 

Un error frecuente, que se debe evitar, consiste en definir o seleccionar demasiado tarde los indicadores de evaluación, cuando la intervención ya se ha iniciado o, incluso, una vez que ha finalizado. Es imperativo y muy importante definirlos siempre antes de iniciar la intervención.

Para definir los indicadores puede ser útil responder a una serie de cuestiones, cuyas respuestas configurarán la metodología de evaluación de la intervención:

¿Qué? Determinar qué medir y seleccionar los datos que se precisan recolectar. La implementación y la eficacia son dos de las informaciones clave que interesa conocer de una intervención. La información sobre la implementación se obtiene a través de indicadores de proceso +, mientras que la eficacia se mide con indicadores de resultados. +

Por lo general, se utilizan varios indicadores para evaluar tanto el proceso como los resultados de una intervención, puesto que no suele haber indicadores que tengan por sí mismos plena capacidad para reflejar la calidad de la implementación o la eficacia de una intervención.

En las intervenciones de reducción de la demanda de drogas suelen haber varios grupos de personas interesadas o implicadas (planificadores, aplicadores, financiadores, población destinataria, etc.), por lo que al seleccionar qué evaluar conveniente considerar e incorporar las visiones y las expectativas de las diferentes personas involucradas. Sin embargo, a mayor número de indicadores más compleja se hace la evaluación, aunque también más rica en información. Una posible salida a esta situación consiste en seleccionar las cuestiones más importantes y priorizarlas según su relevancia. Por otro lado, es muy importante que los indicadores (en especial los de resultados) sean lo más específicos posible, además de medibles, adecuados, realistas y ajustados en términos temporales (deben permitir observar cambios en los plazos de tiempo definidos por la evaluación)².

¿Cómo? Especificar la metodología para recopilar la información sobre el indicador. En la metodología se incluyen los métodos y los instrumentos de recolección, análisis e interpretación de datos. Los indicadores que se hayan seleccionado indicarán si es más apropiado utilizar métodos cuantitativos o métodos cualitativos de análisis. A menudo, es recomendable utilizar métodos mixtos que combinen instrumentos y técnicas de ambos, ya que aportan información complementaria y permiten tener una visión más completa de la intervención.

¿Cuándo? Determinar el momento para recopilar la información. Se pueden recopilar datos que se generan mientras se implementa la intervención y/o, en función del diseño de evaluación que se utilice, se puede recolectar información antes de la intervención y/o después de que la misma haya finalizado.

¿Dónde? Determinar las fuentes, informantes y situación dónde se va recopilar la información. Las fuentes y los informantes para recopilar la información tienen que ser accesibles y de calidad contrastada. Es mejor que una intervención incluya pocos indicadores, pero informativos y accesibles, que no, muchos pero difíciles de conseguir. Si resulta costoso conseguir una información será más probable que se abandone el propósito de obtenerla y, en consecuencia, que no se mida el indicador.

¿Cuánto? Informar sobre el nivel de cambio que se espera conseguir. Un indicador debe ser medible e interpretable. Por eso, en el plan de actuación/evaluación se deben incluir referencias que ayuden a comprobar si la intervención se está ejecutando de acuerdo con las previsiones iniciales y si los resultados que se consiguen se ajustan a lo esperable.

¿Quién? Determinar las personas responsables de diseñar los instrumentos para recopilar la información, analizarla e interpretar los resultados. El número y las características de los profesionales que se deberán encargar de recolectar y analizar la información relativa a los indicadores dependerán de la complejidad de la intervención y del tipo de evaluación que se desarrolle.

 

Referencias:

1 Adaptado de: Alonso C, Salvador T, Suelves JM, et al. (2004). Prevención de la A a la Z. Glosario sobre prevención del abuso de drogas. Madrid: Centro de Estudios sobre Promoción de la Salud.

2 Adaptado de: European Monitoring Centre for Drugs and Drug Addiction. (2010). Prevention and Evaluation Resources Kit (PERK). Luxembourg: Publications Office of the European Union.