FASE 6. Definir el plan de evaluación

¿Qué pasos debemos completar?

Paso 1: Seleccionar el tipo de la evaluación

DISEÑO DE LA EVALUACIÓN DE RESULTADOS

Los requisitos mínimos imprescindibles para evaluar los resultados de una intervención son: que la misma se desarrolle, y que se realice al menos una medición de los resultados tras la intervención¹. El diseño de evaluación determina el grado de certeza que se puede atribuir los resultados a la intervención. Las diferencias fundamentales entre los diferentes diseños se encuentran en sus características y condiciones de aplicación y en su poder explicativo². La siguiente tabla muestra las características de los diseños básicos de evaluación y su capacidad para explicar la eficacia de una intervención. Se presentan los tres más tradicionales, pero ni son los únicos existentes ni las características mostradas son exclusivas de los mismos:

TIPO DE DISEÑO	CARACTERÍSTICAS Y REQUISITOS DE APLICACIÓN	PODER EXPLICATIVO
NO EXPERIMENTAL	No existe grupo control. Requiere una medición antes y otra después de la intervención. El efecto del cambio se mide comparando los resultados obtenidos después de la intervención con los que se consiguieron en la situación inicial. Requiere poco tiempo y recursos. Mejora su poder explicativo del cambio cuanto menos tiempo transcurra entre las medidas anterior y posterior a la intervención, ya que así se reducen las variables de confusión. Requiere análisis estadísticos específicos según el tipo de variables que se evalúen: continuas, categóricas...	Bajo. Permite medir los cambios ocurrido en la población diana antes y después de la intervención, pero no ofrece garantías de que éstos se deban a ella.
CUASI EXPERIMENTAL	Existe grupo control. Requiere una medición “antes” y otra “después” en el grupo control y en el grupo de intervención (o experimental). La asignación de los individuos al grupo control o al grupo de intervención es de conveniencia; no se hace al azar. Por ello es difícil asegurar que ambos sean equivalentes y comparables.  El efecto del cambio se estima por la diferencia entre los resultados posteriores a la intervención en el grupo de intervención y en el grupo control.  Requiere mayor experiencia, dedicación y recursos económicos y técnicos que el diseño anterior. Requiere de análisis con modelos estadísticos complejos que controlen las variables de confusión.	Medio. Permite atribuir a los efectos de la intervención los cambios ocurridos en el grupo que ha recibido la misma, siempre que ambos grupos (el de control y el de intervención) sean equivalentes (lo cual no garantiza este diseño).
EXPERIMENTAL	Existe grupo control. Requiere una medición “antes” y otra “después” en ambos grupos: intervención y control. La asignación de los individuos al grupo control o al grupo de intervención se hace de forma aleatoria, por lo que se asume que ambos son equivalentes. Además, la composición de la muestra cumple unos requisitos determinados, como ser lo suficientemente grande como para distribuir al azar en ambos grupos las posibles variables de confusión. El efecto de la intervención se obtienen calculando la diferencia del cambio entre las mediciones efectuadas antes y después de la intervención en el grupo control y en el grupo de intervención. Requiere mayor experiencia, dedicación y recursos económicos y técnicos que los anteriores. Requiere de análisis con modelos estadísticos complejos que controlen las variables de confusión. La asignación al azar de los individuos a la condición de intervención o control puede plantear cuestiones éticas.	Alto. Permite atribuir a los efectos de la intervención los cambios ocurridos en el grupo que ha recibido la misma.

La clave para una buena evaluación de resultados está en el diseño utilizado, de modo que permita controlar al máximo las posibles explicaciones alternativas a la atribución causal de los resultados. Cuando un diseño lo hace decimos que tiene una buena validez interna. Los mecanismos que aportan validez interna son³: a) que además del grupo de población que recibe la intervención (GI) exista un grupo control (GC) que no la recibe pero sirve de comparación +  y, b) que la asignación de los individuos al GI o al GC se haga de manera aleatoria + . Cuando una intervención tiene validez interna significa que aporta garantías sobre su eficacia. Además, muchas intervenciones pretenden servir para conseguir sus objetivos en el conjunto de la población con características similares a las de la población objeto de estudio. Es decir, trabajar con muestras representativas +. Sin embargo, a menudo las intervenciones que se realizan en contextos comunitarios tienen dificultades para realizar evaluaciones de resultados de calidad, derivadas de sus costes y/o de la dificultad para encontrar un grupo control equivalente. Estos obstáculos pueden superarse utilizando otro tipo de diseños. +

Cabe señalar que, a veces, se evalúan intervenciones empleando únicamente mediciones de indicadores de resultados posteriores a la intervención. Así, podemos imaginar que tras aplicar una intervención para cambiar actitudes favorables hacia el consumo de drogas se administra un cuestionario a los participantes para intentar determinar si la intervención ha modificado sus actitudes. Esta evaluación contempla indicadores de resultados (autodeclarados e indirectos) que aportan información valiosa para conocer la percepción de los participantes respecto a qué cambios han realizado debidos a la intervención, pero es una información de baja calidad en términos de evaluación de resultados porque no permite avalar la eficacia de la intervención. Por tanto, recopilar información sobre indicadores de resultado no implica necesariamente que se estén evaluando los resultados de la intervención. Para ello, se debe utilizar un diseño de evaluación de resultados. Para evaluar los resultados se pueden utilizar diferentes tipos de indicadores. +

 

Referencias:

1 Nebot M, López MJ, Ariza C, et al. (2011).Evaluación de la efectividad en salud pública: fundamentos conceptuales y metodológicos. Gaceta Sanitaria, 25 (Supl.1): 3-8

2 López MJ, Marí-Dell’Olmo M, Pérze-Giménez A y Nebot M. (2011). Diseños evaluativos en salud pública: aspectos metodológicos. Gaceta Sanitaria, 25 (Supl.1): 9-16

3 Alvira F. (2000). Manual para la elaboración y evaluación de programas de prevención del abuso de drogas. Madrid: Agencia Antidroga de la Comunidad de Madrid