FASE 6. Definir el plan de evaluación

¿Qué pasos debemos completar?

Paso 1: Seleccionar el tipo de la evaluación

INDICADORES DE LA EVALUACIÓN DE RESULTADOS

Los indicadores de resultados informan sobre los cambios que la intervención ha producido en la población diana Estos indicadores deben ser coherentes con los objetivos ya que de éstos últimos depende la información que hay que recopilar para saber si la intervención ha funcionado. Las respuestas a las siguientes preguntas constituyen una guía y orientación para su selección, definición y manejo:

¿Qué? Las intervenciones de reducción de la demanda de drogas son diversas, como también lo son los indicadores de resultados para medir sus efectos. Existe buen número de indicadores de resultados estandarizados, siendo en general más recomendable su utilización que no generar nuevos indicadores para cada intervención. Ello permite aprovechar los conocimientos y los procedimientos disponibles para obtener, analizar e interpretar dichos indicadores, así como comparar los resultados de la intervención con los de otros estudios que han utilizado indicadores similares. Una buena fuente para localizar indicadores de resultados es el Banco de Instrumentos de Evaluación del Observatorio Europeo de las Drogas y las Toxicomanías.

Para seleccionar indicadores de resultados conviene considerar la información que puede proporcionar cada uno de ellos, el procedimiento y los instrumentos necesarios para recolectar datos sobre los mismos y las herramientas necesarias para analizar e interpretar su información. Por otro lado, en el caso de ser necesario generar indicadores nuevos, se debe tener en cuenta que los indicadores de resultados han de ser coherentes con los objetivos, además de específicos, medibles, adecuados, realistas y ajustados en términos temporales (deben permitir observar cambios en los plazos de tiempo definidos por la evaluación).

Es habitual utilizar diferentes tipos de indicadores, dado que, difícilmente, un sólo indicador tiene plena capacidad para evaluar los objetivos de una intervención. Así, por ejemplo, para medir la eficacia de un tratamiento para abandonar el consumo de alcohol se puede analizar información procedente de diferentes indicadores como: la tasa de abandono del consumo tras el tratamiento, la tasa de permanencia en el tratamiento, el mantenimiento de los efectos al año de haber finalizado el tratamiento, etc. Además, en la evaluación de resultados conviene emplear tanto indicadores de consumo de drogas como indicadores indirectos relacionados con el mismo. Así, se pueden utilizar indicadores como la prevalencia o la incidencia del uso de determinadas sustancias, la edad de inicio de su consumo, las intenciones de consumo, etc., pero también, otros como la prevalencia de trastornos mentales u orgánicos que pueden tener relación con el uso de drogas (ej.: cirrosis hepáticas), entre otros.

¿Cómo? Como en la evaluación de proceso, los métodos para recopilar datos que ofrecen una visión más completa de la realidad son los métodos mixtos que incorporan métodos cuantitativos y métodos cualitativos. No obstante, en la evaluación de resultados el uso de métodos cuantitativos adquiere mayor relevancia. Al respecto, conviene utilizar instrumentos estandarizados que reúnan las propiedades psicométricas de validez y fiabilidad.

¿Cuándo? En la evaluación de resultados se necesita como mínimo una medición posterior a la intervención. Sin embargo, como ya se ha comentado, utilizar únicamente una medida posterior a la intervención no ofrece garantías para conocer la eficacia de la misma, siendo mucho más recomendable realizar una medida antes y, al menos, otra después. Por otro lado, en determinadas intervenciones y, en función de cuáles sean sus objetivos, se pueden conseguir resultados inmediatamente después de la intervención o, en ocasiones, un tiempo después de que ésta haya finalizado. Cuando se diseña una intervención, implícitamente se espera que sus efectos duren el mayor tiempo posible. Por eso, además de medir los efectos al acabar la intervención, algunas evaluaciones de resultados repiten las mediciones en periodos posteriores (normalmente a los 6 meses, a los 12 meses y después del año). De este modo se puede conocer la perdurabilidad de los efectos a corto, medio y largo plazo.

¿Dónde? La recopilación de los datos para evaluar los resultados suele realizarse en los lugares donde se localiza la población diana (escenarios de intervención, domicilios, lugares donde trabaja, estudia o pasa el tiempo libre, etc.)

¿Cuánto? Establecer referencias de los cambios producidos por una intervención ayuda a estimar el nivel de logro de dichos cambios. Es importante que esta estimación sea realista. A menudo, en la evidencia sobre la eficacia de las intervenciones se pueden encontrar estos “estándares” de referencia. De no existir para un tipo de intervención concreta, se puede revisar si hay referencias parecidas en otros ámbitos sociales o de la salud diferentes al de las drogas (ej.: accidentes de tráfico, enfermedades de transmisión sexual, etc.), pero si se desconocen, es mejor establecer referencias conservadoras que exageradas. Así, por ejemplo, en las intervenciones preventivas los cambios perseguidos en la población pueden ser sobre conductas (ej.: consumo de una droga) o sobre variables intermediarias que influyen en esas conductas, como creencias, actitudes, habilidades, motivaciones, etc. En general, se observan antes y mayores cambios en estas variables psicosociales que en las variables conductuales, ya que para observar cambios en los hábitos de conducta suele ser necesario realizar intervenciones sostenidas en el tiempo y evaluaciones a medio y largo plazo.

¿Quién? Los equipos que recopilan, analizan e interpretan la información de las evaluaciones de resultados han de estar formados por profesionales con conocimientos y experiencia en el diseño, uso de instrumentos y aplicación de métodos de investigación, así como tener formación en métodos estadísticos y/o métodos de análisis cualitativo. Para ello, se pueden buscar alianzas con otros sectores de la comunidad que reúnan esta experiencia y conocimientos, como podrían ser las universidades. Los responsables de la evaluación de resultados pueden estar implicados o no en el diseño y/o la implementación de la intervención. Si lo están, hablaremos de evaluación interna; en caso contrario, hablaremos de evaluación externa. Suele considerarse que esta última aporta una mayor credibilidad a los resultados de la evaluación, ya que al ser realizada por un equipo diferente al que implementó la intervención, no existiría un conflicto de intereses si los resultados no fuesen tan positivos como se esperaba (o si éstos fuesen claramente negativos). La contraparte de esta ventaja reside en que la evaluación externa suele añadir complejidad al proceso evaluador y comporta mayores costes en comparación con la interna. Es conveniente que la decisión de realizar uno u otro tipo de evaluación se adopte antes de iniciar el proceso evaluativo.