De los términos de referencia al diseño de tu evaluación

  • De los términos de referencia al diseño de tu evaluación

    El diseño de una evaluación implica establecer un plan temporal que guíe los plazos a seguir, definir unos contenidos de evaluación que reflejen los temas críticos a evaluar, especificar unos recursos económicos y de personal con los que se va a contar, y establecer los enfoques metodológicos y herramientas que van a utilizarse en la evaluación.

    diseño de evaluaciónEn los términos de referencia de una evaluación han de especificarse los tiempos para el diseño del plan temporal, los contenidos de evaluación, los recursos con los que se cuenta, y al menos indicaciones y sugerencias sobre los enfoques metodológicos y herramientas de evaluación que han de utilizarse.

    By
  • Conceptos y definiciones relacionados con el diseño de una evaluación

    DEFINICIOENS

    Los evaluadores y equipos de evaluación suelen utilizar varios términos para describir sus instrumentos o modos de proceder: técnicas, herramientas, procedimientos, métodos, diseños… En este proyecto docente se adoptan una serie de definiciones para poder desarrollar con claridad este tema. Tres son los términos considerados básicos a definir: herramienta, método y metodología.

     

    Herramienta (Tool, Outil)

    Procedimiento estándar utilizado para cumplir una función de la evaluación. El término herramienta se emplea en el caso de aplicación de un tratamiento estándar que puede ser aplicado a cualquier evaluación que requiera dicho tratamiento. Es el caso de los cuestionarios de las encuestas para recoger opiniones o los análisis de coste-eficacia para calcular los fondos públicos empleados en la obtención de un determinado efecto. El término de técnica (technique, technique) es considerado un sinónimo.

    Las herramientas de evaluación sirven para recoger datos cuantitativos o cualitativos, sintetizar criterios de juicio, explicar objetivos, estimar impactos, etc. Una herramienta tiene un nombre específico, está descrito en un manual, y puede enseñarse. Su uso puede ser libre, o puede implicar el pago de una tasa si la herramienta está protegida por una marca registrada. La evaluación puede utilizar una o más herramientas.

     

    Método (Method, Méthode)

    Plan completo del trabajo del equipo de evaluación. Un método es un procedimiento ad hoc, construido especialmente en un contexto determinado para contestar una o más preguntas de evaluación. Algunos métodos de evaluación son de baja complejidad técnica, mientras que otros conllevan el uso de varias herramientas encadenadas en un diseño predeterminado. Esta definición convierte el término método en sinónimo de diseño (design), modelo (model), procedimiento (procedure)… de manera que se refieren a un determinado método y al espíritu en el cual este método ha sido creado.

    El método diseñado para llevar a cabo una determinada evaluación puede siempre dividirse en varios pasos. Cada uno de estos pasos consiste en una tarea y da cumplimiento a una función elemental. En la mayoría de las evaluaciones podemos encontrar las mismas funciones elementales.

     

    Metodología (Methodology, Méthodologie)

    En el sentido estricto, es la ciencia de la construcción de métodos de evaluación. Sin embargo, el diseño técnico de una evaluación es más una cuestión de conocimientos y experiencia especializados que un procedimiento puramente científico. En la práctica, el término metodología se emplea a menudo para significar método, definido anteriormente.

     

    Diseño de evaluación (Evaluation design, Protocole d’evaluation)

    Plan completo del trabajo del equipo de evaluación. A veces se utiliza para referirse a la parte técnica del plan de evaluación. Se trata de los parámetros que definen una evaluación y cómo esta se va a realizar, incluyendo: plan temporal (etapas), los temas críticos a tratar (contenidos), recursos (presupuesto, personal), metodología general, y herramientas.

     

    Protocolo de evaluación (Evaluation design, Protocole d’evaluation)

    Parte técnica del plan de evaluación, diseñada para la colección y análisis de datos.

     

    Sesgo (Slanting, Tendance)

    El grado hasta el cual un intento de medición o un método subestima o sobreestima sistemáticamente un valor.

    By
  • Diseño del plan temporal de evaluación en cada una de sus etapas

    El plan temporal de una evaluación sirve para guiar posteriormente las actividades de evaluación. Sin necesidad de emplear mucho tiempo en su diseño sirve para propósitos de gran importancia:

    • En primer lugar, provee de un enfoque coherente para llevar a cabo la evaluación y hacer uso de los resultados. Ayuda a que los recursos se empleen adecuadamente y los resultados de evaluación sean usados para su intención original.
    • Guía las actividades de evaluación al explicitar sus objetivos, cuándo han de realizarse, cómo, y asignando responsables de llevarlas a buen fin.
    • Ayuda a la transparencia de la evaluación al documentar el proceso de evaluación para todas las partes implicadas.
    • Asegura la fidelidad a la implementación de la evaluación al explicitar con claridad el proceso de evaluación en sus diferentes actividades.

    En definitiva, al crear un plan de evaluación se facilita que los recursos no se malgasten a la hora de llevar a cabo la evaluación y se produzcan resultados que ayuden a la mejora de los programas.

    Todo plan de evaluación ha de recorrer varias etapas con diferentes actividades cada una. Michael Scriven en 1980 dio el primer paso hacia la conceptualización de estas etapas a través del análisis de un gran número de evaluaciones de programas. Estas etapas principales por las que discurre una evaluación son:

    • Estructurar como se desarrollarán los trabajos de evaluación.
    • Observar los datos disponibles y los cambios que se producen en el programa acorde a la estructuración de la evaluación realizada anteriormente.
    • Analizar los datos recogidos.
    • Emitir un juicio sobre el programa evaluado.

    En la figura se representan las cuatro etapas junto con los pasos que implica cada una de ellas.

    etapas principales
    Etapas principales del proceso de evaluación.
    Fuente: Elaboración propia a partir de Scriven (1980)

    El gráfico de diamante que aparece en la parte derecha de la figura es obra de Michael Scriven, y refleja como desde la etapa de estructuración hasta la de observación la información se va “acumulando”; se parte de la definición de lo que se va a medir con la evaluación para llegar a una gran cantidad de información recopilada sobre aquello que se va a medir en el programa, ya dentro de la etapa de observación. Tras ello, la cantidad de información vuelve a disminuir al sintetizarse en unos juicios sobre el mérito, valor e importancia del programa evaluado.

    A continuación se detallan los contenidos de cada una de las etapas:

     

    Estructurar

    La primera etapa, aunque es previa al propio ejercicio de evaluación, se incluye dentro de las fases de una evaluación. Es importante planificar cualquier acción que se lleve a cabo y todo lo referente a esta planificación y estructuración constituye la primera tarea a realizar. En esta fase es necesario:

    • Analizar cuáles son los agentes implicados en la evaluación, conectar con ellos, involucrarlos y asegurar su participación a lo largo de la evaluación. Para ello es importante considerar sus necesidades en el diseño de la evaluación.
    • Describir el programa, las necesidades que venía a cubrir, objetivos y expectativas, actividades realizadas, recursos implementados, contexto actual y principales influencias que lo afectan…
    • Diseñar la evaluación a través de dos pasos esenciales: (1) Análisis y clasificación de los efectos a evaluar definiendo criterios y estándares; y (2) elección de los instrumentos de observación.

     

    Observar

    La siguiente etapa ―observar― comprende los siguientes dos pasos:

    • Definición del campo de observación: Consiste en definir un campo de observación suficientemente limitado como para que la extracción de datos no genere costes excesivos, y suficientemente grande como para producir información fiable, contrastada y suficiente como para poder medir los efectos del programa que serán evaluados. Por tanto, es una decisión que condicionará la evaluabilidad del programa.
    • Recopilación de datos: Consiste en la recopilación de datos primarios a través de las diversas herramientas diseñadas para esta función. Este paso resulta esencial si la evaluación no puede basarse exclusivamente en datos secundarios (que son fundamentalmente aquellos generados por la evaluación previa o por otros documentos y los datos estadísticos existentes). Las herramientas que se aplican en este paso permiten la recolección de hechos y opiniones y la reconstrucción de lo sucedido de una forma cualitativa o cuantitativa.

    Es importante obtener datos que permitan dar evidencias que permitan gozar a la evaluación de una buena credibilidad cuando el evaluador tenga que elaborar sus juicios de valor.

     

    Analizar

    La tercera etapa comprende los siguientes dos pasos:

    • Comparación de datos: Consiste en la presentación de los datos primarios y/o secundarios de tal manera que se puedan extraer conclusiones.
    • Estimación de los efectos: Estimar los efectos del programa requiere un análisis de la causalidad que casi siempre sigue un enfoque deductivo, es decir, un enfoque basado en la verificación de las hipótesis de causa y efecto. La bibliografía científica sobre evaluación propone mayoritariamente herramientas de tipo cuantitativo para realizar este análisis.

     

    Juzgar

    La última etapa comprende los siguientes dos pasos:

    • Análisis en los términos de los diferentes criterios: La evaluación debe ser capaz de juzgar si los resultados obtenidos del programa son suficientes o insuficientes. Hay varias herramientas que pueden ser utilizadas en la etapa de análisis, las más relevantes en la evaluación de programas socioeconómicos son los análisis coste-eficacia y la evaluación comparativa.
    • Formulación de un análisis sintético: El octavo y último paso en una evaluación consistirá en la formulación de las conclusiones a partir de la síntesis final de los análisis parciales sobre diferentes criterios. Queda a elección del usuario de la evaluación y el equipo evaluador la necesidad o no de que el equipo emita recomendaciones en base a los resultados del proceso de evaluación.

     

    En la actualidad se discute si los evaluadores deben dar recomendaciones a la luz del juicio del programa. Muchos autores sostienen que la labor de la evaluación acaba al proporcionar un juicio —con la máxima objetividad posible— sobre el programa. Este juicio debe estar argumentado sobre un proceso con la suficiente claridad como para permitir a los gestores del programa emprender las acciones correctoras necesarias para la mejora del mismo. Bajo esta concepción de la evaluación, el análisis de las posibles medidas correctoras del programa es competencia exclusiva de los gestores del mismo. Otros autores sostienen, en cambio, que el evaluador, al cabo del proceso de evaluación posee suficientes argumentos y conocimiento del programa como para emitir una serie de recomendaciones que permitan a los gestores reorientar el programa en caso de que sea necesario.

     

    Es importante asegurar el uso de los resultados de evaluación, para lo que consideramos que es importante incluir una última etapa dentro del plan temporal: el diseño de una estrategia de diseminación y comunicación de resultados que permita compartir los resultados obtenidos.

     

    Referencias citadas:

    Scriven, M. (1980). The Logic of Evaluation. Inverness CA: Edgepress.

    By
  • La importancia de incluir una estrategia de comunicación en el plan temporal

    questions-2408094__340

    Finalmente, un plan de evaluación suele tener entre los productos finales un informe de evaluación, cuyo esquema de redacción suele incluir un resumen, una introducción, una descripción del enfoque metodológico, una presentación y análisis de la información recopilada, conclusiones (y recomendaciones), y los anexos que se consideren necesarios. Pero de cara a la utilidad de la evaluación y asegurar que sus resultados se usen es importante diseñar una estrategia para la diseminación y comunicación de resultados que quede incluida en el plan temporal de la evaluación. Este diseño ha de responder principalmente a cuatro preguntas:

    • ¿Quién?: Se trata de tener claro a quién va dirigida la estrategia de comunicación, quiénes son los potenciales usuarios de la evaluación. Hablamos aquí de una posible audiencia primaria, secundaria, interna o externa al programa…
    • ¿Qué?: Es importante saber qué es lo que se quiere diseminar y comunicar, qué contenidos, qué le importa a nuestra potencial audiencia definida en el punto anterior, qué tipo de información fácil de entender satisface sus necesidades y les puede ayudar a mejorar.
    • ¿Cuándo?: Un elemento importante de esa estrategia es definir cuándo se va a comunicar información procedente de la evaluación. Puede ser cada cierto periodo acordado desde el principio, cuando la audiencia potencial lo requiera o cuando se vea que más interesa.
    • ¿Cómo?: Se trata de definir el formato en función de la audiencia. En la mayoría de los casos se suelen tener distintos tipos de audiencia, donde los distintos implicados ven la información de forma diferente y con interés diferente. Es por ello importante diseñar diferentes productos de comunicación para cada tipo de audiencia. Entre estos productos podemos tener informes de evaluación (con toda la información), resúmenes ejecutivos (con la información más relevante), artículos en prensa local o boletines, informes de diapositivas, presentaciones orales, discusiones personales, formatos electrónicos (noticias, foros, pdfs interactivos, vídeos colgados en la red…), exhibición de fotos o posters, pequeñas representaciones teatrales…

    Se trata en definitiva de asegurar un uso apropiado de la evaluación y ayudar a crear futuros escenarios que se mejores a través de la información, conclusiones y recomendaciones generadas con la evaluación.

     

    By
  • Preguntas clave que ayuden a definir los contenidos de evaluación

    PREGUNTAS CLAVE

    El primer paso para definir los contenidos de una evaluación está en decidir el nivel de análisis inicial entre local, regional, nacional… Una vez delimitado este nivel, conviene formular un conjunto de preguntas clave que dejen claro el propósito de la evaluación que se emprende. Se trata de establecer qué puedo evaluar para luego determinar qué quiero evaluar. En un modelo de evaluación basado en un conjunto de preguntas, es fundamental contar con una buena metodología de respuesta que permita tratar adecuadamente las cuestiones planteadas y sacar todo el provecho posible de cada una de ellas.

    Se han de establecer para cada pregunta un conjunto de criterios e indicadores en perfecta adaptación con el programa, que permitan recopilar de forma coherente la información obtenida y evaluar los resultados conseguidos. También facilitan la agregación y comparación de los resultados. Se ha de intentar, en la medida de lo posible, aportar respuestas cuantitativas a las preguntas de evaluación, usando los indicadores apropiados. En cualquier caso siempre se proporcionará una respuesta cualitativa bien justificada. Unos posibles pasos a seguir para el tratamiento de cada pregunta se señalan a continuación.

     

    Finalidad y comprensión de la pregunta

    Explicación de la pregunta haciendo una pequeña descripción de lo que se estudiará en ella. Es un punto donde se matiza, dentro de la amplitud de cada pregunta, lo que se va a estudiar en concreto y los aspectos en que se hará más hincapié. También se centra la aportación de la respuesta en el contexto global de la evaluación dando razón de su importancia.

     

    Criterio para la evaluación

    En este punto se especifican criterios que ayuden a formular un juicio de valor sobre el éxito de los objetivos planteados a la vista de los resultados arrojados por los indicadores y demás información obtenida. Se trata de constatar los aspectos en los que nos vamos a fijar y el grado de exigencia con el que vamos a medirlos, para dar una respuesta a la pregunta.

    El criterio sirve para evaluar el éxito, al poner en relación el indicador con el resultado o impacto previsto. Dentro del criterio podemos distinguir lo que propiamente se llama criterio (aumento, disminución…) y el llamado nivel de objetivo, esto es, el nivel que ha de alcanzarse para satisfacer el criterio y concluir que la ayuda ha tenido éxito. Habitualmente, ese nivel se corresponderá con un objetivo cuantificado. Ante la escasa cuantificación de los objetivos programados, en muchas ocasiones es necesario acudir a un nivel de objetivo expresado en forma más bien genérica dando una línea de base con un punto de referencia. En estos casos, el equipo evaluador, cuando se vea conveniente y atendiendo a las características del programa o a las circunstancias locales, delimitará el objetivo con la mayor precisión posible.

     

    Análisis para la respuesta

    Se realiza aquí el análisis de toda la información obtenida para buscar que la respuesta a la pregunta planteada sea lo más precisa posible. Son varias las tareas a realizar dependiendo de cada caso, pero tras la recopilación y análisis de los datos y la posible necesidad de tener que reconstruir la situación de referencia será necesario tratar de definir algunos indicadores que permitan extraer algunas conclusiones para responder a la pregunta.

    La recopilación de datos ha de tener en cuenta el posterior análisis, a través de medios apropiados y completando los resultados del seguimiento con la recopilación de información adicional. Una vez recopilados los datos, se ha de efectuar la evaluación, analizándolos y determinando los efectos del programa concernientes a la pregunta que se esté respondiendo.

    El análisis de los datos se ha de realizar de modo que sea posible efectuar comparaciones y llegar a conclusiones, de tal manera que la evaluación sirva para determinar si los efectos que el programa ha producido son suficientes frente a los objetivos marcados. Se trata de analizar así la situación de referencia o hipotética, es decir, qué hubiese sucedido sin la intervención, definiéndose habitualmente como «la situación sin programa». No se trata por tanto de la situación inicial sino de la situación que viviría el sector si el programa no hubiera existido.

    Es importante concluir el análisis con la búsqueda de indicadores que ofrezcan la información cuantitativa que mejor recoja el análisis de la información realizado y mejor prepare la respuesta a la pregunta. Como norma general, elegir indicadores que puedan medir los progresos de la consecución de los objetivos del programa, y no perderse en interminables baterías de indicadores, sino que hay que centrarse en los indicadores más significativos y pertinentes.

     

    Respuesta: Conclusiones y recomendaciones

    Basándose en toda la información recogida y analizada, tanto cuantitativa como cualitativa, se ha de dar una respuesta concisa fundamentada en los apartados anteriores. Como la evaluación es considerada esencialmente un análisis de lo que se ha hecho, estas respuestas deben permitir saber cómo ocurrieron las cosas y por qué.

    Por otro lado se considera que la evaluación ha de estudiar especialmente los impactos logrados tanto a corto como a largo plazo, deteniéndose en los aspectos sociales, culturales, medioambientales… según corresponda a la pregunta en cuestión. Además se han de tratar aspectos como la utilidad y sostenibilidad de los impactos conseguidos, para sacar finalmente unas conclusiones y recomendaciones.

     

    Limitaciones de la respuesta

    Se indican aquí las posibles limitaciones de la respuesta dada en el apartado anterior, de manera que ésta se pueda valorar adecuadamente. Como limitaciones se pueden entender informaciones que hubieran sido valiosas pero no pudieron conseguirse, la relativa fiabilidad de algunos datos, la imposibilidad de resolver determinadas situaciones, la poca colaboración obtenida, la mala programación realizada con anterioridad… y en definitiva todo lo que constituya un obstáculo a la buena realización de la evaluación.

     

    By
  • Recursos para la evaluación: Bueno, bonito, barato. ¡Escoge dos!

    OFERTA
    Bueno, Bonito, Barato: ¡Escoge dos! Este conocido dicho, proveniente de la industria de restauración, nos recuerda que en la sociedad actual se demanda que los productos ─en nuestro caso las evaluaciones─ sean:

    • Buenos (aumentar la calidad de las evaluaciones lo máximo posible)
    • Rápidos (disminuir el tiempo de evaluación lo máximo posible)
    • Baratos (disminuir el presupuesto de evaluación lo máximo posible)

     

    Pero es imposible maximizar los tres criterios a la vez, por lo que hemos de conformarnos con un equilibrio cuyas reglas se reflejan a continuación.

    ↑ ­Calidad               →         ­ ↑Tiempo       ­ ↑ ­ Presupuesto

    ↓ Presupuesto       →        ↓Calidad       ­  ↑­ Tiempo

    ↓ Tiempo               →         ↓Calidad       → Presupuesto

     

    Para aumentar la calidad suele ser necesario aumentar los recursos invertidos (tiempo y presupuesto), pero para disminuir el presupuesto o el tiempo puede ser necesario disminuir la calidad. Es importante estudiar y negociar la mejor opción a la hora de establecer los términos de referencia.

    Conseguir un buen balance entre el bueno-bonito-barato en evaluaciones que presentan escasos recursos económicos requiere en ocasiones trabajar de modo colaborativo con el personal implicado en la gestión del programa, de modo que el programa pueda permitirse una buena evaluación que sea sostenible internamente a lo largo del tiempo. Se trata de hacer un uso adecuado del proceso de evaluación sin que ello derive en una falta de independencia u objetividad a la hora de hacer la evaluación. Un uso del proceso de evaluación que derive en la creación de capacidades de evaluación entre el personal que gestiona el programa y con el que trabajamos a la hora de hacer la evaluación. Esa creación de capacidades puede llevar a una gran ayuda a la hora de sacar adenlante una evaluación de calidad y que no emplee excesivos recursos de dinero y tiempo.

    By
  • Complementación de fuentes de información

    FUENTES DE INFO

    En las actividades de evaluación se suele poner de relieve la necesidad de combinar distintas fuentes de información para asegurar la solidez de los trabajos. Es conveniente utilizar todos los instrumentos de recolección de información que estén a nuestro alcance, teniendo en cuenta que algunos de estos instrumentos ─en especial los utilizados en la participación social─ introducen opiniones subjetivas. Se puede así comparar distintos puntos de vista, complementar distintas fuentes de información y analizar la validez de los argumentos que sostengan las opiniones encontradas.

    Fuentes de información

    Es necesaria la utilización de fuentes complementarias de información: una primaria (generados y recogidos ex profeso para la evaluación) y otra secundaria (datos ya disponibles), una cuantitativa (información claramente cuantificable) y otra cualitativa (información de difícil cuantificación).

    Los trabajos de evaluación suelen comenzar con una descripción clara de lo que se pretende realizar y una revisión detallada de la documentación disponible: literatura relevante, evaluaciones previas, documentos de programación, informes de seguimiento y control, datos estadísticos y bases de datos existentes, etc. En la medida de lo posible, es importante acudir al origen de estas fuentes de información ya existentes (información secundaria), de manera que se eviten intermediarios, incorrecciones o malas interpretaciones.

    Gran parte de la información cualitativa resulta de la activación de procesos de participación (a través encuestas, entrevistas, discusiones, talleres…) para aprovechar las aportaciones de la población afectada. Se trata de una información primaria fundamental para comprender la realidad evaluada, completar datos secundarios insuficientes, e interpretar y matizar los datos obtenidos de otro tipo de informaciones. Otro tipo de información primaria es la observación directa de uno o unos pocos casos seleccionados (puede hacerse participativa o no) a través de observaciones cualitativas y mediciones directas que registran datos cuantificables por medio de instrumentos analíticos.

    Trabajo de gabinete y trabajo de campo

    Según Thirion (2000) el número, la diversidad y la representatividad de las personas que participan en la evaluación, por una parte, y el nivel de profundización del análisis, por otra parte, son los dos principales factores de fiabilidad de los resultados obtenidos. Dentro del primer factor toma especial protagonismo la participación del trabajo de campo y dentro del segundo el trabajo de gabinete.

    La experiencia indica que estos dos factores no son siempre compatibles, ya que es en general difícil movilizar a un gran número de personas durante un plazo suficientemente amplio para realizar un análisis profundo. Esta es la razón por la que son posibles tres tipos de vías para obtener una mejor fiabilidad de los resultados. Estos tres tipos de vías están representados en el gráfico siguiente donde las curvas de nivel de fiabilidad van del 1 (nivel muy bajo) a 8 (nivel muy elevado). Como se ve, son posibles distintas vías para la búsqueda de mayor fiabilidad de los resultados.

    distintas vías posiblesDistintas vías posibles para la búsqueda de mayor fiabilidad de los resultados.
    Fuente: Elaboración propia a partir de Thirion, 2000

    Vía A: Un primer trabajo es realizado por un pequeño grupo de técnicos y expertos que basan su valoración personal en un trabajo minucioso y en la búsqueda de indicadores pertinentes, antes de pasar a la participación ampliada a otros agentes, a quienes proporcionan las informaciones que recogieron pero sin aportar su valoración personal.

    Vía B: Inicialmente se hace una valoración individual en la que interviene un gran número de participantes representativos de los distintos sectores de la sociedad local, pero sin utilización de indicadores (valoración global rápida); luego, en una segunda fase, la valoración media obtenida se compara con el trabajo de análisis más profundo y con la búsqueda de indicadores.

    Vía C: Sería la vía ideal donde el trabajo de gabinete y la participación interaccionan de continuo en todo el proceso evaluación. Esto en la realidad es difícil pues no se puede estar movilizando de continuo a un gran número de personas. Es por ello que la mayor aproximación a esta vía está en buscar que la propia población local aprenda a evaluar por sí misma los programas con un modelo de evaluación que facilite la adquisición de estas capacidades.

    En cualquier caso es necesaria la obtención y análisis de la información secundaria a través de un trabajo de gabinete inicial. Primeramente se consultan estos datos que ya están disponibles para luego ir en busca de los datos primarios que hagan falta durante el trabajo de campo (participación social, observaciones y mediciones directas). Una vez obtenidos, estos datos del trabajo de campo sirven para completar, verificar, interpretar, resolver posibles conflictos y contrastar las conclusiones que se obtuviesen del análisis de los datos secundarios durante el trabajo de gabinete inicial.

    complementación de fuentesComplementación de fuentes de información

    Esta complementación de fuentes de información ─que normalmente se realiza en un trabajo de gabinete final─ permite integrar los conocimientos analizados y evaluar cuantitativamente la aplicación y resultados de los programas de desarrollo, a la vez que permite un enfoque más cualitativo de los factores específicos que los caracterizan y suponen muchas veces su mayor beneficio. También suministra diferentes opciones de información que no obliguen a forzar la causalidad, al tiempo que permite disponer de indicadores que ilustren suficientemente las variables a considerar.

    No se puede excluir un objetivo de su campo de análisis sólo porque sea difícil de medir cuantitativamente y definir para él un indicador cuantitativo. Cuando los trabajos de evaluación tropiezan con un objetivo difícil o incluso imposible de cuantificar, se puede proponer un tratamiento cualitativo. La información cualitativa bien estructurada puede resultar muy útil y es claramente preferible a una ausencia de información.

     

    La información del seguimiento como base de la evaluación

    La recopilación de datos debe hacerse teniendo en cuenta los análisis que puedan hacerse posteriormente y vuelvan a necesitar de ellos. La evaluación debe dotarse de medios apropiados y completar los resultados del seguimiento, cuando sea necesario, con una recopilación de información adicional. De esta forma, conseguimos que la evaluación sea parte de un seguimiento continuo que tiene lugar a través de los proyectos.

    Los trabajos de evaluación han de hacer un uso óptimo de los denominados datos secundarios ya disponibles, como los obtenidos a través del sistema de seguimiento. A veces, resultan suficientes para responder a aspectos específicos de evaluación o una parte de ellos. Al tratarse de datos ya disponibles pueden recopilarse a un coste moderado y facilitan mucho los trabajos de evaluación. Por ello, es importante disponer de un buen sistema de seguimiento.

    Estos datos se hacen especialmente importantes en las evaluaciones intermedias, donde suelen aportar información financiera (medios) e información sobre las realizaciones. Una información que complementa a la obtenida de las evaluaciones anteriores y los documentos de programación, que aportan datos sobre la lógica de intervención, coherencia y pertinencia de la programación diseñada.

     

    Referencias citadas:

    Thirion, S. (2000). El método SAP en Portugal (Sistematización de la Autoevaluación Participativa). I.N.D.E. Lisboa. Descargado de internet el 27 de julio de 2015 en http://ec.europa.eu/agriculture/rur/leader2/forum/docs_evaluation/thirion_es.pdf

    By
  • Dificultades a la hora de abordar una evaluación

    magic-cube-1976725__340

    La experiencia de estos últimos años nos que lleva a destacar muchos de los aspectos positivos por los que atraviesan las actividades de evaluación: los avances logrados en el uso de los procesos y resultados, los beneficios del actual intercambio general de lecciones extraídas y técnicas innovadoras, la mayor y mejor participación de las partes involucradas y la evolución positiva de la evaluación que, saliendo del ámbito técnico, se ha convertido hoy en día en un instrumento de apoyo y mejora de la toma de decisiones.

    Sin embargo, las actividades de evaluación siguen encontrando numerosas dificultades. Unas son fruto de concepciones erróneas o modos de hacer equivocados, y otras suponen obstáculos objetivos que ponen de manifiesto que las tareas de evaluación no son siempre de fácil ejecución. Las primeras tienen una solución conceptual y teórica a través del diseño de modelos y herramientas apropiados, las segundas se han de afrontar con experiencia y estudios detallados.

    Las dificultades derivadas de la mala programación de las intervenciones como la falta de precisión, coherencia y adaptación al programa, tienen como resultado una evaluación poco concreta y con poca capacidad real para la mejora de los programas de desarrollo.

    Las dificultades derivadas de la mala programación del seguimiento y evaluación como la falta de definición y concepciones erróneas, ponen de manifiesto la necesidad de un mayor consenso en la obtención de dispositivos adecuados para el seguimiento y evaluación de los programas.

    Las dificultades en la ejecución de las actividades de evaluación son especialmente acuciantes cuando no se cuenta con unas buenas orientaciones para llevarlas a cabo. Algunas de estas dificultades están relacionadas con la medición del impacto, pues la excesiva aplicación del método científico a la evaluación ha dejado herencias como el criterio de causalidad. Este criterio no tiene muchas veces buena aplicación en la evaluación de los programas porque demanda rigurosos criterios científicos. A menudo las pruebas necesarias para demostrar la causalidad no pueden ser conseguidas en el mundo real. En su lugar debe aplicarse un criterio de racionalidad, buscando posibles causas basadas en la comprensión de los datos conseguidos.

    Otras dificultades en la ejecución están relacionadas con la elección del sistema de indicadores, donde muchas veces los problemas se encuentran a la hora de disponer de información homogénea y construir un sistema de indicadores integral cuando existen diversos gestores que suministran información al sistema de seguimiento y evaluación. Se han identificado también otras dificultades de ejecución como:

    • La definición inadecuada del contenido de evaluación.
    • La elección poco apropiada del momento de evaluación.
    • La elección desacertada del nivel de análisis inicial.
    • La excesiva rigidez de algunos modelos de evaluación.
    • El reduccionismo economicista.
    • La excesiva valoración de la objetividad.
    • La contratación inadecuada de las evaluaciones.
    • El bajo nivel de desarrollo de las estadísticas.
    • La medición de la eficacia cuando se encuentran objetivos excesivamente genéricos.

     

    Por último se han identificado dificultades que obstaculizan el proceso de aprendizaje y su papel dentro del proceso de toma de decisiones. Estas dificultades pueden ser:

    • Indirectas: Los retrasos y la escasa calidad de los informes, el desfase entre el ciclo de programación y el ciclo de evaluación, y la falta de análisis a nivel macroeconómico o por el contrario en el ámbito de subprogramas, medidas y proyectos.
    • Directas: Escasa utilización de los resultados generados por la evaluación para la reformulación de las intervenciones o la ausencia, muchas veces detectada, de mecanismos para el aprendizaje y la retroalimentación.

    By
Ir a la barra de herramientas