¿Cómo se diseñan evaluaciones?

  • Puesta en marcha de un sistema de información para el seguimiento

    Para la puesta en marcha de un sistema de seguimiento es necesario poner en funcionamiento un sistema de información y un sistema de autoevaluación.

    desarrollo del sistemaDesarrollo del sistema de S&E durante la etapa de ejecución con la puesta en práctica del seguimiento

    El sistema de información se constituye como pieza clave del mecanismo de integración en la etapa de ejecución. Ya desde el inicio del programa empieza el intercambio de información del programa al sistema de seguimiento. Se da continuidad así a la integración de las actividades de S&E en el programa.

    El proyecto constituye la unidad de recogida de información por excelencia del sistema de información. Aunque luego haya varios niveles de reflexión a nivel actuación, medida, eje… es necesario recoger la máxima información de utilidad que a nivel proyecto se pueda conseguir. La principal ventaja de este sistema de información a nivel proyecto está en la cercanía del gestor a éste a la hora de aportar información. Cuando se realiza un ejercicio especial de evaluación es difícil contar con que los expertos evaluadores lleguen a conocer todos los proyectos. El que mejor los conoce es el encargado de gestionarlos y seguirlos, y es importante que llegue a sistematizar la recogida de los aspectos clave de los proyectos implementados.

    Las tareas preparatorias para establecer el sistema de seguimiento servirán para detectar las deficiencias del sistema de información. Podrá ser necesario recurrir a asistencia técnica o a expertos independientes para solventar las posibles deficiencias y carencias, mejorar las condiciones generales de aplicación y aumentar la eficacia del seguimiento.

     

    A su vez el mecanismo de aprendizaje a través de la autoevaluación produce continuas recomendaciones, como resultado de las reflexiones a nivel proyecto, medida, eje…una vez se ha ido agregando la información de los proyectos (o aportando nueva información en cada uno de estos niveles). Las recomendaciones han de ser asimiladas por el programa y garantizar así su contribución a un verdadero desarrollo de las potencialidades del territorio sobre el que actúa. Este flujo de recomendaciones garantiza la integración del programa en las actividades de seguimiento.

    Exponemos a continuación el desarrollo del sistema de información que caracteriza parte de esta integración. Posteriormente, al hablar del aprendizaje, desarrollamos el segundo elemento clave del sistema de seguimiento: la autoevaluación.

     

    Definición de las necesidades de información

    El primer paso para la creación del sistema de información del seguimiento es definir la información mínima esencial que se recogerá a nivel de cada uno de los proyectos. Como se explicará más adelante en el apartado sobre el contenido del seguimiento, este sistema de información habrá de centrarse en el seguimiento físico y financiero y en el seguimiento del contacto con los beneficiarios.

    Es difícil determinar estas necesidades de información debido, en parte, a que con mucha frecuencia los propios usuarios no han decidido lo que necesitan realmente. La experiencia habida en muchos programas muestra que los administradores describen los temas o cuestiones sólo en términos generales. Por lo tanto, los diseñadores del sistema de información deben tratar de ayudar a los gestores e identificar partidas específicas de información siguiendo los siguientes pasos:

    • Examen del programa y su contexto: El diseño del sistema de información debe incluir un examen del programa y de su contexto. Ha de hacerse un análisis del diagnóstico y de la jerarquía de los objetivos del programa con objeto de determinar las poblaciones consideradas como objetivo, las actividades críticas y las tareas que han de seguirse comparadas con los objetivos convenidos.
    • Identificación de prioridades: Después de este examen, el primer paso al diseñar un sistema de información consiste en identificar la prioridad de los usuarios (las personas encargadas de la gestión que realizarán el seguimiento y harán uso de ese sistema de información). La identificación de las necesidades de éstos requiere un marco para el diálogo que ha de sostenerse entre el usuario y el diseñador del sistema. La experiencia también indica que no debe utilizarse un marco conceptual elaborado por expertos externos con objeto de identificar necesidades de información. Los programas que no han incluido el diálogo necesario con los usuarios para identificar necesidades reales de su gestión diaria, o que han hecho meramente una estimación superficial de tales necesidades, han tendido a producir sistemas costosos que en gran parte no tienen conexión con las necesidades de los usuarios.
    • Selección de prioridades: Habida cuenta de los limitados recursos de personal, dinero y tiempo, es improbable que el sistema de información satisfaga plena y eficazmente las necesidades de todos los usuarios. Esto demanda que se asigne la máxima prioridad a las necesidades de seguimiento del personal del programa, después vienen las demandas de los organismos que supervisan y controlan. Los responsables del seguimiento deben definir, sobre la base de las prioridades y de la capacidad, la estructura del sistema de seguimiento y el grado de detalle necesario para poder satisfacer las necesidades de los diferentes grupos.

    Diseño de un sistema de indicadores

    El diseño del sistema de información ha de concretarse en la identificación de un sistema de indicadores. Estos indicadores deben informar a los gestores de los efectos a corto y largo plazo de las acciones emprendidas y, además, hacer posible una medición de los progresos realizados con respecto a los objetivos globales del programa. Varios criterios se pueden emplear para la selección de indicadores de calidad (Comisión UE, 2004; Innes & Boother, 2000):

    • Se puede cuantificar a intervalos regulares con una frecuencia adecuada al programa. Teniendo en cuenta que tener un número no significa necesariamente el tener un buen indicador. El problema no consiste solamente en completar o reducir el número de indicadores, sino en la dificultad de los sistemas de seguimiento para garantizar la cuantificación periódica de los indicadores acordados y que ya existen en los programas.
    • Puede utilizarse poco tiempo después de la recogida de los datos sobre los cuales se ha construido.
    • Es directo y no da pie a ambigüedades. Se puede comprobar su sensibilidad y fiabilidad en relación con los fenómenos a medir.
    • Permite comparaciones entre las medidas del programa, y con otros programas o grupos de destinatarios.
    • Es transparente y no puede ser manipulado para mostrar logros donde no existen.
    • Su obtención. Los indicadores deben ser identificados por participación. Deben ser desarrollados con la participación de aquellos que los usarán y aprenderán de ellos, pues solo serán realmente útiles si se convierten en parte de su modo de pensar.

    Un seguimiento eficaz exige la elaboración de indicadores de realizaciones en relación con todas o la mayor parte de las medidas. No obstante, en lo que se refiere a los indicadores de resultados y de impacto puede admitirse un enfoque algo más selectivo. Los indicadores han de ser escogidos de forma que al final podamos contar con un sistema en el que podamos identificar:

    • Indicadores clave o marco: Unos pocos indicadores globales de medidas que reflejen los valores centrales de la intervención. Han de ser cuidadosamente diseñados, claramente visibles, participados y consensuados y deben ayudar a enmarcar la intervención y a señalar la dirección en la cual se quiere avanzar. Con la idea clara de que los indicadores no son respuestas sino el punto de partida para la discusión.
    • Indicadores de gestión: Un número mayor de indicadores que reflejen las principales actividades y resultados para los encargados de la gestión y seguimiento. Han de ayudar al diseño y rediseño (en caso de que no avancen en la dirección deseada) de la intervención, al mantenimiento de la eficacia, a diagnosticar la causa de los problemas, a realizar ajustes, a fijar prioridades y a responder a los cambios que se produzcan. Dada la gran importancia de la distribución territorial en el desarrollo es conveniente el uso de los sistemas de información geográfica en los indicadores.
    • Indicadores rápidos de retroalimentación para todos los implicados en la intervención de forma que supongan una ayuda en su toma de decisiones diaria sobre sus propias acciones y a hacer un mejor uso sobre los recursos disponibles. El acceso individual a mejor y más puntual información es crucial en el proceso de desarrollo. Se trata de actuar con la mayor información disponible y poder escoger lo más conveniente. Una de las principales tareas aquí es la exploración de las oportunidades que ofrecen las nuevas tecnologías de la información y tratar de utilizarlas en la medida de lo posible.

    Una vez escogidos los indicadores, se recomiendan cuatro grandes criterios para comprobar la calidad del sistema de indicadores diseñado:

    • Una buena cobertura del programa completo.
    • Un buen equilibrio entre productos, resultados e impactos.
    • Pragmatismo en lo relativo a las cifras.
    • Pertinencia, es decir, una selección de indicadores que toman en cuenta la importancia estratégica y operativa de la información. El sistema de indicadores debe facilitar información dirigida a mejorar la calidad y la eficacia de la intervención.

     

    Elaboración de una base de datos y recogida de información

    Para el manejo y organización de esta información se hace necesaria la realización de una base de datos diseñada especialmente para cada programa y de fácil manejo para el personal que ha de operar con ella.

    La recogida de la información en la base de datos ha de verse facilitada por la redacción de documentos: los cuestionarios para la petición de ayudas, las memorias de los trabajos para la selección de las subvenciones, los informes sobre las visitas de campo y la elaboración de fichas para el seguimiento de cada beneficiario. De una manera más informal – pero no por ello menos importante – está el continuo contacto con los beneficiarios en el día a día del programa.

     

    Cuestionarios para la petición de ayudas

    En el cuestionario para la petición de ayudas los beneficiarios potenciales del programa deben aportar sus datos personales, datos sobre la localización del proyecto, la descripción del mismo y sus objetivos, distribución de los gastos según medidas y el resto de ayudas públicas que se hubiesen solicitado. También ha de aportar la documentación y justificantes que sean precisos y el compromiso de cumplir los requisitos del programa para la concesión de una subvención. Se ha de aprovechar el cuestionario para la obtención de indicadores iniciales de tipo físico, económico y social y todo tipo de observaciones e información adicional para complementar la valoración del proyecto.

     

    Memoria explicativa de los trabajos para la selección de subvenciones

    Las herramientas utilizadas para la selección de las subvenciones han de evitar, en la medida de lo posible, apreciaciones subjetivas a la hora de conceder las ayudas, racionalizando y sistematizando el proceso de selección. También han de facilitar la función de control por las administraciones encargadas del programa y la autoevaluación del propio grupo.

    El primer paso es la selección de unos criterios de decisión definidos y consensuados por todos los implicados en el programa de acuerdo con los objetivos y filosofía del programa. El segundo paso es la ponderación de los criterios en función de su grado de prioridad adjuntándoles un coeficiente de ponderación (normalmente tres, uno para prioridad muy alta, otro para la alta y otro para la prioridad normal).

    Cada proyecto susceptible de recibir ayuda debe ser valorado con cada uno de los criterios establecidos. Esta valoración es definida según la repercusión del proyecto sobre cada uno de los criterios. Pueden establecerse cinco niveles de valoración: muy positivo, positivo, normal, negativo y muy negativo.

    Es importante que el análisis de la subvencionabilidad se agilice haciéndolo de forma informatizada como puede ser una hoja de cálculo (Excel en entorno de Windows por ejemplo). Las únicas celdas a modificar serán las correspondientes a las valoraciones de cada criterio (y al máximo de subvención con cargo al programa establecido para el proyecto en caso de ser necesario). La hoja ha de estar diseñada para el cálculo automático de la valoración y subvención final para el proyecto.

    Cada evaluación multicriterio realizada debe ser completada con una breve memoria explicativa con objeto de aclarar las valoraciones dadas a cada criterio.

     

    Informes de las visitas de seguimiento

    En las visitas de campo a los proyectos subvencionados se ha de constatar que las condiciones que llevaron a la selección del proyecto siguen siendo vigentes. Se ha de comprobar que el proyecto no ha cambiado de localización y se han mantenido las inversiones. Datos de interés son las posibles renovaciones, la ampliación o reducción de la inversión, horario de funcionamiento, mantenimiento de empleos, principales problemas o potencialidades detectadas y todo tipo de observación que se considere de interés.

    Estas visitas han de dar lugar a un informe donde se ha de recoger toda esta información, junto con la fecha y lugar de la visita, título del proyecto y promotor junto con el nombre de las personas presentes en la visita. Es recomendable que el informe esté tipificado y el informe se realice con facilidad rellenando las casillas en blanco dejadas al efecto.

     

    Fichas para el seguimiento de cada beneficiario

    La sede administrativa del programa ha de contar con una ficha de seguimiento de cada uno de los beneficiarios del programa que vaya recogiendo las principales incidencias con cada uno de ellos. Es importante que esta información se informatice y pase a la base de datos del sistema de información.

     

    Seguimiento informal

    Aunque no se recoja en ningún tipo de informe de manera oficial, el seguimiento informal de los beneficiarios y del resto de la población afectada por parte del equipo de seguimiento se considerada esencial. Muchas veces constituye la fuente para una más adecuada valoración de los proyectos y de los beneficiarios. La fuente para detectar malestares entre la población o por el contrario una actitud de satisfacción hacia el programa.

     

    Referencias citadas:

    Comisión UE (2004). Indicadores comunes para el seguimiento de la programación de desarrollo rural 2000-2006. Dirección General VI de Agricultura, Bruselas.

    Innes, J.E. & Boother, D.E. (2000). Indicators for sustainable communities. A strategy building on complexity theory and distributed intelligence. Planning Theory & Practice, 1(2), 173-186.

    By
  • Puesta en marcha de un sistema de autoevaluación para el seguimiento

    Después de abordar la puesta en marcha de un sistema de información, abordamos a continuación el segundo elemento fundamental con el que ha de contar el seguimiento: el sistema de autoevaluación. Al introducir la autoevaluación, hay que tener cuidado y asegurarse de que no redunda en un aumento del volumen de trabajo improductivo. El apoyo logrado debe verificar la calidad del proceso y ha de permitir comprender mejor los aspectos financieros y relacionados con la gestión. Un buen sistema de autoevaluación debe contar con tres características:

    • Este tipo de evaluación se refiere a un proceso continuo y no a ejercicios especiales. Proporciona información retroactiva constante al administrador a fin de que se puedan adoptar medidas correctivas.
    • Consiste en ejercicios sencillos internos que no suponen mucha recopilación de datos. Las evaluaciones sobre la marcha se basan invariablemente en los productos del sistema de información del seguimiento.
    • La evaluación acentúa principalmente las recomendaciones prácticas que surgen del programa.

    La autoevaluación permite analizar las últimas actividades y preparar mejor el futuro. Por su proximidad al terreno, la autoevaluación pone de relieve tanto los elementos más visibles y fácilmente objetivables como aspectos poco visibles que en general son poco reconocidos o puestos de relieve por una evaluación externa, en particular, los aspectos cualitativos e inmateriales. Las ventajas de efectuar una evaluación sobre la marcha son obvias:

    • En primer lugar proporciona información retroactiva sistemática a los administradores de programas y de este modo facilita la integración del seguimiento en el programa.
    • En segundo término, toda vez que la evaluación sobre la marcha corre a cargo del propio personal del programa para consideración interna, el personal tiene un motivo poderoso para estimar objetivamente los puntos débiles y fuertes del programa; no necesitan mostrarse defensivos ni evasivos acerca de su progreso.
    • En tercer lugar, dado que el personal tiene un convencimiento íntimo de las actividades del programa, las recomendaciones que se derivan del proceso de evaluación deben ser prácticas y pertinentes. Es más probable que los administradores las lleven a la práctica que las recomendaciones de gentes de fuera, quienes pueden creer que no comprenden sus problemas ni aprecian sus perspectivas.

    Ahora bien, una evaluación sobre la marcha no es un sustituto de las evaluaciones externas llevadas a cabo en las distintas etapas de una intervención. Es, eso sí, un buen complemento y en gran parte, su fundamento.

     

    Relación entre el sistema de información y la autoevaluación

    La relación entre el sistema de información y la autoevaluación constituye un engranaje fundamental dentro de un sistema de seguimiento para la consecución del aprendizaje sobre la marcha durante la etapa de ejecución. Los datos obtenidos a través del sistema de información pueden convertirse en conocimiento útil a través de la autoevaluación. La difusión de conclusiones y recomendaciones derivadas de esta autoevaluación posibilita el aprendizaje, tanto de la población como del equipo que gestiona, sigue y evalúa el programa.

    El sistema de información y la autoevaluación han de estar diseñados uno en función del otro, de manera que en el sistema de información se incluyen casi todos los campos cubiertos por una evaluación interna sobre la marcha. En realidad, la línea divisoria de ambos es muy tenue, no es posible decir dónde se detiene el sistema de información y comienza la autoevaluación. Cualquier diferencia entre estos dos conceptos, muchas veces es meramente de énfasis. El sistema de información tiende a enfocarse más en las cuestiones de ejecución del programa, en tanto que la evaluación sobre la marcha aborda los resultados probables de las intervenciones.

    relación entre el sistemaRelación entre el sistema de información y la autoevaluación

    Verificación y utilización de las recomendaciones

    Las conclusiones que se vayan extrayendo de la autoevaluación han de ser verificadas y utilizadas. Un problema importante para diseñar un sistema de seguimiento es que los funcionarios u organizaciones que tienen acceso original a la información se muestran reacios a menudo a cotejarla y difundirla. Hay una tendencia consciente e inconsciente a pasar por alto información que advierte que hay un desempeño deficiente o bien a exagerar hechos positivos. También está el temor a que la información pueda ser utilizada en contra de los trabajadores. En la medida en que el personal del programa suministra información al sistema global, se ha de hacer hincapié en que esa información debe ser verificable y registrada de manera objetiva. Los datos tendenciosos pueden ser más perjudiciales para el sistema que un vacío, que se puede llenar más tarde mediante la recopilación directa de datos.

    Por esta razón se hace hincapié en la palabra “interno” de manera que la información tenga un uso interno antes de su difusión. A nivel interno, dentro de la propia administración del programa se reduce enormemente esta tendencia a pasar por alto información. A nivel interno pueden ponerse sobre la mesa todos los problemas para poder buscar una solución, la realidad tal y como está siendo. No un dar cuentas sino un buscar soluciones. No un demostrar que se hacen bien las cosas sino hacerlas de hecho.

     

    Intervención y especificación de metas

    Por último se hace necesario definir el modelo de intervención del seguimiento y especificar metas para un eficaz uso de las recomendaciones de la autoevaluación por parte del equipo de gestión. En la ejecución de programas, el progreso hacia el logro de objetivos a corto plazo se mide por la consecución de metas para la conclusión del programa y por la adopción de servicios por la población señalada como objetivo a diversos intervalos.

    Algunas de esas metas se especifican en los documentos de evaluación previa del programa, pero otras es necesario elaborarlas en la etapa de ejecución, en particular en el contexto de la preparación de los planes y presupuestos anuales. En los documentos de evaluación previa, algunas metas, aunque cuantificadas, puede que no sean fáciles de verificar a corto plazo. Una meta cuantificada que se pueda verificar con carácter regular y sin demora como parte del proceso de seguimiento, se denomina una meta verificable. Es importante que estas metas, se expresen con referencia a la población beneficiaria prevista y sus grupos de interés.

    El sistema de seguimiento se fundamenta en un modelo de intervención –ya sea explícito o no– que explica la relación existente entre éste y el programa, entre las recomendaciones derivadas del seguimiento y el programa. Esta conexión proporciona continua supervisión del programa con la mira puesta en avanzar de las condiciones existentes hacia el estado deseado.

     

    Redacción de informes: el enlace entre el seguimiento y el control

    Es necesario definir en qué forma se transmitirá la información. El sistema de información deber ser un proceso de participación conjunta en el que intervenga cada nivel de administración. Su participación activa no sólo estimula a crear un diseño más representativo y que se ajusta más a las necesidades reales, sino que también establece redes de comunicaciones y relaciones que pueden contribuir más tarde a la difusión más amplia y la utilización más provechosa de las comprobaciones y recomendaciones del proceso de seguimiento.

    El seguimiento realizado ha de finalizar con la redacción de los informes de seguimiento, recopilación de toda la supervisión realizada hasta el momento de su redacción. Estos informes suponen el suministro –más o menos continuo– de información al sistema global por parte de la administración del programa. Se trata de informes de redacción sencilla que han de contener lo esencial de los hallazgos, haciendo uso de anexos y apéndices en caso de querer extenderse a mayores detalles.

    Las administraciones que actúan a cada nivel deben enviar informes periódicos a sus superiores. La redacción de informes durante la etapa de ejecución supone el enlace formal entre la supervisión realizada por el equipo de seguimiento del programa y el control realizado por las autoridades permanentes. Todos los informes realizados por el equipo de seguimiento sirven de base para la realización de los controles y de los informes de control.

    El objetivo de estos informes es informar sobre la marcha de los dos principales contenidos del seguimiento, los datos físicos y financieros y las relaciones con los beneficiarios. Principales incidencias, decisiones tomadas, resultados obtenidos… datos que han de ir acompañados de cuadros y tablas que aclaren el mensaje que se desea transmitir e ilustren los puntos sobre los que se desea hacer hincapié.

    En el caso de todas las intervenciones plurianuales es conveniente la presentación de informes de seguimiento y control cada año. En los informes se presentarán de forma pormenorizada los progresos de la ejecución de la intervención durante el año anterior. Estos informes se deben elaborar sobre la base de los siguientes elementos:

    • Datos sobre el contexto de ejecución de la intervención.
    • Progresos realizados en la consecución de las prioridades y objetivos específicos de las medidas y, en su caso, los progresos efectuados en los grandes proyectos, demostrados cuantitativamente mediante los indicadores de seguimiento adoptados al efecto.
    • Ejecución financiera de la intervención a nivel de la medida, sobre la base de indicadores cuantificados.

    Un aspecto importante para facilitar la transmisión de la información es su informatización. La base de datos creada para el seguimiento ha de permitir emitir los informes de una manera sencilla y rápida en cualquier momento en que se necesiten.

    By
  • El contenido de los ejercicios de evaluación

    Los ejercicios especiales de evaluación ─evaluaciones en profundidad que típicamente se encargan y realizan a mitad o final de un periodo de programación─ pueden comprender los tres principales aspectos de evaluación: la lógica de intervención, la aplicación e impacto del programa. En el caso de una evaluación final se suele poner más énfasis en el impacto y la aplicación (y especialmente en el análisis de los resultados e impacto), y en el caso de la evaluación intermedia se suelen centrar más los esfuerzos en la aplicación y gestión del programa pues se trata de un momento donde todavía se puede cambiar su rumbo.

    El estudio de la lógica de intervención es posible gracias a la estructura misma de los programas, una estructuración en medidas que puede ser asimilada por una estructuración en objetivos, que se encuentran directamente vinculados al diagnóstico que orientó la realización del programa. La evaluación de esta primera etapa debe dar respuesta a la pregunta de si la programación ha sido adecuada y estaba orientada correctamente. Para ello hay que analizar la pertinencia, coherencia y claridad del programa, con el fin de averiguar si la estrategia seguida era en principio oportuna. En definitiva comprobar la lógica de intervención: el correcto planteamiento de la actuación.

    contenido de los ejerciciosContenido de los ejercicios especiales de evaluación dentro de un sistema de S&E

    El diagnóstico realizado en la etapa de diseño lleva a una apreciación de problemas y necesidades y a la definición de unos objetivos. Los objetivos definidos de esta manera tratan de alcanzarse después con la aplicación y gestión de una serie de recursos humanos y financieros. La evaluación debe responder a la pregunta de si se ha cumplido la programación prevista con una gestión adecuada: pregunta que realmente englobaba dos, por un lado está el estudio de las realizaciones materiales y por otro el análisis de la gestión. Se trata de verificar si se ha respetado efectivamente el proceso de programación y de aplicación del programa. Es necesario recorrer las diferentes cadenas que vinculan los objetivos con las medidas, verificando si lo que se ha realizado corresponde a lo que se pronosticó en la programación. En definitiva una evaluación de la puesta en funcionamiento y gestión.

    En un proceso de feedback, la respuesta a la segunda pregunta aporta nuevos datos para responder la primera y reorientar tal vez su respuesta o matizarla de alguna manera. Primeramente se elabora un acercamiento teórico para ver si la programación es adecuada. Una vez el programa ha pasado a su aplicación se confronta esta visión teórica con los resultados prácticos. Las conclusiones de ambas preguntas se han de retroalimentar mutuamente para activar un proceso de aprendizaje.

    El estudio del impacto se ha de centrar muy bien especificando qué impactos tratamos de descubrir. Unas pocas preguntas bien formuladas han de bastar para centrar el estudio del impacto. Normalmente estas preguntas están muy relacionados con los aspectos específicos del programa que evaluamos: aquellos aspectos que dan respuesta a los principales objetivos de la intervención. El análisis de cada pregunta se centra en primer lugar en el estudio de cómo ha funcionado ese aspecto concreto del programa para pasar luego al estudio de cómo estos resultados han contribuido a un impacto global. Pues el estudio del impacto suele finalizar con un enfoque global con preguntas del tipo: ¿Ha conseguido el programa generar un desarrollo sostenible, interno y local gracias a sus propios recursos? En este caso la pregunta trata de detectar el desarrollo generado en la zona y analizar si este es sostenible, es decir, capaz de reproducirse por sí mismo a nivel económico, financiero, social y cultural. También se busca analizar si ese desarrollo se basa en los recursos propios de la zona.

    Estas son las líneas generales, pero el contenido de un ejercicio de evaluación no es algo fijo. Depende no sólo del tipo de evaluación como hemos visto, también depende de la orientación que se le quiera dar y los objetivos que busquemos con ella (evaluaciones temáticas, nivel de análisis…). Es por ello necesario formular preguntas clave que fijen el contenido de una evaluación concreta en unas circunstancias determinadas.

    By
  • El estudio de la lógica de intervención en la evaluación de los programas

    En los ejercicios especiales de evaluación se ha de estudiar la lógica de intervención y hacer una reconstrucción de la cadena de relaciones que conduce de las medidas a los resultados más inmediatos y al impacto más a largo plazo del programa y esquematizarla de una manera sencilla. No se trata únicamente de describir el programa sino de determinar las relaciones existentes entre los objetivos que se persiguen con la intervención, las medidas aplicadas para alcanzar dichos objetivos y los resultados obtenidos. Se trata de realizar un análisis crítico que permita dar respuesta a la pregunta de cómo las medidas contribuyen al logro de los objetivos.

    Para responder a la primera pregunta sobre lo adecuado de la programación planteada es necesario reconstruir la estructura del programa. Esta estructura debe existir puesto que ha servido de base para la construcción del programa. Sin embargo, muchas veces no está bien definida y faltan pasos intermedios que conviene clarificar. En estos casos, es necesario precisar los objetivos del programa en sus diferentes niveles. Esto se hace en general identificando los grupos de acciones concretas que persiguen una meta análoga. Se define esta meta y se expresa en términos de objetivo determinando en que se desea modificar la situación de referencia.

    Una vez tenemos la estructura del programa se realiza el análisis de su lógica de intervención. Este análisis debe haber sido realizado en la programación a la vez que revisado en las primeras etapas de evaluación (evaluación previa) y corroborado en etapas posteriores. Por tanto no debe ser necesario más que un pequeño análisis crítico que permita dar respuesta a los criterios de evaluación de pertinencia y coherencia.

     

    Pertinencia

    En el caso de una evaluación de fase intermedia, el equipo de evaluación debe examinar hasta qué punto están evolucionando las necesidades socio económicas y los problemas de desarrollo, si empeoran o mejoran, e intentar explicar por qué. El objetivo es examinar si la estrategia establecida mantiene su pertinencia en vista de las nuevas circunstancias que puedan darse. En caso de no ser así la evaluación intermedia debe permitir adecuar el programa al nuevo contexto territorial.

    El objeto de este cuestionamiento en la evaluación final es sobre todo el de conocer si el programa bajo estudio es el medio para resolver los problemas que se están abordando, o por el contrario debe apostarse por otras vías de solución.

    Una buena herramienta para analizar este criterio es la realización de una matriz donde se crucen las matrices DAFO con los objetivos del programa que se estén desarrollando. De este modo se evalúan si quedan cubiertas las principales debilidades, amenazas, fortalezas y oportunidades con los objetivos propuestos.

     

    Claridad y coherencia de los objetivos: Coordinación con otros programas

    Es importante la reconstrucción de los objetivos que realmente se han seguido si éstos no coincidieran con los inicialmente planteados. Esto nos debe servir para estudiar su coherencia interna y la claridad con que fueron definidos.

    En el caso de la coherencia externa, el principal riesgo es la aparición, a medio camino, de otras intervenciones que duplican o contradicen el programa evaluado. Si fuera necesario, la evaluación intermedia debe revisar las políticas similares y estudiar si prolongan, complementan, solapan o contradicen el programa en marcha. Este estudio consiste en entrevistas con los gestores y operadores de programas y con cualquier otra persona en situación de proporcionar información fiable.

    En el caso de la evaluación intermedia la posible detección de estos cambios en las políticas e intervenciones relacionadas con el programa deben llevar a un replanteamiento de la intervención en caso de que se vea necesario. En el caso de la evaluación final el objetivo es el de verificar la efectiva coordinación de la lógica de intervención con el resto de intervenciones a lo largo del programa.

     

    Coherencia interna entre los objetivos y medidas

    La búsqueda de la coherencia interna entre las medidas y los objetivos del programa tendrá una gran importancia en el caso de la evaluación de fase intermedia, cuando el programa aún puede mejorarse. En ese caso, la evaluación debe contribuir al reorientación de las medidas hacia los objetivos en caso de que sea necesario: bien porque los objetivos hayan cambiado, bien porque las medidas no hayan sido correctamente orientadas.

    En la evaluación final el estudio de esta coherencia busca la comprobación de que ésta se haya dado a lo largo de la aplicación del programa. En caso negativo, el estudio debe llevar a comprender las razones de la falta de coherencia detectada y así contribuir al aprendizaje para próximas programaciones.

    La herramienta que se aconseja es la realización de una matriz que enfrente las medidas aplicadas con los objetivos que se persiguen. Esta matriz permite verificar que las medidas cubren todos los objetivos y lo hacen de una manera adecuada.

     

    Calidad del documento de programación

    Así como la evaluación previa vela por el logro de un documento de programación con una calidad adecuada, la evaluación intermedia y sobretodo la final, comprueban que efectivamente se da esa calidad. Las perspectivas son distintas, cuando se realizan estas dos últimas evaluaciones el programa está en marcha o ya ha terminado con lo que ya existe una experiencia práctica del programa. Con ella se detectan posibles desajustes, faltas de claridad, incoherencias… que antes de poner en práctica el programa son difíciles de identificar.

    El objetivo es analizar si los defectos detectados en el documento de programación son justificables por las circunstancias y medios empleados en su momento, o por el contrario responden a una falta de profesionalidad o de buen hacer. Los criterios de calidad que se proponen son los siguientes:

    • Satisfacción de las necesidades: ¿Aporta la evaluación la información suficiente para preparar un plan y se ajusta a las condiciones establecidas?
    • Alcance: ¿Incluye el fundamento del programa y los resultados e impactos esperados?
    • Concepción: ¿La concepción de la evaluación es apropiada para responder a preguntas clave en el momento preciso?
    • Datos: ¿Son adecuados los datos útiles recabados y se tiene suficientemente en cuenta su fiabilidad?
    • Validez del análisis: ¿Se somete la información disponible a los análisis oportunos?
    • Credibilidad de los resultados: ¿Se derivan lógicamente del análisis los resultados y están justificados por el mismo?
    • Imparcialidad de las conclusiones: ¿Son las conclusiones objetivas y operativas y están libres de la influencia de las opiniones de los interesados?
    • Claridad: ¿Está el informe escrito de una forma fácil de comprender?

    By
  • El estudio de la aplicación y gestión en la evaluación de los programas

    Cuando un programa ofrece incentivos a los agentes económicos para llevar a cabo determinadas actuaciones, la evaluación conlleva interesarse por la adecuación de la difusión (grado de conocimiento, idoneidad de los canales empleados, calidad de la información transmitida,…), de los trámites necesarios para acceder a las ayudas, de los requerimientos, de la asistencia técnica prestada, etc. y en definitiva cómo se ha aplicado y gestionado el programa.

     

    Análisis de la aplicación del programa

    Para responder a la pregunta sobre el cumplimiento de la programación prevista se han de examinar las medidas y verificar si éstas se han desarrollado y según qué modalidades. Sólo a este nivel se puede apreciar la conformidad en términos de «volumen» o de objetivos físicos de las medidas previstas. Se debe analizar cada medida del programa, por una parte, con relación al eje en el que se sitúe (análisis en su contexto) y, por otra, en relación con un cierto número de criterios de desarrollo provenientes de experiencias anteriores y difundidos ampliamente.

    En los ejercicios especiales de evaluación a mitad o final del programa, se puede ir mucho más allá y examinar los detalles de las medidas administrativas, la distribución de responsabilidades entre gestores y operadores, los documentos de ejecución entregados a los operadores, los criterios de selección de proyectos, etc.

     

    Análisis económico y financiero

    En el trabajo de evaluación, son particularmente relevantes tres clases de análisis económico y financiero. Estos son la viabilidad financiera, el análisis coste-beneficio y el análisis coste-eficacia.

    • La viabilidad financiera es normalmente muy simple, ya nos encontremos en actividades de producción o de desarrollo social. Se trata de estimar los costes reales en relación con los recursos financieros que están o estarán disponibles a lo largo del tiempo. Situarse estrictamente en el nivel financiero permite determinar la factibilidad financiera de las actuaciones, su autonomía en relación con la factibilidad económica. La estructura de la financiación (importancia relativa de la autofinanciación, de los empréstitos y de las subvenciones) puede dificultar la factibilidad de la acción en el plano financiero, cuando ésta es factible en el plano económico.
    • El análisis coste-beneficio se utiliza principalmente cuando la utilidad de un programa puede medirse en términos monetarios. Esto puede hacerse en programas con un enfoque puramente productivo; pero es bastante más complicado, si no imposible, cuando se trate de programas que tienen un enfoque social u otro de carácter no productivo. Con el análisis coste-beneficio la pregunta que hay que responder es si el valor de rentabilidad del programa, su beneficio, justifica los costes en los que se incurre.
    • El coste-eficacia puede estimarse después de transcurrido cierto tiempo. Se trata de enfrentar los recursos (costes) del programa con los resultados obtenidos (beneficios) y analizarlos en relación con el número de usuarios, con programas similares en otra parte, etc. para valorar si los resultados son aceptables para la inversión realizada. Aquí el evaluador debe preguntarse si podrían haberse alcanzado resultados similares a un coste menor; por ejemplo, utilizando otros medios o formulando el programa de manera diferente. Debe asimismo considerarse si podrían haberse reducido los costes sin un impacto demasiado negativo sobre los resultados.

    Para obtener los costes basta recurrir a los gastos de las medidas encaminadas al mantenimiento de la administración del programa, su gestión, seguimiento y evaluación. La suma de estos gastos nos da el coste total del programa. El estudio de los beneficios es más complicado. Es necesario recurrir al estudio del impacto y hacer un análisis global que nos lleve a los principales logros del programa. Solución de problemas como el empleo, la contaminación ambiental, la desigualdad entre hombres y mujeres, la dificultad al acceso laboral de los jóvenes, la falta de capital territorial, la falta de iniciativa local… u otros problemas coyunturales formarán parte de estos principales logros. Finalmente, es importante ilustrar este análisis con indicadores cuantitativos como el coste de gestión por proyecto, o por nuevo puesto de trabajo fijo creado… Indicadores que ilustran las magnitudes que se manejan y que constituyen tan sólo un apoyo a todo el análisis realizado.

    Al final de este análisis económico-financiero se conoce el nivel de realización de cada uno de los objetivos operacionales señalando cual ha sido el funcionamiento de cada una de las medidas aplicadas. Nos permite hacer una primera estimación de cómo y porqué las operaciones y acciones han permitido o no alcanzar los objetivos propuestos.

     

    Realizaciones

    Los ejercicios especiales de evaluación comprueban la realización efectiva de la actividad determinando el grado de cumplimiento del programa (retrasos sobre la programación). También estudian el grado de acogida o aceptación y las razones que explican su éxito o fracaso de acogida.

    Estas evaluaciones realizan un análisis de porcentajes de realización según volumen de medios utilizados, del alcance (beneficiarios), plazos y duración prevista con la ayuda de indicadores. Esto permite medir la eficacia del programa en este ámbito más inmediato (efectos directos o inmediatos), examinando, a través del análisis de los indicadores, el grado de consecución de los objetivos más inmediatos propuestos. Este análisis determina la aportación de cada medida aplicada permitiendo formar un juicio sobre la calidad y rendimiento de cada una de ellas.

    Para formular un juicio en relación a estos primeros aspectos específicos y bien delimitados de un programa puede recurrirse al análisis coste-eficacia.

     

    Desviaciones encontradas

    Se ha de terminar con el análisis de las desviaciones encontradas. Se trata de identificar las desviaciones observadas entre los objetivos, por un lado y las medidas por otro, con el fin de determinar las relaciones entre los dos. Toma un papel importante en este caso la participación social para valorar qué agentes han causado la desviación, externos o internos, y de que manera lo han hecho. Se hace necesario responder a la razón de estas desviaciones: las medidas pueden no ser eficientes, pueden no ser pertinentes o coherentes con los objetivos, los objetivos operacionales pueden no ser suficientes para poner en práctica el eje en cuestión… También es importante considerar si las capacidades humanas y materiales movilizadas son las adecuadas y si existe suficiente coordinación institucional para asegurar el buen funcionamiento. Habría que determinar si para la solución de estas desviaciones bastaría con las financiaciones obtenidas o, si al contrario, habría que emprender acciones a una escala mucho más grande.

    Valoración de la gestión y seguimiento

    En la valoración de la gestión y seguimiento se valoran numerosos aspectos tales como la correcta gestión interna del equipo administrador del programa –en cuanto a procedimientos establecidos, criterios de valorización y selección, y requisitos exigidos–; el adecuado control por parte de las instancias superiores al programa –verificaciones iniciales, apoyo técnico, plan de controles e informes realizados–; y la existencia de una correcta coordinación entre las diferentes instituciones implicadas en la gestión a nivel local, regional y demás niveles superiores, así como el grado de autonomía y flexibilidad alcanzados.

     

    Resultados de los controles de aplicación

    Como primer paso conviene analizar los resultados de las verificaciones iniciales y controles realizados por las instituciones implicadas en el programa. En los informes de control deben haberse recogido los resultados sobre el cumplimiento de los procedimientos establecidos, de las normas legales y principios que rigen el programa. Una vez comprobado que estos controles fueron bien realizados, que las comprobaciones se hicieron de la manera idónea y que, en definitiva, su información es fiable, esta información puede utilizarse como punto de partida para la evaluación de la gestión del programa.

    Organización interna y toma de decisiones

    Estos resultados han de complementarse con el estudio de la gestión interna y el sistema de seguimiento (realizaciones y beneficiarios) implementado. Se analiza la comunicación con los beneficiarios potenciales de forma que éstos conozcan los procedimientos para la concesión de las ayudas, los criterios de subvencionabilidad, los requisitos exigibles y la documentación a aportar así como las características generales del programa. Se aborda también el estudio del modelo de toma de decisiones –su estructura y adecuación– los requisitos exigidos a los beneficiarios y los criterios de subvencionabilidad.

    Los ejercicios especiales de evaluación estudian el vínculo entre los criterios de selección de proyectos y los objetivos del programa En ese caso de detección de anomalías, la evaluación debe contribuir a la elección de criterios que sean más acertados a los objetivos que se plantean (sobre todo en el caso de evaluación intermedia). Estos criterios constituyen un factor clave para el éxito del programa, por el tipo de proyecto que se selecciona o por la asignación de prioridades.

     

    Coordinación y retrasos

    La administración interna de un programa nunca es un ente aislado, sino que forma parte de un engranaje administrativo diferente según el país donde nos encontremos. Por ello es importante analizar la coordinación existente entre la administración del programa y el resto de instituciones que de alguna manera están implicadas en el programa, bien en su control, bien en su financiación, bien en su apoyo técnico.

    Es posible que el estudio de esta coordinación detecte fallos que hayan llevado a numerosos retrasos en la aplicación del programa, en la llegada de las ayudas, en la realización de los controles… En estos casos es necesario analizar las causas e intentar facilitar vías de solución para mejorar la coordinación del programa (evaluación intermedia) o bien pensando en futuras programaciones (evaluación final).

    Es importante también el estudio de aspectos como la flexibilidad (aparición de rigideces) y el grado de autonomía alcanzado por la administración interna del programa. En ambos casos valorar si se trata de una flexibilidad y autonomía adecuadas a las circunstancias que se presentan.

    Otro aspecto a estudiar es la existencia en la modulación de gastos, sueldos, viajes, alquiler de locales, teléfono, fax, internet… de forma que no aparezcan gastos y sueldos de programas similares con diferencias difíciles de justificar.

     

    By
  • El estudio de los resultados e impacto en la evaluación de los programas

    En la evaluación previa se realiza un diagnóstico sobre los resultados que se esperan alcanzar con el programa que se implementa. En el sistema de seguimiento se constatan resultados e impactos que se van detectando aunque el primer estudio serio del impacto se realiza con la evaluación intermedia. Pero el único documento donde queda reflejado el impacto del programa a lo largo de su aplicación es el de la evaluación final. Este es muchas veces el aspecto clave en la realización de la evaluación final.

    Conocer los resultados (efectos directos) de un programa supone conocer bien las características de la acción o acciones en las que se ha materializado el programa. Interesan especialmente aquellas características relacionadas con los objetivos del programa, por ejemplo los empleos creados, la población formada o los alojamientos creados. El impacto de una actuación o programa es una de las cuestiones que más interesan de un ejercicio de evaluación. Se ha de establecer de forma relativizada relacionándolo con cifras de población o superficie afectadas por el programa, con objeto de que se pueda comparar con otros programas u otras localidades.

    En este tercer aspecto de evaluación, además de llevar el análisis de la eficacia y eficiencia más allá de las realizaciones puramente materiales, se aborda el estudio de la utilidad y sostenibilidad de los impactos producidos con la intervención, con los que se terminan de abordar los aspectos clave que normalmente deben analizarse en toda evaluación.

    Reconstrucción de la situación de referencia: la situación sin programa

    El análisis de los datos obtenidos se realiza de modo que sea posible efectuar comparaciones y llegar a conclusiones, de tal manera que la evaluación sirva para determinar si los efectos que el programa ha producido son suficientes frente a los objetivos marcados. El primer paso para ello es la reconstrucción de la situación de referencia, el punto de partida antes de la aplicación del programa. A partir de ahí el análisis de los datos nos muestra lo que ha ido ocurriendo, pero cabe siempre la pregunta de qué es lo que se debe realmente al programa evaluado: para ello se puede realizar la hipótesis de lo que hubiese ocurrido si el programa no se hubiese llevado a cabo.

    Esta hipótesis se realiza partiendo de la situación de referencia o hipotética –a menudo es necesario reconstruir la situación de referencia a partir del pasado– y se analiza qué hubiese sucedido sin la intervención, definiéndose habitualmente como «la situación sin programa«. No se trata de la situación inicial sino de la situación que viviría el territorio si el programa no hubiera existido. En el caso de que cierto número de operaciones sean complementarias a otros programas existentes se hace especialmente importante tener esto en cuenta. Se trata de un trabajo costoso y laborioso.

    carne gallinaEl método que se emplea más corrientemente es aquel que consiste en elaborar tendencias a partir del análisis del período anterior a la aplicación del programa. Por supuesto, esto supone que se disponga de indicadores pertinentes, «variables«, es decir un fenómeno que evoluciona en el tiempo y en el espacio. Son los mismos indicadores que permiten caracterizar los objetivos operacionales, pues no son más que una modificación de la situación de referencia (modificación de la tendencia). Por lo tanto, se les caracteriza utilizando las mismas herramientas

    Esta situación puede clarificarse mediante indagaciones sobre el valor añadido de la ayuda, si los promotores hubiesen invertido sin la ayuda. La comparación entre grupos puede también servir para determinar los efectos netos de la ayuda, es decir, lo que cabe atribuir directamente a la ayuda. Para ello, un grupo de beneficiarios se compara con otro grupo similar que no goce de ayuda, tal vez antes y después de la intervención. La comparación de grupos puede servir también para determinar los efectos ajenos a la intervención. A este respecto, la realización de una encuesta entre no beneficiarios puede servir para analizar si determinados proyectos se habrían llevado a cabo aun sin ayuda.

    Ejemplos del estudio de la situación sin programa en la evaluación del POSEICAN Canario realizada desde el Dto. de Proyectos en 1999. En ellos se ve la evolución de las producciones de carne de gallina y ganado ovino de 1985 a 1996 y una estimación (líneas punteadas) de lo que hubiera sucedido si el programa no se hubiese aplicado.Fuente: Elaboración propia a partir de los Datos Estadísticos Agrícolas, Ganaderos y Forestales canarios del Servicio de Estadística de la Consejería de Agricultura, Pesca y Alimentación del Gobierno de Canarias.

    Cualquiera que sea el fenómeno a analizar, siempre conviene elaborar un indicador que permita caracterizar tanto la situación de referencia como el objetivo, aún cuando este último sea decididamente de naturaleza cualitativa.

    Aspectos globales y específicos

    La definición y análisis de los objetivos globales y específicos (aspectos específicos) del programa constituye un punto de referencia fundamental a la hora de analizar el impacto del programa.

    El estudio del impacto se aborda en primer lugar a través de los aspectos específicos del programa y su impacto en la zona de aplicación. El estudio se termina con un enfoque más global que trata de detectar los impactos ya a un nivel más general del programa en su conjunto. Se desarrollan por tanto dos tipos de preguntas de evaluación. Por un lado, preguntas específicas para cada uno de los objetivos específicos del programa (especificidades), por otro, algunas preguntas globales para cada uno de los objetivos globales, y que han de cubrir todo el programa en su conjunto. Las primeras tratarán de detectar cual es el valor añadido que aportan las especificidades del programa, mientras que las últimas analizan el impacto global, la relación existente entre cada una de las especificidades y medidas, así como su aportación al impacto global detectado.

     

    Aspectos específicos

    En un primer paso el estudio del impacto se centra en los impactos específicos, propios de un programa concreto, fundamentados en los aspectos específicos que presenta la intervención. En un segundo paso el estudio se centra en el impacto a un nivel ya más global que nos permita valorar en su conjunto el resultado e impacto del programa.

    Orientadas a analizar el impacto global, las preguntas específicas para la detección de aspectos específicos del programa, aun siendo importantes en sí mismas, hay que responderlas teniendo en cuenta el contexto global. De esta forma responden no sólo al funcionamiento de esa especificidad sino que además ayudan a responder las preguntas sobre el impacto global del programa.

     

    Aspectos globales: Combinación de resultados

    El estudio del impacto global del programa responde a preguntas relacionadas con los logros para la generación de un desarrollo sostenible fundamentado en los propios recursos del territorio, en su capital territorial. Conocer el nivel de desarrollo alcanzado como consecuencia del programa y si éste es de carácter sostenible, analizando el apoyo en los recursos propios de la zona y su capacidad para reproducirse por sí mismo a nivel económico, financiero, social y cultural una vez desaparezcan las ayudas.

    Comprobar si se ha logrado una participación de los agentes sociales y económicos. Analizar la influencia de las características específicas del programa en la consecución de los objetivos fijados inicialmente. También es importante valorar la consecución de un impacto global positivo en temas como los problemas medioambientales, la desigualdad de mujeres y jóvenes, la contribución a la creación de empleo o su conservación, el despoblamiento y envejecimiento de la población… o cualesquiera que sean los problemas más acuciantes del territorio con el que se trabaje.

    La respuesta a estas preguntas globales no sólo deben ofrecer una imagen global del impacto. Debe complementar esta imagen con una visión de la relación entre las diferentes características específicas del programa y entre las diferentes medidas implementadas y la influencia de estos aspectos internos en el impacto generado. También es importante que reflejen el análisis sobre la influencia de los factores externos (incluidas las diligencias administrativas) en el impacto generado.

     

    Examen de las relaciones causa-efecto

    Durante el análisis del impacto se ha de dar importancia al examen de las relaciones causa-efecto entre las acciones y los resultados (efectos inmediatos) y entre éstos y el impacto (efectos a largo plazo) sobre los objetivos. Ante la dificultad de identificar estar relaciones se hace especialmente importante la participación social en la reconstrucción de las cadenas de causalidad.

    evaluación de los resultadosEvaluación de los resultados e impacto en los ejercicios especiales de evaluación

    Es bueno que durante el análisis del impacto se aplique la combinación de enfoques top-down y bottom-up de forma que se vayan realizando aproximaciones sucesivas a lo que realmente constituye el impacto del programa. Estas aproximaciones surgen del contraste de informaciones. Contraste de la información agregada obtenida con una perspectiva global por el enfoque descendente con la información deducida del enfoque ascendente por agregación. Contraste de la información detallada del enfoque ascendente con la deducida del enfoque descendente por desagregación. Para la agregación y desagregación de información se hace necesaria la participación social de forma que éstas se hagan con el mayor grado de corrección posible.

    Cuando del contraste de información surgen desavenencias que hay que interpretar, corregir, reorientar… también se debe contar con la participación social puesto que la población local es muchas veces la que mejor puede interpretar y buscar una solución a estos resultados.

    By
  • Decidir el contenido de una evaluación a través de preguntas clave

    Al diseñar y elaborar una evaluación comenzamos con la necesidad de determinar el nivel de análisis con que se van a abordar –junto con el cuidado de la homogeneidad para la comparación de resultados y organización de los flujos de información– y terminamos con la elaboración del documento final. Por el camino hemos de definir el contenido de la evaluación (por ejemplo a través de preguntas clave) y el modo de tratar cada uno de esos contenidos.

    Toda evaluación comienza con el estudio del programa que se va a evaluar, de su contexto y política que lo enmarca. Este estudio permite comprender lo que se puede esperar del trabajo de evaluación que se va a llevar a cabo. A partir de entonces, se pueden definir las necesidades de información y comenzar a trabajar.

     

    Definir el contenido de evaluación a través de preguntas clave

    Decidido el nivel de análisis (local, regional, nacional o internacional) con el que se va a trabajar, es necesario realizar las evaluaciones de forma que pueda agregarse su información con otros trabajos de evaluación realizados bajo el mismo modelo. Un modo sencillo de conseguirlo lo constituyen las preguntas clave de evaluación. Junto a ellas se encuentra un conjunto de indicadores clave que se ha de definir representando parte de las respuestas y conclusiones a las que llega la evaluación.

    El tratamiento de cada una de las preguntas clave –y en especial la respuesta, conclusiones y recomendaciones– ha de dar respuestas cualitativas concisas acompañadas de indicadores clave que permiten una agregación cómoda y sencilla. Es claro que la agregación a niveles superiores necesita de datos y métodos cuantitativos que faciliten esta agregación. Sin embargo no son suficientes y han de ir acompañados de datos y comentarios cualitativos que impidan que la información cuantitativa se desvirtúe en su flujo hacia niveles superiores.

    La experiencia adquirida nos muestra que el fracaso que se obtiene en el campo de la evaluación es muchas veces consecuencia de no comprender y definir adecuadamente que se busca con una determinada evaluación. Para evitar esta primera desorientación, es interesante tener como guía la formulación de una serie de preguntas clave de evaluación, elaboradas específicamente para cada actuación de manera que permitan determinar cual es el objetivo y utilidad esperada de la evaluación que se emprende.

    La definición de estas preguntas presupone un proceso previo de estructuración y es conveniente que vengan formuladas en los términos de referencia de la evaluación, con lo que desde el principio el cliente que encarga la evaluación deja claro que es lo que desea saber de la actuación que se puso en marcha.

    Si es así, han de venir definidas de tal manera que al evaluador le ha de quedar claro que se espera de la evaluación y que aspectos son los que se han de tratar, pues como venimos viendo son muchos los aspectos que de un mismo programa podemos evaluar. Pero en muchos casos estas preguntas no vienen definidas y es el mismo evaluador el que ha de determinar un conjunto de preguntas clave que le permitan, a través de una metodología de respuesta, recoger adecuadamente la realidad del programa.

    Las preguntas han de centrarse en los aspectos esenciales del programa sin descuidar con ello aspectos tradicionales como la importancia de las diferentes medidas previstas en el programa, el volumen de la financiación… Esto supone que, salvo en casos excepcionales, el modelo puede concentrarse en aquellas preguntas que respondan realmente a los aspectos clave y específicos del programa sin olvidar de tratar aspectos más generales. Esa especial dedicación no debe, de ningún modo, mermar el alcance y calidad de la evaluación.

    En el caso de programas con un amplio ámbito de aplicación es especialmente delicado delimitar el interés de las preguntas. Por regla general, consideramos que se ha de hacer lo posible por no limitarlo a los beneficiarios del programa, sino que se ha de extender a los diferentes ámbitos administrativos que impliquen al programa (sectorial, regional, nacional, …). De este modo se garantiza la determinación de los resultados del programa en los diferentes niveles de intervención, aunque todo depende de cuales sean los objetivos de la evaluación que se está llevando a cabo. En definitiva se trata de establecer qué puedo evaluar para luego determinar qué quiero evaluar.

     

    Tratamiento de cada pregunta: metodología de respuesta

    En un modelo de evaluación basado en un conjunto de preguntas clave, es fundamental contar con una buena metodología de respuesta que permita tratar adecuadamente las cuestiones planteadas y sacar todo el provecho posible de cada una de ellas. Se establecen así para cada pregunta un conjunto de criterios e indicadores adaptados al programa, que permiten recopilar de forma coherente la información obtenida y evaluar los resultados conseguidos. También facilitan la agregación y comparación de los resultados.

    Es recomendable aportar, en la medida de lo posible respuestas cuantitativas a las preguntas de evaluación, usando los indicadores apropiados. En cualquier caso siempre es necesario proporcionar una respuesta cualitativa bien justificada. Los pasos a seguir para el tratamiento de cada pregunta una vez formulada se señalan a continuación.

     

    Finalidad y comprensión de la pregunta

    Explicación de la pregunta haciendo una pequeña descripción de lo que se busca con ella. Es un punto donde se matiza, dentro de la amplitud de cada pregunta, lo que se va a estudiar en concreto y los aspectos en que se hará más hincapié. También se centra la aportación de la respuesta al contexto global de la evaluación y se da razón de su importancia para la evaluación.

     

    Criterios para la evaluación

    En este punto se especifican los criterios que ayudan a formular un juicio de valor sobre el éxito de los objetivos planteados a la vista de los resultados arrojados por los indicadores y demás información obtenida. Se trata de constatar los aspectos en los que nos vamos a fijar y el grado de exigencia con el que vamos a medirlos, para dar una respuesta a la pregunta.

    El criterio sirve para evaluar el éxito de la ayuda examinada, al poner en relación el indicador con el resultado o impacto previsto. Dentro del criterio podemos distinguir lo que propiamente se llama criterio (aumento, disminución…) y el llamado nivel de objetivo, esto es, el nivel que ha de alcanzarse para satisfacer el criterio y concluir que se ha tenido éxito. Habitualmente, ese nivel se corresponderá con un objetivo cuantificado. Esta división es conveniente desde el momento en que los programas se crean en muchos casos para el logro de objetivos específicos de carácter regional, local o sectorial, en el marco de los objetivos fijados en una legislación más amplia. Por ello, para un determinado criterio puede ser necesario fijar diferentes niveles de objetivo en diversos programas.

    El nivel de objetivo buscado (los niveles a los que el programa aspira) puede definirse en relación con un punto o línea básica de referencia, que normalmente será la situación de los beneficiarios al iniciarse el programa aunque puede venir dado por normas existentes o por el conocimiento de cuál es la mejor práctica en el sector, lo que se habrá determinado, por ejemplo, en la evaluación posterior de un programa anterior.

    En la medida de lo posible es importante huir de una formulación genérica del nivel de objetivo dando simplemente una línea básica con un punto de referencia. Atendiendo a las características del programa y a las circunstancias locales hay que delimitarlo con mayor precisión.

    Los niveles de objetivo buscados tendrían que venir expresados en el documento de programación a través de la evaluación previa. Pero no siempre el equipo evaluador se encuentra en esta situación. En muchas ocasiones no están definidos y es necesario hacerlo. Para ello se puede acudir a un nivel de objetivo expresado en forma más bien genérica dando una línea básica con un punto de referencia. En estos casos, corresponde al equipo evaluador, cuando proceda y atendiendo a las características del programa o a las circunstancias locales, delimitar el objetivo con mayor precisión.

     

    Análisis para la respuesta

    Se realiza aquí el análisis de toda la información obtenida para lograr una respuesta a la pregunta planteada lo más precisa posible. Son varias las tareas a realizar dependiendo de cada caso. Tras la recopilación y análisis de los datos y la posible necesidad de tener que reconstruir la situación de referencia es necesario tratar de definir algunos indicadores que permitan extraer algunas conclusiones y así responder a la pregunta.

    Las preguntas pueden referirse a la eficacia, la eficiencia, la utilidad, etc., lo que hay que tener presente a la hora de recopilar información. Al mismo tiempo, para evaluar los efectos netos y lograr así que los resultados de la evaluación sean más fiables es necesario tener en cuenta factores exógenos, el efecto de desplazamiento, etc.

    Una vez recopilados los datos, se efectúa la evaluación, analizándolos y determinando los efectos del programa concernientes a la pregunta que se esté respondiendo. Para analizar los datos y llegar a conclusiones que permitan formular un juicio, se pueden utilizar diversos instrumentos. La elección del instrumento depende del tipo de programa evaluado, su complejidad o el tipo de información que se busque. Así, por ejemplo, para formular un juicio en relación con aspectos específicos y bien delimitados del programa como son las realizaciones materiales, se puede recurrir al análisis coste-eficacia. En el caso de aspectos más complejos es más apropiada una técnica multicriterio.

     

    Análisis de efectos

    En algunos casos, deben analizarse los efectos de sustitución y de desplazamiento. Las entrevistas son útiles para determinar estos efectos. Posteriormente, puede determinarse el efecto neto del programa deduciendo del efecto bruto los efectos ajenos a la intervención, el efecto de sustitución y el de desplazamiento. Cuando proceda, deben analizarse también los efectos imprevistos, incluidos los negativos, y la influencia de factores exógenos significativos.

    Con el fin de apreciar los efectos de complementariedad y de sinergia, hay que analizar la relación con otros programas y/o entre diversas medidas de un mismo programa. Distintas medidas o programas pueden generar un mismo impacto o reforzarse mutuamente.

    También ha de plantearse el problema de los objetivos explícitos y de los objetivos implícitos, los primeros representan lo que se ha programado, anunciado y por ende, lo que debería llevarse a cabo normalmente. Los objetivos implícitos, por el contrario, corresponden a aquello que los agentes esperan del programa. Los agentes dominantes procuran, necesariamente, reorientar implícitamente el programa, en el sentido de sus propios intereses.

     

    Obtención de indicadores

    Es importante concluir el análisis con la búsqueda de indicadores que mejor recojan el análisis de la información realizado y preparen la respuesta a la pregunta. Como norma general, se eligen indicadores que puedan medir los progresos en la consecución de los objetivos del programa. Los indicadores relacionan las medidas implementadas con los resultados e impactos del programa. Sea cuál sea la fase de aplicación del programa, los indicadores se refieren a una realización, un resultado o un determinado impacto.

    Así como una misma pregunta puede contener varios criterios, también puede tener varios indicadores. Los indicadores se cuantifican a través de los sistemas de seguimiento o basándose en los datos recogidos ex profeso para la evaluación. En principio deben referirse al mismo ámbito geográfico que el programa de desarrollo. Sin embargo se debe contemplar la posibilidad de que algunas medidas no sean aplicadas en la totalidad de la zona abarcada por el programa, o que persigan objetivos específicos adaptados a la zona cubierta.

    Los indicadores son importantes para llegar a conocer los hechos, pero, a menudo, ni abarcan en su totalidad ni explican las causas que motivan esos hechos. Por tanto, deben ser considerados instrumentos que ayudan a responder a las preguntas de evaluación, pero no constituyen la respuesta completa. En la búsqueda de la respuesta se recomienda acudir a otras fuentes de información diferentes de los indicadores, tales como evaluaciones anteriores, estudios o investigaciones y en general cualquier tipo de información cualitativa.

    Se deben elegir indicadores que puedan ofrecer información útil con relación a la lógica de intervención del programa, de manera que puedan utilizarse en las diferentes fases de la lógica de intervención. Dependiendo de cuál sea el nivel de evaluación tendremos: indicadores de realizaciones cuando se evalúan las realizaciones, de resultados cuando se evalúan los resultados y de impacto cuando se evalúe el impacto. Es importante apreciar también la interrelación existente entre los elementos de la lógica de intervención y detectar cuando una determinada realización puede producir varios impactos a la vez.

    Es importante no perderse en interminables baterías de indicadores y concentrarse en los indicadores más significativos potencialmente. No es necesario definir demasiados indicadores, un buen sistema de indicadores deberá limitarse a los más pertinentes.

     

    Respuesta: Conclusiones y recomendaciones

    Basándose en toda la información recogida y analizada, tanto cuantitativa como cualitativa, se da una respuesta concisa fundamentada en los apartados anteriores. Como la evaluación es considerada esencialmente un análisis de lo que se ha hecho, estas respuestas deben permitir saber como ocurrieron las cosas y por qué.

    Por otro lado se considera que la evaluación ha de estudiar especialmente los impactos logrados tanto a corto como a largo plazo, deteniéndose en los aspectos sociales, culturales, medioambientales… según corresponda a la pregunta en cuestión. Además se han de considerar aspectos como la utilidad y sostenibilidad de los impactos conseguidos, para sacar finalmente unas conclusiones y recomendaciones.

    Evaluar para reprogramar de otra manera, este es considerado un objetivo de la evaluación. De aquí la idea de sustituir una programación que se ocupa de los programas uno tras otro, teniendo cuidado de comenzar el siguiente sólo cuando se ha terminado con el anterior. Esta procede por evaluaciones continuas, lo que le permite modificar permanentemente las intervenciones y la estructuración de las mismas. De esta manera se crea un proceso que pasaría por las siguientes secuencias: evaluación en curso, nueva elaboración, nueva programación, ejecución, evaluación, etc.

    En la búsqueda de la respuesta se recomienda acudir a indicadores y contrastar su información con comentarios de tipo cualitativo. Todas las recomendaciones y conclusiones que se hagan han de venir justificadas por esta información y han de expresarse de manera clara y sencilla.

    Limitaciones de la respuesta

    Indicar aquí las posibles limitaciones de la respuesta dada en el apartado anterior, de manera que ésta se pueda valorar adecuadamente. Como limitaciones se pueden entender informaciones que hubieran sido valiosas pero no pudieron conseguirse, la relativa fiabilidad de algunos datos, la imposibilidad de resolver determinadas situaciones, la poca colaboración obtenida, la mala programación realizada con anterioridad… y en definitiva todo lo que constituya un obstáculo a la buena realización de la evaluación.

    By
  • Redacción de documentos de evaluación

    Los informes de evaluación constituyen el principal flujo de información del programa hacia su exterior y han de suponer el resultado de todos los trabajos de seguimiento y evaluación realizados sobre un determinado programa hasta la fecha en que se está evaluando. Es cierto que están los informes de seguimiento y control pero ninguno de ellos tiene la profundidad y alcance de un ejercicio especial de evaluación. Es por ello que, junto con el informe de programación, son los documentos de elaboración más cuidada. Los resultados de la evaluación deben ser presentados de modo que puedan ser entendidos y utilizados.

    En muchas ocasiones las evaluaciones trascienden el nivel de análisis de un simple proyecto o programa y pasan a formar parte normalmente de ejercicios de evaluación realizados a otros niveles como planes regionales, nacionales… y por ello es necesaria su homogeneidad. Homogeneidad que no es sólo de metodología y análisis sino que también de redacción, contenido y estructura de los informes.

     

    Estructura de los informes de evaluación

    Con la mente puesta en estos casos, la estructura de los informes de evaluación debe ser tal que garantice el tratamiento de todos los aspectos esenciales y unos resultados comparables que permita su síntesis. La estructura puede consistir en un resumen, un informe principal y unos anejos. El conjunto, y desglosando el contenido del informe principal se debe contar con:

    • Resumen: Con un máximo de 10 páginas, una breve descripción del trabajo realizado, la metodología aplicada y una síntesis de las conclusiones y recomendaciones del estudio, en forma de respuestas a las preguntas de evaluación.
    • Introducción: Incluye una descripción del contexto del programa, características de la aplicación y finalidad de la evaluación.
    • Explicación del enfoque metodológico: descripción de la concepción y análisis, recopilación de datos y fuentes utilizadas, así como la fiabilidad de los datos y las conclusiones.
    • Presentación y análisis de la información recopilada: información financiera y realizaciones, información sobre los beneficiarios utilizada, respuestas a las preguntas comunes, constataciones en relación con las preguntas específicas del programa, etc.
    • Conclusiones y recomendaciones en relación con los objetivos de las políticas implementadas, los objetivos específicos del programa, la eficacia, eficiencia, utilidad y sostenibilidad de los resultados.
    • Anexos.

     

    Calidad de los informes de evaluación

    Los informes de evaluación deben tener una calidad adecuada. Para ello podemos analizar el cumplimiento de los siguientes criterios extraídos del volumen I de la colección MEANS (Comisión de la UE, 1999):

    • Satisfacción de necesidades: ¿Satisface apropiadamente la evaluación las necesidades de información? ¿se ajusta al pliego de condiciones?
    • Alcance pertinente: ¿Se analiza plenamente la motivación del programa, sus realizaciones, resultados e impacto, incluida la interacción entre las diversas medidas y sus consecuencias, previstas o imprevistas?
    • Concepción adecuada: ¿Está concebida la evaluación de forma apropiada para garantizar que queden recogidas la totalidad de las constataciones, así como las limitaciones metodológicas, para responder a las preguntas de evaluación?
    • Datos fiables: ¿En qué medida los datos primarios y secundarios recopilados o seleccionados son apropiados, esto es, ofrecen un grado de fiabilidad adecuado para el uso a que se destinan?
    • Análisis sólido: ¿Se analiza la información cuantitativa y cualitativa apropiada y sistemáticamente, conforme a las técnicas más avanzadas, de modo que sea posible responder a las preguntas de evaluación de forma válida?
    • Constataciones fiables: ¿Las constataciones hechas son la consecuencia lógica de un análisis de datos y una interpretación, basados en hipótesis racionales y cuidadosamente descritas, que constituyen su justificación?
    • Conclusiones imparciales: ¿Son las recomendaciones justas, sin que en ellas se interfieran opiniones personales o intereses particulares, y lo suficientemente detalladas, de manera que puedan ponerse en práctica?
    • Informe claro: ¿Se describe claramente el programa evaluado, incluidos el contexto y finalidad del mismo, así como los procedimientos y constataciones de la evaluación, de modo que la información aportada pueda comprenderse fácilmente?

     

    Informe principal

    El informe principal ha de contener los aspectos esenciales que describen el programa que se evalúa, la metodología empleada y los resultados de la evaluación realizada: sus conclusiones y recomendaciones.

    La descripción del programa ha de abarcar de modo breve la descripción del programa ─estrategias, medidas, objetivos, modos de gestión y financiación─ y su contexto. Dentro de este contexto, hacer un escueto repaso del contexto territorial (el capital con el que cuenta el territorio), del contexto legal e institucional. Esta descripción enmarca la evaluación y facilita la interpretación de los resultados en el caso de una persona ajena al territorio. Se proporciona así una herramienta para comprender mejor las circunstancias que rodean la intervención.

    La descripción de la metodología empleada debe ceñirse a lo escuetamente necesario para comprender los pasos seguidos con la evaluación. Marco legal de referencia, aspectos principales que se evalúan, definición de preguntas clave de evaluación, metodología de respuesta, nivel de análisis escogido y fuentes de información. Se trata de introducir lo que constituye el grueso del documento: los resultados de la evaluación llevada a cabo. Una vez familiarizado con la metodología empleada la lectura de este tercer bloque ha de resultar más fácil y comprensible.

    Los resultados de la evaluación realizada pueden comenzar con un repaso de las actividades de control, seguimiento y evaluación desarrolladas hasta la fecha. Las conclusiones de este repaso nos llevan a la descripción de los resultados obtenidos. Primero con respecto al planteamiento y lógica de intervención respondiendo a la pregunta sobre si la programación ha sido la adecuada: finalidad, criterio, análisis, respuesta y limitaciones a la respuesta.

    El segundo bloque los constituye la aplicación del programa y su gestión respondiendo a la pregunta de si se ha seguido la programación prevista y de si esto se consiguió con una gestión adecuada: finalidad, criterio, análisis, respuesta y limitaciones a la respuesta.

    El tercer bloque resume las respuestas a las preguntas sobre los resultados e impacto del programa. Comenzando con las preguntas específicas el bloque termina con el análisis de las preguntas globales. Todas las preguntas estructuradas por su finalidad, criterio, análisis, respuesta y limitaciones encontradas.

    El documento debe finalizar con una serie de conclusiones y recomendaciones que extraigan todo el aprendizaje que se pueda concluir tras la realización de la evaluación. Esto facilita el aprendizaje de quién se propone la mejora del programa evaluado (evaluación intermedia) o la mejora de una posterior programación (evaluación final).

     

    Resumen

    El informe principal ha de estar acompañado por un breve resumen con los datos básicos sobre el programa, la metodología de evaluación y sobre todo, sobre los resultados de la evaluación: conclusiones y resultados. El resumen facilitará la difusión de estas conclusiones y recomendaciones y posibilitará su puesta en práctica así como su difusión a todas las instituciones implicadas en el programa. También resulta fundamental para la agregación de resultados en posibles evaluaciones a niveles superiores de análisis.

     

    Anejos

    El informe principal también ha de ir acompañado de una serie de anejos. La función de estos anejos es la de descargar al informe principal de información que no es básica y se facilite así su lectura. Tablas de datos, información excesivamente desagregada o especializada, encuestas realizadas, datos financieros, explicaciones más detalladas de algunos aspectos… Es información valiosa pero su inclusión en el informe principal dificultaría su lectura más que ilustrar los resultados obtenidos. Cualquier persona interesada en profundizar en algún aspecto concreto de la evaluación puede acudir a los anejos y encontrarla allí.

    Pueden incluirse anejos que describan con mayor precisión y especialización la metodología empleada, la participación social realizada o la gestión interna de los programas. Otros anejos pueden condensar toda la información obtenida, fuentes y datos estadísticos, datos financieros del programa, fuentes documentales e informáticas consultadas. Otros pueden tratar con más extensión los informes y controles realizados con anterioridad al programa o desarrollar con más extensión toda la normativa aplicable.

     

    Referencias citadas:

    COMISIÓN DE LA UNIÓN EUROPEA (1999). The MEANS collection: Evaluating socio-economic programes. From the programme entitled MEANS: Means for Evaluating Actions of a Structural Nature. Directorate General XVI for Regional Policy and Cohesion. Office for Official Publications of the European Communities. Luxembourg.

     

    By
  • De los términos de referencia al diseño de tu evaluación

    El diseño de una evaluación implica establecer un plan temporal que guíe los plazos a seguir, definir unos contenidos de evaluación que reflejen los temas críticos a evaluar, especificar unos recursos económicos y de personal con los que se va a contar, y establecer los enfoques metodológicos y herramientas que van a utilizarse en la evaluación.

    diseño de evaluaciónEn los términos de referencia de una evaluación han de especificarse los tiempos para el diseño del plan temporal, los contenidos de evaluación, los recursos con los que se cuenta, y al menos indicaciones y sugerencias sobre los enfoques metodológicos y herramientas de evaluación que han de utilizarse.

    By
  • Conceptos y definiciones relacionados con el diseño de una evaluación

    DEFINICIOENS

    Los evaluadores y equipos de evaluación suelen utilizar varios términos para describir sus instrumentos o modos de proceder: técnicas, herramientas, procedimientos, métodos, diseños… En este proyecto docente se adoptan una serie de definiciones para poder desarrollar con claridad este tema. Tres son los términos considerados básicos a definir: herramienta, método y metodología.

     

    Herramienta (Tool, Outil)

    Procedimiento estándar utilizado para cumplir una función de la evaluación. El término herramienta se emplea en el caso de aplicación de un tratamiento estándar que puede ser aplicado a cualquier evaluación que requiera dicho tratamiento. Es el caso de los cuestionarios de las encuestas para recoger opiniones o los análisis de coste-eficacia para calcular los fondos públicos empleados en la obtención de un determinado efecto. El término de técnica (technique, technique) es considerado un sinónimo.

    Las herramientas de evaluación sirven para recoger datos cuantitativos o cualitativos, sintetizar criterios de juicio, explicar objetivos, estimar impactos, etc. Una herramienta tiene un nombre específico, está descrito en un manual, y puede enseñarse. Su uso puede ser libre, o puede implicar el pago de una tasa si la herramienta está protegida por una marca registrada. La evaluación puede utilizar una o más herramientas.

     

    Método (Method, Méthode)

    Plan completo del trabajo del equipo de evaluación. Un método es un procedimiento ad hoc, construido especialmente en un contexto determinado para contestar una o más preguntas de evaluación. Algunos métodos de evaluación son de baja complejidad técnica, mientras que otros conllevan el uso de varias herramientas encadenadas en un diseño predeterminado. Esta definición convierte el término método en sinónimo de diseño (design), modelo (model), procedimiento (procedure)… de manera que se refieren a un determinado método y al espíritu en el cual este método ha sido creado.

    El método diseñado para llevar a cabo una determinada evaluación puede siempre dividirse en varios pasos. Cada uno de estos pasos consiste en una tarea y da cumplimiento a una función elemental. En la mayoría de las evaluaciones podemos encontrar las mismas funciones elementales.

     

    Metodología (Methodology, Méthodologie)

    En el sentido estricto, es la ciencia de la construcción de métodos de evaluación. Sin embargo, el diseño técnico de una evaluación es más una cuestión de conocimientos y experiencia especializados que un procedimiento puramente científico. En la práctica, el término metodología se emplea a menudo para significar método, definido anteriormente.

     

    Diseño de evaluación (Evaluation design, Protocole d’evaluation)

    Plan completo del trabajo del equipo de evaluación. A veces se utiliza para referirse a la parte técnica del plan de evaluación. Se trata de los parámetros que definen una evaluación y cómo esta se va a realizar, incluyendo: plan temporal (etapas), los temas críticos a tratar (contenidos), recursos (presupuesto, personal), metodología general, y herramientas.

     

    Protocolo de evaluación (Evaluation design, Protocole d’evaluation)

    Parte técnica del plan de evaluación, diseñada para la colección y análisis de datos.

     

    Sesgo (Slanting, Tendance)

    El grado hasta el cual un intento de medición o un método subestima o sobreestima sistemáticamente un valor.

    By
Ir a la barra de herramientas