-
Encuesta
in ObservaciónFase evaluación: Observación
Tipo evaluación: Global/ Específica
Evaluación participativa: No
Grado complejidad: Alto
Otros Nombres:
Bibliografía Recomendada
Descripción
Un conjunto de preguntas estructuradas destinadas a una muestra de personas o de manera exhaustiva cubriendo toda la población, para recoger opiniones. Las preguntas pueden ser abiertas (el entrevistado es libre de formular sus respuestas como quiera, más complejas de analizar) cuando no tienes muy claro lo que quieres observar, cerradas (tiene que elegir entre enunciados predefinidos o descriptores), semiabiertas (cerrada con la opción otros…) Si la mayoría son cerradas puede utilizarse para recoger datos cuantitativos y para alimentar indicadores. Puede realizarse por correo, teléfono, correo electrónico o en una entrevista personal. Su ventaja es que produce resultados aplicables a toda la población directamente si es exhaustiva o por extrapolación de la muestra.
Pasos a seguir
- Diseño de cuestionarios: claridad (no hay entrevistador enfrente), coherencia, formulación neutral de preguntas, triangulación (cuestiones similares para definir los límites de una respuesta con riesgo de sesgo).
- Diseño de la muestra: Constituye un modelo de toda la población (dividir por grupos y coger de todos). El tamaño (al menos 400) dependerá de la precisión (para doblar la precisión hay que multiplicar el nº de cuestionarios por cuatro) y la heterogeneidad de las respuestas.
- Pre-test: Antes de lanzar la versión final.
- Administración del cuestionario: Porcentaje de respuesta varía con el medio usado.
- Codificación de respuestas: Con ayuda de la informática.
- Interpretación y diseminación de resultados: Resultados, limitaciones…
-
Análisis de regresión
in Análisis
Fase evaluación: Análisis
Tipo evaluación: Específica
Evaluación participativa: No
Grado complejidad: Alto
Otros Nombres:
This is a text block. Click the edit button to change this text.
Descripción
Herramienta estadística empleada para realizar un cálculo cuantitativo de la influencia de diferentes variables explicativas (intervención pública y factores concurrentes) sobre una variable explicada (un impacto). El análisis de regresión es una herramienta para analizar la causalidad deductiva. Se basa en un modelo lógico explicativo (modelo causal que hay que diseñar) y en una serie de observaciones preliminares. La herramienta se puede usar de varias maneras, según las variables del modelo sean continuos o discretos y sus relaciones sean o no lineales.
Pasos a seguir
-
Análisis factorial
in Análisis
Fase evaluación: Análisis
Tipo evaluación: Específica
Evaluación participativa: No
Grado complejidad: Alto
Otros Nombres:
This is a text block. Click the edit button to change this text.
Descripción
Herramienta de análisis estadístico empleado para identificar la correlación dentro de una gran cantidad de datos relacionados (individuos de una encuesta, variables…) y para expresar de manera sencilla en forma de un espacio bi- o tridimensional. La herramienta revela agrupaciones y sugiere relaciones de causa y efecto. Es una herramienta de análisis de causalidad inductiva. Identifica factores que han podido ampliar o reducir el impacto. Para empezar a analizar una gran cantidad de datos.
Pasos a seguir
-
Análisis Multicriterio
in Juicio
Fase evaluación: Juicio
Tipo evaluación: Específica
Evaluación participativa: Sí
Grado complejidad: Alto
Otros Nombres: Multicriteria Analysis
Bibliografía Recomendada
Descripción
Para comparar varias intervenciones en relación con varios criterios o puntos de vista. Se usa en la evaluación previa de grandes proyectos, para comparar variantes. También puede usarse en la evaluación final de una intervención, para comparar el éxito relativo de los diferentes componentes de la misma, o para comparar intervenciones a objeto de su clasificación. Puede ser ponderado, para reflejar la importancia relativa atribuida a cada criterio. Puede resultar en la formulación de un único juicio o en la clasificación sintética de diferentes puntos de vista: análisis multicriterio-multijuicio (multicriteria-multijudge analysis). Muy útil para la formulación de un juicio de problemas complejos.
Pasos a seguir
- Definición de elementos (proyectos, acciones…) a ser juzgados.
- Definición de criterios de juicio.
- Análisis del impacto de los distintos elementos (descriptores).
- Juicio del impacto de cada elemento para cada criterio (puntuaciones).
- Agregación de los distintos juicios personales (si no se hacen bajo coalición).
-
Benchmarking
in Juicio
Fase evaluación: Juicio
Tipo evaluación: Específica
Evaluación participativa: Sí
Grado complejidad: Alto
Otros Nombres: Comparación Referencial
Bibliografía Recomendada
Descripción
Comparación cualitativa y cuantitativa del rendimiento de una intervención u organización, con aquella considerada la mejor en el mismo campo o en un terreno relacionado (aprender de experiencia ajena).
El estudio de comparación es más fácil cuando, al nivel nacional o regional, existen clasificaciones de buenas prácticas.
Puede ser interno (se compara con lo mejor de la misma intervención) o externo (se compara con funciones similares de otra intervención).
La información se obtiene de la observación de otras instituciones o empresas que se identifiquen como las mejores (o suficientemente buenas) en el desarrollo de aquellas actuaciones o procesos objetos de interés. Ayuda a determinar cómo se consiguen esos resultados. Permite utilizar esa información como base para establecer objetivos y estrategias e implantarlos en el propio programa. Se consigue la máxima eficacia en el ejercicio de aprender de los mejores y ayudar a moverse desde donde uno está hacia donde quiere estar.
Pasos a seguir
- Determinar a qué se le va a hacer benchmarking
- Identificación de la mejor intervención
- Observación del funcionamiento, recopilación y análisis de las discrepancias.
- Producir un informe de benchmarking sugiriendo los cambios pertinentes para aproximarse a la mejor intervención.
-
Análisis Coste-Benef
in Juicio
Fase evaluación: Juicio
Tipo evaluación: Específica
Evaluación participativa: Sí
Grado complejidad: Alto
Otros Nombres:
This is a text block. Click the edit button to change this text.
Descripción
Para juzgar las ventajas de la intervención desde el punto de vista de los grupos afectados, sobre la base de un valor monetario atribuido a todas las consecuencias positivas y negativas de la intervención (que hay que calcular por separado). Cuando no sea ni relevante ni posible utilizar precios de mercado para estimar una ganancia o pérdida, se puede establecer un precio ficticio de varias maneras. La primera consiste en estimar la disposición de los destinatarios a pagar por obtener impactos positivos o para evitar impactos negativos. También puede decidirse directamente por la gente implicada. El análisis coste-beneficio se emplea principalmente para la evaluación previa de grandes proyectos.
Pasos a seguir
-
Análisis Coste-Eficacia
in Juicio
Fase evaluación: Juicio
Tipo evaluación: Específica
Evaluación participativa: Sí
Grado complejidad: Alto
Otros Nombres: Cost-Efectiviness Analysis
Bibliografía Recomendada
Descripción
Para comparar varias intervenciones en relación con varios criterios o puntos de vista. Se usa en la evaluación previa de grandes proyectos, para comparar variantes. También puede usarse en la evaluación final de una intervención, para comparar el éxito relativo de los diferentes componentes de la misma, o para comparar intervenciones a objeto de su clasificación. Puede ser ponderado, para reflejar la importancia relativa atribuida a cada criterio. Puede resultar en la formulación de un único juicio o en la clasificación sintética de diferentes puntos de vista: análisis multicriterio-multijuicio (multicriteria-multijudge analysis). Muy útil para la formulación de un juicio de problemas complejos.
Pasos a seguir
- Definición de elementos (proyectos, acciones…) a ser juzgados.
- Definición de criterios de juicio.
- Análisis del impacto de los distintos elementos (descriptores).
- Juicio del impacto de cada elemento para cada criterio (puntuaciones).
- Agregación de los distintos juicios personales (si no se hacen bajo coalición).
-
Panel Delphi
in Juicio
Fase evaluación: Análisis/Juicio
Tipo evaluación: Específica
Evaluación participativa: Sí
Grado complejidad: Alto
Otros Nombres: Panel de expertos
Bibliografía Recomendada
Descripción
Grupo de trabajo que reúne a expertos con los que se celebran varias reuniones para la evaluación. Los expertos son individuos independientes, reconocidos como especialistas en el campo de la intervención a evaluar. Emiten una opinión conjunta sobre el valor de la intervención pública y sus efectos. Sirve para formular rápida y económicamente una opinión sintética que incorpora la principal información disponible sobre el programa, además de otras experiencias previas y externas a la intervención. Para la evaluación de intervenciones complejas o mal estructuradas.
Pasos a seguir
- Identificación de una lista de expertos potenciales (en al menos uno de los campos implicados en la evaluación)
- Selección de expertos (de 6 a 12 con diferentes campos de especialización): Buscar la máxima diversidad de puntos de vista. Escoger presidente del panel. Escoger secretario (un no experto).
- Investigación: Los expertos se reúnen de 3 a 6 veces, una vez al mes bajo secreto. Los expertos consultan información, entrevistan, hacen visitas de campo (en grupos de dos para limitar el riesgo de sesgo).
- Síntesis: Producción de un informe con conclusiones y recomendaciones
-
Censos
in Observación
Fase evaluación: Observación
Tipo evaluación: Global/ Específica
Evaluación participativa: Sí
Grado complejidad: Medio
Otros Nombres:
Bibliografía Recomendada
Descripción:
Un censo es un recuento de individuos que conforman una población sobre la que se realizan las observaciones. Consiste básicamente en obtener mediciones sobre una temática específica del número total de individuos mediante diversas técnicas de recuento; además, este se realiza periódicamente. Al recoger distintas opiniones puede formular propuestas desde las necesidades e intereses de los propios actores. También consensúa decisiones sobre las estrategias que hay que adoptar y facilita la generación de responsabilidad local entre los actores para el desarrollo de la comunidad. Permite identificar cuellos de botella técnicos en cada eslabón de la cadena y precisar a qué tipo de actores están afectando.Facilita la cooperación y da a conocer los conocimientos que poseen los participantes.
Pasos a seguir
- El facilitador pregunta a los participantes por algún tema en concreto,como puede ser los problemas que encuentra una comunidad a la hora de usar sus recursos.
- Los participantes irán nombrando en voz alta los problemas que ellos consideran relevantes como por ejemplo, el acceso al agua por el estado de las tuberías.
- Recoger toda la información organizada.
- Analizar los resultados.
-
Observ etnográfica
in Observación
Fase evaluación: Observación
Tipo evaluación: Global/ Específica
Evaluación participativa: Sí
Grado complejidad: Alto
Otros Nombres:
Bibliografía Recomendada
Descripción
Para recoger información en situaciones poco conocidas, o cuando resulta difícil el acceso al terreno y a la población, o ésta es reacia a participar. Se trata de la observación in situ, de forma no molesta, de la actividad diaria de los actores y/o destinatarios de la intervención a evaluar.
Se utiliza en situaciones en las que se sospecha que se entiende mejor lo que sucede cuando se observan desde fuera (administración) o desde dentro (población).
El investigador intentará comprender la situación “desde dentro” (comprender como percibe la población las cosas). Consume mucho tiempo y es poco generalizable por la particularidad que trata de estudiar. Necesita de habilidades especiales del evaluador. Se utiliza para recoger información muy detallada, con grabaciones audiovisuales cuando es apropiado, sobre unas pocas situaciones típicas de implantación de la intervención. También sirve para identificar todos los efectos de la intervención y la influencia del contexto.
Pasos a seguir
- Selección de la situación a observar: En función de las preocupaciones existentes.
- Observación: Puede llevar tiempo fundirse en el ambiente de forma que la población se comporte con normalidad. No perturbar y tomar notas o grabar discretamente.
- Identificación y edición (grabación) de secuencias típicas.
- Análisis de secuencias típicas con los actores: De forma anónima, para asegurar la ausencia de sesgo.
