-
Herramientas para el análisis de redes sociales
Es cierto que existen multitud de herramientas, formatos y tipos de aplicaciones analíticas que se han desarrollado de manera exponencial en los últimos años. Para aplicar las redes sociales de manera efectiva y que puedan mantener estos esfuerzos que se están realizando, las organizaciones tienen que ser capaces de evaluar las ventajas y desventajas de cada una de las redes sociales, qué tipo de datos se pueden obtener de cada una de las redes y cómo los programas pueden ser usados para mejorar estos esfuerzos.
La evolución y desarrollo de las redes sociales también ha influido en la manera de hacer ciencia e investigar. La metodología ARS (Análisis de Redes Sociales) es una nueva manera de investigar centrada en la “cartografía y la medición de las relaciones y los flujos entre las personas, los grupos, las organizaciones, los ordenadores, las direcciones URL y otras entidades de la información/conocimiento conectado” (Orgnet.com). Actualmente, el ARS está siendo aplicado a diferentes escenarios de las ciencias sociales y computacionales enmarcadas dentro de las TIC. El interés que se ha generado en el ARS radica principalmente, en que es un tópico que representa un enfoque atractivo en las relaciones que tienen lugar entre las entidades sociales y en las métricas e implicaciones de dichas relaciones y además profundiza en el conocimiento de los fenómenos sociales. Actualmente, el ARS está siendo aplicado a diferentes escenarios como el ámbito económico, el ámbito de la salud o de la educación entre otros. Antonieta Kuz et.al, en el simposio argentino sobre tecnología y sociedad muestran tres campos de actividad:
1.Campo de la salud: estudios vinculados a enfermedades infecciosas, pero los de mayor importancia están dirigidas a la difusión del SIDA, intentando establecer el tamaño y las características de estas poblaciones ocultas como el caso de las poblaciones que consumen drogas como la cocaína, así como las probabilidades de contagio con diferentes relaciones de riesgo. Por ejemplo, en la Asociación Americana de Evaluación (AEA por sus siglas en inglés) se pueden encontrar trabajos diversos trabajos como, el uso de las redes sociales para evaluar la obesidad en las comunidades y fomentar iniciativas de prevención.
2. Campo social: este campo incluye el concepto de “capital social” una aplicación de este concepto es la hipótesis de los “lazos débiles”. La idea básica es que las personas tienen a su alrededor un núcleo fuerte de lazos que le proporcionan la información, los recursos y el soporte emocional que necesitan. También, a través de las redes sociales puede evaluarse el nivel de compromiso en una comunidad y el impacto social que ésta tiene. Otro punto muy importante en el desarrollo de las redes sociales es lo que llaman laboratorios de ideas o Think Tank. Son organizaciones sin ánimo de lucro donde se trabaja de manera multidisciplinar en la elaboración de análisis y recomendaciones políticas. Estas organizaciones buscan promover y crear espacios de diálogo y debate, desarrollar y capacitar a futuros tomadores de decisiones y cuadros políticos, legitimar narrativas y políticas de los regímenes de turno o los movimientos de oposición y ofrecer un rol de auditor de los actores públicos. En España se han desarrollado multitud de organizaciones independientes donde cabe destacar CIDOB (dedicado a la investigación en los ámbitos de relaciones internacionales y los estudios de desarrollo); FRIDE, que busca proveer conocimiento innovador sobre el papel de Europa en las relaciones internacionales; el Real Instituto Elcano de Estudios Internacionales y Estratégicos o el Instituto Complutense de Estudios Internacionales.
Redes sociales y Organizaciones sin ánimo de lucro. Como comentábamos en un post anterior el uso de las redes sociales para la evaluación y análisis de distintas actividades organizadas en campos sociales, como el educativo o el médico también están cobrando importancia en los últimos años, no sólo en el marketing de grandes empresas multinacionales. Como nos dice Jan Rezab, el uso de las redes sociales puede crear un mundo mejor. Y aquí entran en juego las organizaciones sin ánimo de lucro. El uso de las redes sociales en aquellas organizaciones sin ánimo de lucro, ya que su presencia en las redes e Internet debe ser fundamental en los tiempos que corren hoy en día, pero al mínimo coste. La situación económica actual ha desbancado a muchas de estas organizaciones y los fondos que obtienen se han reducido. Además, tiene que competir con las empresas comerciales, tanto en el mundo físico como en el digital. Es por ello que las organizaciones sin ánimo de lucro tienen que rentabilizar sus esfuerzos de la mejor manera posible. Deben centrarse en ser útiles, generar valor e interés en lo que se publica y no utilizarlas, en un primer momento, en canalizar fondos. La idea es divertir y entretener. Las donaciones vendrán luego. Hace falta trabajo previo para construir una comunidad fidelizada y comprometida con la causea que difunda el mensaje y que esté dispuesta a pasar a la acción en el mundo online. Desde esta perspectiva, Allison H. Fine ha fundado una organización sin ánimo de lucro, Networked Nonprofits, dedicada a la transformación de la evaluación para el cambio social. Esta entidad está dirigida a descubrir y discutir los desafíos particulares y las nuevas oportunidades para medir el uso de las redes sociales por organizaciones de todo tipo, las conexiones y relaciones creadas a través de los medios de comunicación social con el fin de comprender mejor las formas en que los medios digitales están dando forma a los esfuerzos de cambio social. Esta red se dedica a contactar a diversas personas y organizaciones que compartan su trabajo con el fin de crear conciencia de los problemas sociales y organizar a las comunidades para prestar servicios de legislación. En el largo plazo, el objetivo es crear un mundo más seguro, más justo y más saludable para vivir. ¿Cómo funciona? Conecta a las personas, más allá de sus muros, a través de las conversaciones y las relaciones que se mantienen a través de sus redes. Así, se construye una responsabilidad común creando una lista de “cosas pendientes” donde todos los participantes puedan remar en la misma dirección. Alguno de estos medios sociales son las conversaciones generadas en Twitter, Youtube y blogs; la colaboración que se genera en grupos de Google; o las redes construidas a través de Facebook o MySpace. Las redes sociales tienen una gran fuerza en la vida de los individuos de hoy en día, conectando a personas que se encuentran en polos opuestos de la tierra en tan sólo décimas de segundo. Esto hace unos años era impensable. Las redes sociales han despertado la creatividad y esto es un gran canalizador para luchar por aquellas causas en las que las personas creen. ¿Lo mejor de todo? Es espontáneo.
3. Campo educativo: a través de la sociometría y los test sociométricos es posible obtener métricas y determinar la utilidad que reviste instrumentos para mejorar las relaciones sociales dentro de la clase y favorecer la integración de los alumnos aislados y los rechazados. Otro punto muy importante es el cambio de paradigma de la educación, donde las redes sociales e internet han conseguido cambiar la forma en la que se enseña y el acceso a la educación. Es el caso de los cursos MOOC. Anant Agarwal nos cuenta por qué estos cursos masivos y abiertos son importantes. También para evaluar las políticas antes realizadas y la medición de sus impactos. Encontramos un caso en la Asociación Americana de Evaluación que explica cómo se participa en las evaluaciones, cómo se involucra la población y de qué manera. En el siguiente enlace podemos ver toda la información.
Social media y educación. Continuando con uno de los temas incluidos en el Análisis de las Redes Sociales y el campo educativo, nos centraremos en la educación y cómo se pueden evaluar las tendencias de aquellos alumnos y graduados que finalizan sus estudios y comienzan a trabajar. ¿Cómo ha sido ese resultado? ¿Ha sido el esperado? ¿Dónde se encuentran trabajando hoy en día? Para ello, es importante determinar una estrategia de seguimiento para recoger los datos de los resultados y evaluar estos planes de educación superior. Se debe recopilar la información de los participantes de primera mano. Puede ser un trabajo largo y laborioso, por la cantidad de participantes que pueden entrar en dichos programas.
Es por ello que el uso de las redes sociales nos puede facilitar mucho trabajo y darnos pistas clave para identificar a dichos participantes, ya sea por su localización, el puesto laboral que desempeñan en la actualidad u otras actividades (voluntariado, por ejemplo) que nos ayuden a determinar perfiles. Algunas de estas herramientas son LinkedIn, ResearchGate o Educa, donde además de la información personal básica se puede recoger información relacionada con publicaciones, comunicaciones, artículos científicos, premios o menciones que completen esa información. Todo esto nos puede ayudar a dibujar un primer mapa con información de la muestra a estudiar de una organización o una especialidad en concreto, por ejemplo: ¿la tendencia de aquellos graduados del 2005 que estudiaron Administración y Dirección de Empresas en la Universidad Autónoma de Madrid? Otro filtro podría ser, ¿cuál es la tendencia de los alumnos que estudiaron la carrera de ciencias de la comunicación en la Comunidad de Madrid en todas las Escuelas? Algunas de etas herramientas pueden ser las encuestas online y su difusión a través de la base de datos recogida gracias a las redes sociales. Algunas de estas herramientas gratuitas son Google Forms, Survey Monkey, Survey Gizmo. Entre aquellas de pago podemos utilizar Qualtrics, SurveyAnalytics, SurveyMonkey o SurveyGizmo. La metodología cualitativa te puede ayudar a profundizar en la personalidad y las perspectivas de cada uno de los participantes.
Una de las aplicaciones más utilizadas en esta nueva metodología ARS es NETLYTIC, una aplicación en forma de nube gratuita que usa la interfaz de programación de aplicaciones (API) de las distintas conversaciones existentes en las redes sociales, para ayudar a los Community Managers a descubrir trending topics, conversaciones y participantes influyentes en la red. Actualmente, los datos provienen de redes sociales como Facebook, Twitter, grupos y páginas, post de Instagram y comentarios de Youtube. Los informes que genera esta aplicación y las palabras, pueden ser reagrupadas para así identificar temas populares en la red. También representan cluster de redes sociales donde se muestran las correlaciones entre los participantes. Lo que te permite esta herramienta es profundizar más en cada una de las palabras, como en la ocurrencia de postearla o el listado con los tweets y comentarios realizados. Otra herramienta muy interesante y utilizada en la metodología ARS para analizar el impacto de redes sociales es el programa software NodeXL. Es una aplicación complementaria al Excel y tiene una función de estudiar las redes que se forman a partir de los mensajes y comentarios que se realizan en Twitter. Tiene un gran potencial para analizar redes sociales de comunicación a través de Twitter y el impacto de los eventos estudiados. En el siguiente enlace podemos acceder a un tutorial para ver cómo funciona este programa.
El potencial que tienen las redes sociales hoy en día es imposible de cuantificar. Podemos acceder a gran cantidad de información y datos, y analizar todos estos recursos en función de qué queremos estudiar. En el campo de la evaluación, hay multitud de casos de estudio donde las redes sociales son la herramienta fundamental e indispensable para hacerlo posible.
Referencias:
http://comm.eval.org/HigherLogic/System/DownloadDocumentFile.ashx?DocumentFileKey=0cfa30f7-97b4-74d0-3b1c-2e2ba8bd3be9&forceDialog=0
http://www.eval.org/
http://comm.eval.org/search?executeSearch=true&SearchTerm=social+media
http://networksprovidehappiness.com/analisis-de-redes-comentarios-twitter-nodexl/
http://nodexl.codeplex.com/https://netlytic.org/home/
http://revista-redes.rediris.es/recerca/jlm/ars/ars_ects.pdf?
http://comm.eval.org/HigherLogic/System/DownloadDocumentFile.ashx?DocumentFileKey=0cfa30f7-97b4-74d0-3b1c-2e2ba8bd3be9&forceDialog=0http://www.eval.org/
-
Buscando una definición de evaluación
La evaluación no debe ser vista ante todo como una actividad técnica o metodológica. Tampoco ha de ser entendida como la elaboración de informes. Es una actividad que principalmente implica pensar. La evaluación es en su sentido más profundo una vía para reflexionar sobre lo que está pasando. Muy íntimamente unida a esta apertura de un ámbito para reflexión, está el potencial de la evaluación para hacer repensar y analizar, generar capacidades entre la población afectada por un proceso de evaluación, y la mejora de las intervenciones que modifican la realidad que les rodea.
La evaluación como práctica profesional se ha venido definiendo como “el proceso de determinar el mérito, interés e importancia de las cosas” (Scriven, 2005, p. 235). Pero veamos cada uno de estos tres términos.
El mérito (merit) está relacionado con las propiedades intrínsecas, características o atributos de lo que estamos evaluando en comparación con los criterios de calidad utilizados. Por ejemplo, en el caso de una manzana estaríamos hablando de su sabor, apariencia, color, estado de madurez… En la evaluación de programas decimos que un programa tiene mérito cuando: 1) cumple con lo que estaba llamado a hacer, logrando los resultados esperados, y 2) supone una diferencia significativa en la realidad como consecuencia de su implementación.
El interés (worth) es la estimación de lo que vale lo que estamos evaluando en comparación o equivalencia a otra cosa, típicamente el dinero. Así que mientras el mérito puede ser difícil de medir, el valor suele expresarse en un valor monetario fácilmente medible. En el caso de la manzana estaríamos hablando de su precio. En el caso de la evaluación de programas podemos estar hablando de la comparación de dos programas (uno más barato que otro y por tanto con más valor) o la comparación de un mismo programa en dos sitios distintos (uno con más impacto que otro y por tanto con más valor).
La importancia (significance) se refiere a los valores y significación que asociamos a aquello que estamos evaluando. Es preguntarse por lo que lo hace especial o significativo para unos individuos concretos. En el caso de la manzana podríamos estar hablando de su importancia por quién me la ha regalado o por el hecho de que es lo único que tengo para comer; su mérito y valor pueden ser pequeños pero su importancia mucha. En el caso de la evaluación de programas podemos hablar de programa ineficaces, con impacto muy limitado, pero con una alta importancia por su valor simbólico por ser el único que cubre una determinada necesidad de un sector vulnerable de la población.
La evaluación supone así la emisión de un juicio por parte de un sujeto sobre el mérito derivado de las características intrínsecas de lo que evaluamos, el interés en referencia a una determinada moneda (u otro referente que se considere adecuado) y la importancia en relación a características adheridas por el contexto y las personas que rodean lo que evaluamos. Pero es fundamental que ese juicio sobre el mérito, interés e importancia que se emite se fundamente en hechos objetivos y concretos. La evaluación es una actividad en la que partiendo de los hechos (objetivos) llegamos a un juicio (realizado por un sujeto) sobre esos hechos. Este juicio es subjetivo por naturaleza, pero deberá tratar de aproximarse a la realidad y objetividad de los hechos lo máximo posible.
En la evaluación de programas, podemos decir que una evaluación es una valoración, tan sistemática y objetiva como sea posible, de un proyecto, programa o política en marcha o terminado, su diseño, aplicación y resultados (Comisión de la UE, 2002). Evaluar una acción, una operación, un proyecto, un programa, significa examinarlo en su contexto de aplicación, para poder apreciar los efectos en relación con una situación de referencia, y juzgar su impacto en relación con los objetivos perseguidos: impacto global, utilidad social, interés económico… En este sentido, la evaluación es una valoración periódica del programa en el contexto de sus objetivos declarados (Casley & Kumar, 1990).
Una evaluación debe proporcionar unas informaciones creíbles y útiles, que permitan integrar las enseñanzas sacadas en la toma de decisiones. Para ello es importante preservar la independencia y objetividad de los evaluadores con respecto a los gestores y autoridades financieras, y que la evaluación constituya una actividad externa del programa realizada por profesionales ajenos a la gestión y control del programa.
La evaluación aplicada a un programa de desarrollo, examina de que manera el programa, y las diversas operaciones que lo integran, aporta soluciones a los problemas identificados, alcanza los objetivos fijados, crea nuevos valores económicos, sociales y culturales, así como las condiciones de una dinámica sostenible de desarrollo. En definitiva podemos intentar definir la evaluación de programas como: La actividad externa de una intervención, tan sistemática y objetiva como sea posible, que lleva a cabo de forma periódica el análisis y valoración a fondo de la intervención o aspectos concretos de ella, su diseño, aplicación y resultados, con referencia a unos criterios y estándares explícitos; lo que lleva a un juicio de valor sobre el mérito, interés e importancia y a una oportunidad para el aprendizaje y mejora continua de la intervención y la toma de decisiones sobre futuras intervenciones.
Referencias citadas:
CASLEY, D. J. & KUMAR, K. (1990). Seguimiento y evaluación de proyectos en agricultura. Banco Mundial. Madrid: Mundi Prensa.
COMISIÓN DE LA UNIÓN EUROPEA (2002). Project Cycle Management Handbook. Evaluation Unit of the EuropeAid Co-operation Office. March 2002. Version 2.0. Freiburg, Germany.
SCRIVEN, M. (2005). Logic of evaluation. In S. Mathison (Ed.), Encyclopedia of evaluation (pp. 235-238). Thousand Oaks, CA: Sage.
-
Conceptos relacionados con la evaluación: seguimiento, control, auditoría, investigación
Al no haber unidad de criterio al definir el seguimiento y la evaluación se produce una cierta confusión semántica por lo que trataré de llegar a unas definiciones adecuadas dentro del campo del desarrollo (U.N., 1984; Casley & Kumar, 1990; FAO, 1999; Comisión de la UE, 1999; 2002).
Lo más práctico es comprender el uso de los términos de seguimiento y evaluación, advirtiendo la relación existente entre ellos y las distinciones que cabe establecer. Esta distinción depende del uso y significado que se haga de ellos. En Norteamérica el seguimiento es conocido como la gestión de sistemas de información (management information systems), dejando claro que el propósito de ambas actividades es más para la gestión que para la evaluación (Patton, 1997).
Por seguimiento podemos entender la valoración continua tanto del funcionamiento de las actividades del programa en el contexto de los calendarios de ejecución como de la utilización de los insumos del programa por parte de las poblaciones fijadas como objetivo en el contexto de las expectativas del diseño. Un examen exhaustivo y periódico de los recursos, productos (outputs) y resultados de las intervenciones.
El seguimiento es parte integral del día a día de la gestión. Responsabilidad de los gestores encargados de la implantación de una intervención. El seguimiento es una actividad interna del programa (evaluación interna) realizada por los propios gestores del programa, parte esencial de una buena práctica de gestión y, por tanto, parte integral de la gestión diaria.
Esto supone que gran parte de la labor de vigilancia será realizada por los propios gestores de programa, con la ventaja de asegurar una retroalimentación óptima de las enseñanzas adquiridas, pero puede adolecer de una falta de independencia. Esta última deficiencia puede subsanarse, al menos en parte, mediante unas normas rigurosas de planificación que exijan una clara indicación de los criterios de efectividad y de las metas que han de alcanzarse, y el establecimiento de las metodologías ordinarias de examen y evaluación que han de aplicarse.
Se distinguen en el seguimiento dos tareas fundamentales, por un lado la elaboración de un sistema de información, y por otro, la valoración continua de la marcha del programa que llamaremos autoevaluación (self-evaluation), de consumo interno y basada en el sistema de información.
El seguimiento se basa en un sistema de información coherente que incluye informes, estudios, balances, indicadores, etc. Ese sistema comprende los registros básicos físicos y financieros, los detalles de insumos y servicios suministrados a beneficiarios y los datos obtenidos de encuestas y otros mecanismos de registro, diseñados específicamente para atender a la función de seguimiento. Sin embargo, la evaluación, por lo común lleva consigo el establecer comparaciones que requieren información procedente externa al programa, en tiempo, zona o población.
La autoevaluación puede definirse como un proceso sistemático de valoración continua (evaluación sobre la marcha) de la pertinencia, eficiencia y eficacia de un programa durante su ejecución, realizado por los gestores de una intervención. La autoevaluación debe ser un ejercicio de reflexión interna de carácter voluntario dirigido a facilitar el aprendizaje. La autoevaluación trata de ejercicios sencillos encaminados a poner el acento en las recomendaciones prácticas que permitan el aprendizaje social y posibles cambios de rumbo en los programas.
La autoevaluación y el sistema de información deben estar diseñados uno en función del otro de manera que en el sistema de información se incluyen casi todos los campos cubiertos por la autoevaluación. En muchas ocasiones la línea divisoria entre ambos resulta muy tenue y no es posible decir dónde se detiene uno y comienza el otro. Cualquier diferencia entre estas dos actividades es meramente de énfasis. El sistema de información tiende a enfocarse más a las cuestiones de ejecución del programa, en tanto que la autoevaluación aborda los resultados probables de las intervenciones. Y en general puede decirse que el sistema de información alimenta la autoevaluación y posibilita la elaboración de recomendaciones prácticas, cuya verificación y uso permitan la mejora de la intervención.
De acuerdo con esta visión, las descripciones individuales de seguimiento del contacto con el beneficiario, de las realizaciones físicas y financieras y la evaluación interna en conjunto constituyen lo que se ha venido llamando seguimiento del programa. En definitiva podemos definir el seguimiento como: La actividad interna de una intervención, realizada por los propios gestores como parte integral de la gestión diaria, que realiza una valoración continua del contacto con los beneficiarios y de las realizaciones de la intervención sobre la base de un sistema de información y autoevaluación y dirigida a facilitar el aprendizaje, el fortalecimiento, adquisición de capacidades y la mejora continua.
La evaluación se distingue de otros procedimientos más normativos, tales como el control, la auditoría (audit) financiera o de gestión, que están encaminados a verificar, ya sea la regularidad, ya sea la legalidad o la ortodoxia financiera, o incluso a detectar errores, fallos o vicios de procedimiento. La principal distinción con la evaluación está por tanto en el objetivo y centro de atención, que en el caso de la evaluación es la valoración del mérito, valor e importancia. En otros términos, la evaluación no debe ser una herramienta de legitimación o deslegitimación de la ayuda, sino un mecanismo de aprendizaje que retroalimente información hacia quienes toman las decisiones. Otra distinción es quién realiza cada actividad: el seguimiento la realizan los gestores de una intervención, la evaluación evaluadores externos que se contratan, y el control y auditoría típicamente está relacionada con los organismos públicos de control.
Por último la evaluación se distingue de la investigación también en su objetivo: mientras que la investigación busca demostrar aspectos de la realidad con evidencias científicas, la evaluación busca mejorar esa realidad a través de juicios de valor en los que se pueda apoyar la toma de decisiones. La investigación busca en primera instancia aumentar el conocimiento (generalizable) en un determinado campo del saber mientras que la evaluación busca ayudar a la toma de decisiones y servir a propósitos específicos de las partes interesadas afectadas por lo que se está evaluando. Esas partes interesadas son las que en gran medida marcan la agenda de la evaluación, mientras que la agenda de la investigación la suele marcar el investigador que la realiza. La motivación por tanto también suele tener un enfoque distinto: curiosidad e interés científico en el caso de la investigación, y solucionar un problema concreto en el caso de la evaluación.
Referencias citadas (Puedes conseguir un ejemplar pinchando en los enlaces):
CASLEY, D. J. & KUMAR, K. (1990). Seguimiento y evaluación de proyectos en agricultura. Banco Mundial. Madrid: Mundi Prensa.
COMISIÓN DE LA UNIÓN EUROPEA (1999). The MEANS collection: Evaluating socio-economic programes. From the programme entitled MEANS: Means for Evaluating Actions of a Structural Nature. Directorate General XVI for Regional Policy and Cohesion. Office for Official Publications of the European Communities. Luxembourg.
COMISIÓN DE LA UNIÓN EUROPEA (2002). Project Cycle Management Handbook. Evaluation Unit of the EuropeAid Co-operation Office. March 2002. Version 2.0. Freiburg, Germany.
FAO (1999). Evaluación en el contexto del Marco Estratégico y del nuevo modelo de programación. Organización de las Naciones Unidas para la Agricultura y la Alimentación. Roma.
U.N. (1984). Guiding principles for the design and use of monitoring and evaluation in rural development projects and programmes. ACC Task Force on Rural Development. Panel on monitoring and evaluation. United Nations. Roma.
-
Relación entre seguimiento y evaluación
El seguimiento y la evaluación están íntimamente vinculados. Ambos constituyen instrumentos necesarios para aportar elementos de juicio al proceso de toma de decisiones y demostrar la rendición de cuentas. Ninguno de los dos reemplaza al otro. La evaluación aprovecha la base de datos creada durante el proceso de seguimiento, suplementándola según sea necesario con datos sobre el efecto causado por el programa y repasando la información combinada en el curso de un período prolongado a fin de juzgar lo realizado.
Las funciones de seguimiento y evaluación de un programa de desarrollo. Fuente: Elaboración propia.
Las características y diferencias de una y otra actividad se definen en la siguiente tabla:
Características y diferencias entre seguimiento y evaluación
Seguimiento
Evaluación
Continuo Periódica, en etapas importantes: a mitad del período de implementación del programa, al final o al cabo de un período sustancial después de finalizado el programa Análisis poco profundo, supervisa, analiza y documenta los progresos registrados Análisis a fondo; compara la planificación con los logros reales Se centra en el seguimiento del beneficiario y en las realizaciones físicas y financieras Se centra en el análisis del planteamiento y lógica de intervención, aplicación y gestión, y en el impacto Responde qué actividades se realizaron y qué resultados se obtuvieron Responde por qué y cómo se obtuvieron los resultados al contar con una mayor profundidad en el análisis. Alerta a los administradores acerca de los problemas y brinda opciones para la adopción de medidas correctivas Brinda a los administradores opciones de estrategia y de política Análisis interno (autoevaluación) de los gestores y los interesados locales Análisis externo a cargo de los evaluadores externos Consumo interno del que se benefician los gestores y los interesados locales de la intervención Consumo interno y externo del que se benefician los gestores, los interesados locales y los encargados del control externo de la intervención El seguimiento debe ser integrado a la estructura de gestión del programa, pero la evaluación, con sus horizontes más amplios, no es necesariamente un componente tan integral. Debemos considerar el seguimiento y la evaluación como funciones independientes una de la otra. Se encuentran separadas por sus objetivos, períodos de referencia, necesidades de análisis y usuarios. Pero una vez destacadas las diferencias, es necesario hacer constatar que hay características comunes que realzan la relación existente entre las dos actividades.
El seguimiento del programa y la evaluación deben colaborar con objeto de utilizar los recursos de manera eficiente sin perder de vista la finalidad primaria de acopiar recursos para información interna del programa, esto es, el suministro de un sistema de información diseñado para satisfacer las necesidades de gestión del programa.
Relación entre las funciones de seguimiento y evaluación
-
¿Se puede medir la cultura de evaluación de un país?
Aunque el proceso de adopción de prácticas evaluativas atienda a las mismas razones en los diversos países, su grado de utilización e institucionalización, así como la cultura de evaluación alcanzada, es muy diferente.
Estas diferencias se relacionan, por un lado, con el hecho de que sean los parlamentos quienes cuenten con competencias en el ámbito de la evaluación o, por el contrario, éstas recaigan únicamente sobre los niveles ejecutivos. Por otro lado, también está relacionado con los distintos niveles de centralización o descentralización existentes. Países como Canadá y Suecia, desde mediados de los años setenta, y Gran Bretaña en 1983, han llegado a constituir Unidades Especializadas en el Control y la Evaluación de las Políticas Públicas siguiendo el modelo de la GAO Norteamericana.
La pregunta que podríamos formularnos es si es posible medir la cultura de la evaluación de un país, y si alguien ha intentado medirla. La respuesta es que sí. Un estudio realizado sobre la evaluación de las políticas públicas en 21 países de los cinco continentes que lleva por título International Atlas of Evaluation (Furubo et al., 2002) concluye con la elaboración de un ranking sobre el estado de la cultura de la evaluación entre esos 21 países. Los indicadores utilizados fueron:- Campos de la política donde se realiza evaluación.
- Suministro de evaluadores nacionales en distintas disciplinas.
- Discurso nacional referente a la evaluación.
- Organizaciones profesionales.
- Grado de institucionalización en el Gobierno.
- Grado de institucionalización en el Parlamento.
- Pluralismo de las instituciones o de los evaluadores que llevan a cabo las evaluaciones en cada campo de la política.
- Evaluación en el Tribunal General de Cuentas
- Proporción de evaluaciones resultantes en relación con los resultados y procesos de evaluación.
El resultado de aplicar esos indicadores podemos verlo en el siguiente mapa donde se ve que los países con mayor cultura evaluadora se sitúan en norteamérica y norte de Europa, además de Australia:
Mapa del estado actual de la cultura de la evaluación en 21 países. Fuente: Elaboración propia a partir de Furubo et al., 2002
Sobre un total de 18 puntos los resultados se reflejan en la siguiente tabla:
Resultados del estudio del estado actual de la cultura de la evaluación en 21 países. Fuente: Elaboración propia a partir de Furubo et al., 2002
En el caso de la Unión Europea, donde se aprecia una alta cultura de evaluación, es en 1988 cuando la evaluación queda institucionalizada. La reglamentación europea introduce la obligatoriedad de evaluar los programas cofinanciados por sus fondos que cubren una gran variedad de ámbitos de actuación. Desde entonces, se han llevado a cabo un gran número de evaluaciones en todos los países miembros. En Europa la institucionalización de las prácticas está requiriendo de un cuerpo común más unificado y un direccionamiento adecuado, siempre desde un planteamiento flexible que ayude a la mejora generalizada en la concepción de los procesos evaluativos y, por extensión, en la obtención de resultados útiles y en la aplicación/integración de los mismos.
Referencias citadas:
Furubo, J.E., Rist, R.C. & Sandahl, R. (2002). International Atlas of Evaluation. Comparative Policy Analysis Series. New Brunswick: Transaction Publishers.
-
El incremento de las asociaciones y redes de evaluación
Un indicador claro del crecimiento de la cultura de la evaluación en el contexto internacional es el crecimiento exponencial de las asociaciones y redes de evaluación en estos últimos años. Actualmente existen más de 100 organizaciones nacionales y regionales de evaluación y se está consolidando la creación de una comunidad internacional de evaluación.
Parte del trabajo de estas asociaciones consiste en el desarrollo de estándares, valores y principios que guíen la evaluación, y en la orientación a sus miembros en la definición de estos valores. También existen asociaciones que no tienen este objetivo y se centran más en la difusión de la cultura de la evaluación y en el desarrollo de capacidades, prácticas y métodos. Las directrices desarrolladas por las sociedades de evaluación no tienen carácter normativo, más bien son recomendaciones de distintos profesionales sobre lo que la evaluación debe aportar a la sociedad, respetando a la población con la que se trabaja.
En 1975 se inició en Estados Unidos un proyecto pionero para el desarrollo de estándares profesionales para la evaluación de programas (Joint Committee on Standards for Educational Evaluation). Su objetivo era mejorar la evaluación de los programas de formación. Se constituyó un comité compuesto por 16 asociaciones profesionales entre las que se encontraba la Sociedad Americana de Evaluación. El resultado fue el Programa de Estándares de Evaluación (Programme Evaluation Standards, PES), una lista de control de la calidad de los trabajos de evaluación, formada por 30 criterios reunidos en cuatro categorías: utilidad, factibilidad, honorabilidad y precisión; que son los cuatros grupos de estándares exigibles a una evaluación.
En 1989, el PES fue aprobado por el American National Standards Institute, y actualmente se emplea en la mayor parte de las evaluaciones. En algunas zonas con marcadas diferencias culturales (como Asia o África) existen grupos de trabajo para adaptar el PES a sus propios contextos. Organismos donantes han empleado también el PES para comprobar la calidad de las evaluaciones de proyectos implementados en los países en desarrollo.
Mapa de la evolución de las organizaciones regionales y nacionales de evaluación.Desde la fundación de la Canadian Evaluation Society (CES) en 1981 y la American Evaluation Association (AEA) en 1986, el ritmo de nuevas fundaciones se ha ido incrementando progresivamente. En 1995 había 6 organizaciones regionales y nacionales de evaluación ; en 1998 pasaron a ser 12 y en 1999 eran ya más de 20 (contando no solo asociaciones sino también nuevas formas de organización como redes y foros). Desde 2003 hasta la actualidad el número de asociaciones regionales de evaluación se ha mantenido constante, si bien el número de organizaciones nacionales ha crecido muy significativamente, pasando de 20 en 2003 a más de 100 en la actualidad.
La Sociedad Europea de Evaluación SEE (European Evaluation Society, EES), se fundó en 1994. Desde entonces ha tenido un papel fundamental en la promoción y creación de las diversas sociedades nacionales que existen en la práctica totalidad de los países europeos . Únicamente la United Kingdom Evaluation Society existía antes de la creación de la Sociedad Europea de Evaluación.
En 1999, se creó la Asociación Africana de Evaluación (African Evaluation Association, AfrEA) como una red informal de evaluación bajo el auspicio de UNICEF. Posteriormente varios países africanos se propusieron crear sus propias asociaciones o redes nacionales de evaluación. El número de asociaciones pasó de 6 en 1999 a 16 en el 2001, y llega a 44 en la actualidad. Además, existen redes de profesionales de evaluación en 27 países, aunque algunas de ellas están todavía en periodo de formación. Otros trece países más participan (sin sociedades propias de evaluación) en las actividades de la AfrEA. También cabe destacar que África es el continente con mayor número de organizaciones regionales de evaluación con un total de cuatro : African Evaluation Association (AfrEA), Africa Gender and Development Evaluation Network (AGDEN), African Community of Practice on Managing for Development Results (AfricaCop-MfDR) y Monitoring and Evaluation East Africa Network (Mandeea).
En el área asiática, las primeras asociaciones en establecerse fueron las de Israel en 1998, Malasia en 1999 y Sri Lanka también en 1999. En 2003 surgieron tres nuevas asociaciones y dos foros, y en la actualidad, la evaluación se ha extendido a 23 países asiáticos, algunos de ellos de especial relevancia como China o India. También se ha avanzado en la creación de asociaciones formales de evaluación en países en los que solo existían foros o redes .
En Oceanía tenemos la Australasian Evaluation Society (AES) y en el 2000 se creó la International Program Evaluation Network (IPEN) que incluye a nueve antiguos países de la URSS: Armenia, Azerbaiján, Bielorrusia, Georgia, Kazajstán, Kyrgyzstan, Rusia, Tayikistán, Ucrania.
En Latinoamérica, al igual que en África, las organizaciones internacionales han tenido un papel destacado en la creación de asociaciones de evaluación. Los dos elementos más importantes en este sentido han sido la creación de la Asociación Centroamericana de Evaluación (ACE) en 1994, y PREVAL en 1996, una plataforma para el fortalecimiento de las capacidades de evaluación en el ámbito de los proyectos para el alivio de la pobreza de zonas rurales de América Latina y el Caribe, ambas bajo los auspicios del Fondo Internacional de Desarrollo Agrícola (FIDA).
En la actualidad, el apoyo de organismos internacionales, ha posibilitado la creación en Latinoamérica de más sociedades de evaluación. En los últimos años se han creado asociaciones de ámbito, tanto regional ─como la Red de Seguimiento, Evaluación y Sistematización en América Latina y el Caribe (RELAC)─ como nacional ─la Agencia Brasileña de Evaluación, la Asociación Brasileña para la Evaluación de la Educación, la Red Cubana de Evaluación o la Red Peruana para el Monitoreo y la Evaluación─. -
La internacionalización de la evaluación
La construcción de una comunidad internacional de evaluación supone una gran oportunidad para todos de aprender de los demás y llegar más lejos en la profesión de la evaluación. En esta línea, en noviembre de 1995 las sociedades canadiense y americana de evaluación promovieron una conferencia en Vancouver, British Columbia, en colaboración con las otras tres grandes sociedades existentes en esa fecha en Centroamérica, Australasia y Europa. El tema de la conferencia fue: La evaluación para un nuevo siglo. Una perspectiva global. Fue la primera conferencia realmente internacional con 1600 evaluadores de 65 países de los cinco continentes y supuso un momento decisivo para la historia de la evaluación y la creación de una comunidad internacional de evaluación.
En 1997, la Sociedad Europea de Evaluación (EES) organizó una conferencia en Estocolmo. De entre los 280 profesionales de 30 países que asistieron a la conferencia surgieron los objetivos de aumentar los afiliados de la sociedad y extender las redes profesionales de trabajo (Furubo, 1997).
Por otro lado, también en 1997, una discusión sobre el carácter internacional de la evaluación tuvo lugar en EVALTALK, una lista de discusión (listserv) de la Sociedad Americana de Evaluación (AEA). Uno de los temas discutidos fue la creación de una federación de organizaciones nacionales de evaluación. Poco después, el International & Cross-Cultural Topical Interest Group (I&CCE TIG)[1] invitó a los presidentes de nueve organizaciones nacionales y regionales de evaluación para debatir las ventajas de esta futura federación durante la conferencia de la AEA de 1998. En esta conferencia se discutieron varias ideas y posiciones respecto del desarrollo de un foro internacional para la cooperación entre las organizaciones de evaluación. Como seguimiento, se reunieron nuevamente durante la conferencia de la AEA de Orlando, Florida, en 1999.
Una donación otorgada por la W.K. Kellogg Foundation permitió a los presidentes o representantes de 15 asociaciones nacionales y regionales de evaluación que sostuvieran una reunión en Barbados, Indias Occidentales, en febrero del 2000. Asistieron como observadores la W.K. Kellog Foundation, la Universidad de Indias Occidentales, el Banco de Desarrollo del Caribe y el Capital Development Fund de Naciones Unidas. Esta reunión produjo una propuesta para una Organización Internacional para la Cooperación en Evaluación OICE (IOCE por sus siglas en inglés: International Organization for Cooperation in Evaluation), la que fue circulada en la lista de discusión EVALPRES para los presidentes de organizaciones de evaluación y endosada formalmente por los participantes en la reunión de Barbados. Los principios y acuerdos registrados en dicho documento se consideraron como no negociables y como la plataforma para la planificación de la asamblea inaugural de la IOCE. En marzo del 2002 tuvo lugar una reunión en la República Dominicana como continuación a la de Barbados, donde se realizó el planeamiento explícito para una Asamblea Inaugural de la IOCE en marzo de 2003 en Lima.
La IOCE quedó así constituida como una organización flexible formada por entidades de evaluación nacionales y regionales que actúa a nivel mundial, dedicada al fortalecimiento del liderazgo y la capacidad de evaluación en países en desarrollo, al fomento de la interrelación entre teoría y práctica de la evaluación por todo el mundo así como a potenciar la evaluación como profesión, con la finalidad de disponer de una visión global en un intento de contribuir a la identificación y propuesta de soluciones en la problemática del desarrollo en el mundo.
La creación de esta organización internacional y las discusiones tenidas a través de EVALPRES termina de confirmar la importancia de internet en la internacionalización de la evaluación, permitiendo trabajar en red y contar con la participación desde distintos puntos del planeta. A través de internet se ha ido fomentando el discurso sobre la construcción de una comunidad internacional de evaluación y se ha ido contando con el apoyo de las asociaciones de evaluación. La web de la AEA ha servido de soporte en todo el proceso.
A día de hoy, internet es también la herramienta más utilizada por los evaluadores a la hora de adquirir, compartir y enseñar sus conocimientos. Y así los evaluadores dedicados a determinados temas están constituyendo redes que les permita realizar un efectivo intercambio profesional. Es el caso de la International Development Evaluation Association (IDEAS) una iniciativa surgida en 2001 donde el PNUD y el Banco Mundial se unieron para crear una red internacional de profesionales con especial preocupación por las necesidades de los evaluadores en los países en vías de desarrollo. El PNUD y el Banco Mundial en colaboración con el UK Departament for International Development (DFID) patrocinaron una reunión en mayo del 2001 en Londres que culminó con la llamada London Declaration on the Stablishment of IDEAS con cinco principios básicos: estará enfocada al desarrollo de la capacidad de evaluación, pluralidad, subsidiariedad, peso dominante de los países en vías de desarrollo en su gobierno y eficiencia.Actualmente existen numerosas asociaciones internacionales, algunas de ellas especializadas en intervenciones de desarrollo rural: Network of Networks on Impact Evaluation (NONIE), Active Learning Networkfor Accountability and Performance in Humanitarian Action (ALNAP), International Organization for Collaborative Outcome Management (IOCOM), Evaluation Cooperation Group (ECGnet), DAC Network on Development Evaluation (OECD/DAC EvalNet), United Nations Evaluation Group (UNEG) y UNICEF. Otras están especializadas en evaluaciones de impacto ambiental: Climate-Eval (GEF) and Environmental Evaluators Network (EEN).
Además, la IOCE junto con UNICEF y otras organizaciones más, pusieron en marcha una asociación innovadora, EvalPartners, para mejorar las capacidades de las organizaciones voluntarias para la evaluación profesional (VOPEs del inglés Voluntary Organizations for Professional Evaluation), un término que agrupa todo tipo de grupos interesados en hacer avanzar la profesión de la evaluación, grupos de la sociedad civil que pueden funcionar a niveles regionales o nacionales y que reúnen evaluadores de diversos campos. El objetivo es influir en los responsables políticos, en la opinión pública y en otros actores para que las políticas públicas, basándose en la evidencias, tomen decisiones equitativas y eficaces.
Destacar también como hito la Tercera Conferencia Internacional sobre la capacidad nacional de evaluación organizada en São Paulo (Brasil) en septiembre de 2013, donde se designó el año 2015 como el Año Internacional de Evaluación. Una de las razones por las cuales se designó este año fue que los Objetivos del Milenio serían reemplazados por un nuevo conjunto de objetivos acordados a nivel internacional llamados Objetivos de Desarrollo Sostenible. La agenda del año internacional de la evaluación se puede encontrar en http://mymande.org/evalyear/evaluationtorch2015, un conjunto de eventos donde los temas elegidos para su discusión fueron:- La identificación de las prioridades clave de la comunidad de evaluación global para poner en marcha el Programa de Evaluación Global 2016-2020.
- El cierre de la brecha entre la comunidad de evaluación (oferta) y la comunidad de políticos (demanda), para asegurar una buena calidad, igualdad y la evaluación con perspectiva de género.
- La incorporación de las evaluaciones centradas en la igualdad y perspectiva de género en los Objetivos de Desarrollo Sostenible a nivel internacional, y en las estrategias nacionales de desarrollo a nivel nacional.
- El desarrollo centrado en la igualdad de género en políticas de evaluación nacional.
La antorcha de la evaluación del Evalyear fue encendida en el edificio de la ONU en Nueva York en diciembre de 2014 con el objetivo de viajar por todo el mundo a través de 28 países y terminar en el Foro Global EvalPartners donde culminar la celebración del Año Internacional de Evaluación y lanzar las siguientes iniciativas:
- Celebración el Año Internacional de Evaluación en un parlamento nacional.
- Lanzamiento de la Agenda Global de Evaluación 2016-2020.
- Lanzamiento del Foro Mundial de Parlamentarios para la evaluación.
- Lanzamiento de la EvalGender+ , la alianza mundial para las evaluaciones centradas en la igualdad y perspectiva de género.
- Lanzamiento de la EvalYouth, la alianza mundial para evaluadores jóvenes.
-
Principales aportes de la Evaluación que han motivado su expansión
La utilidad de la evaluación está en función de la corriente en la que nos posicionemos: ayudar a interpretar los resultados obtenidos con la aplicación de una determinada política, programa o proyecto (corriente de la teoría); obtener evidencias de que esa política, programa o proyecto funciona (corriente de las evidencias); o aprender y sacar lecciones de experiencia de su implementación (corriente del aprendizaje), si bien estas corrientes no son independientes y la mayoría de las veces la utilidad de una evaluación puede hallarse a caballo entre varios de estos beneficios.
La evaluación como fuente de valores
Como ya se ha mencionado, la evaluación consiste en llegar a un juicio sobre el mérito valor o importancia de unos hechos. Por ello el evaluador necesita un sistema de valores con el que aproximarse a la realidad que se debe juzgar, un sistema que el evaluador ha de descubrir y precisar su aplicación conjuntamente con los involucrados. De este modo, la evaluación se basa en teorías del valor que ayudan a juzgar los hechos; y en teorías de la práctica que aportan métodos y herramientas de evaluación.
No se trata solo de juzgar los resultados esperados y planificados sino también las consencuencias inesperadas de una intervención, pues los efectos secundarios son muchas veces importantes. También es importante fijarse no solo en el corto plazo sino pensar en el largo plazo y la sustentabilidad de los impactos logrados. Otros dos aspectos importantes a la hora de dirimir el juicio son los procesos por los que se consiguen los resultados (implementación ética) y los costes (que sean razonables). No se pueden juzgar los resultados con independiencia del proceso que los ha originado y los costes que han implicado.La evaluación como fuente de evidencias para la toma de decisiones y sus implicaciones políticas
Una cuestión importante de la evaluación está en diferenciar lo que es bueno y aportar evidencias sobre lo que funciona y merece la pena seguir apoyando. Por ello todo trabajo de evaluación tiene implicaciones políticas en la manera de enfocar los temas, en la toma de decisiones, en la percepción de la intervención por la población y sobre todo, en los intereses que se toman en consideración. Es importante que los evaluadores comprendan la implicación de sus acciones y mantengan un diálogo continuo con todos los grupos de interés implicados.
Las evidencias aportadas por la evaluación permiten abrir un proceso de reflexión —tanto de lo que funciona como de lo que no—, y así mejorar las intervenciones y cumplir los objetivos planteados. De esta forma, la evaluación tiene un papel destacado en la toma de decisiones y en la justificación de las mismas, buscando metodologías adecuadas para comparar, elegir y descartar proyectos alternativos en un escenario de escasez de recursos. Se trata de justificar donde localizar los recursos que son siempre escasos.
En cualquier caso la evaluación está resultando clave para la transparencia política, la obligación de rendir cuentas con responsabilidad (accountability) de los gastos realizados y para la demostración de la eficacia de la gestión pública. La cuarta conferencia de la Sociedad Europea de evaluación, en octubre de 2000, trató sobre el papel de la evaluación en el mantenimiento de los sistemas democráticos, un tema que invitaba a pensar sobre el importante papel de esta disciplina hoy en día.La evaluación como fuente de aprendizaje y capacitación
En las actividades de evaluación suelen distinguirse dos usos: el uso de los resultados —normalmente plasmados en un informe final de evaluación— y el uso del proceso, entendiéndose por éste todas las actividades de evaluación que llevan a obtener los resultados. En la evaluación de intervenciones en desarrollo es especialmente interesante el uso del proceso de evaluación, frente al uso exclusivo que muchas veces se hace de los resultados para demostrar que las inversiones funcionan. Un adecuado uso del proceso —mediante el fomento de la participación de los agentes— vincula el conocimiento y los resultados generados en la evaluación con procesos de adquisición de capacidades en la población. Estas capacidades permiten a la población servirse de las herramientas de la evaluación para gestionar su desarrollo, conducirlo en la línea de la mejora continua y obtener evidencias que sustenten la toma de decisiones. Además, también puede ayudar a superar la resistencia natural que, en ocasiones aparece ante el cambio. El uso del proceso es, en sí mismo, un impacto en forma de adquisición de capacidades.
En la evaluación del desarrollo, es bueno que además de la elaboración de un juicio, haya una preocupación seria por desencadenar procesos de aprendizaje ya que los resultados e informes finalizan, pero los aprendizajes y capacidades adquiridas por los implicados permanecen. Sin embargo no se puede olvidar la importancia del uso de los resultados. El reto para los evaluadores está en adaptar ambos usos a cada contexto concreto.Planteamiento actual
Hay que reconocer que después de más de 50 años de asistencia internacional, han sido muchos los avances que se han dado en los enfoques, técnicas, procesos y resultados de evaluación. Hoy en día existen profesionales de evaluación en todas las regiones del mundo. Se ha creado una masa crítica de profesionales que está en capacidad de responder a la demanda creciente de estas actividades.
Además el S&E se está beneficiando de un intercambio general de experiencias, lecciones extraídas y técnicas innovadoras de análisis comparativo. Potenciados por las facilidades de comunicación electrónica, en casi todas las regiones del mundo se están constituyendo asociaciones de profesionales de la evaluación. Estas asociaciones a su vez están impulsando el intercambio de experiencias, escritos, publicaciones; y, están facilitando el establecimiento de alianzas estratégicas entre sus miembros.
Hasta ahora, la evaluación se había dado solamente en el ámbito técnico, con metodologías e instrumentos que dependían y tenían su origen en la esfera de la investigación científica. Hoy esto está cambiando y se está diferenciando más y más del control contable y la investigación. La evaluación está evolucionando y se propone hoy en día como instrumento de manejo ejecutivo en apoyo de la ejecución, evaluación de impactos y transparencia administrativa. -
La evaluación en la Sociedad del Conocimiento
Con el desarrollo de la informática y las telecomunicaciones los sistemas de información han ido ido evolucionando en los últimos años, ganando en eficacia y almacenando mayor cantidad de información en el menor espacio posible. Actualmente existen enormes sistemas de información gestionados por ordenadores para la recogida de datos sobre cualquier cosa que pase en el mundo. Cientos de satélites recogen cantidades masivas de información de todo tipo, climática, geográfica, ambiental, social, etc.
Nuestra sociedad —la Sociedad del Conocimiento y las comunicaciones— ha desarrollado la capacidad de generar, almacenar, transmitir, e instantáneamente comunicar información. Diferentes organizaciones han comenzado a construir sistemas para la gestión de esta ingente cantidad de información. Según la web whois source actualmente hay 142 millones de dominios activos en internet, y en torno a mil millones de páginas. También se ha estimado que se han publicado más de 50 millones de artículos científicos y la producción científica se duplica cada nueve años.
El reto está en discriminar, saber qué información merece la pena. Existen respuestas pero no preguntas, las empresas tienen datos sobre todos los aspectos de sus clientes pero no saben qué necesitan saber sobre ellos. “¿Qué merece la pena saber? Esta es la pregunta clave de la Sociedad del Conocimiento. La importancia de esta situación para la evaluación es el hecho de que nunca como hasta ahora en la historia de la humanidad, ha sido tan verdad la afirmación de que el conocimiento es poder”.
El poder ha sido definido de diferentes modos a lo largo de los años. De acuerdo con los historiadores, los seres humanos aparecieron hace 3-5 millones de años en el Este de África. Durante mucho tiempo los hombres vivieron de la caza constituyendo pequeñas sociedades. Después vino la revolución de la agricultura hace unos 10.000 años y la revolución industrial hace 300. En el último cuarto del siglo XX hemos visto emerger la era de la información. En la era de la agricultura el poder estaba en la tierra, en la era industrial el poder estaba en el capital. En la era de la información el conocimiento es poder, con el conocimiento acertado se puede conseguir tierra y capital.
La evaluación —como actividad para la mejora, fortalecimiento y adquisición de capacidades y no como simple generación de resultados e informes— aborda las preguntas fundamentales de nuestro tiempo: ¿En qué información merece la pena fijar la atención?; ¿cómo juntar la información de cara a convertirla en conocimiento?; ¿cómo sabemos qué es real? (Patton, 1999). A estas cuestiones señaladas por Patton podemos añadir una cuarta: ¿cómo discriminar la información buena de la mala?
Ante las innumerables cuestiones a las que puede responder un evaluador ante una evaluación concreta, el gran reto está en resolver qué merece la pena saber y hacer para obtener información útil en un momento adecuado para la toma de decisiones. En definitiva, averiguar qué es lo que crea la diferencia entre lo que la gente hace.
La evaluación se ha convertido en una profesión clave para la eficacia. Los evaluadores no son sólo consultados para la evaluación sino también para el diseño de programas, especialmente en Norteamérica. Los evaluadores han analizado muchos programas y pueden ayudar a mejorar su eficacia. En esta línea se ha creado todo un campo de investigación para el estudio de los expertos de evaluación para averiguar qué es lo que les capacita como tales expertos. Parte de esta investigación es el desarrollo de la inteligencia artificial en la evaluación, sistemas expertos que puedan ayudar a la evaluación.
El papel clave de la evaluación para mejorar la programación a través de una adecuada retroalimentación y mejorar la gestión de los programas a través de un adecuado seguimiento o monitoreo, es en la actualidad ampliamente reconocido. A través de la evaluación se pueden determinar los efectos socioeconómicos de las acciones emprendidas, compararlos con los recursos invertidos, analizar su coste y mejorar las futuras políticas, programas y proyectos a través de la retroalimentación y lecciones aprendidas, y proporcionar así una base para la responsabilidad y la fundamentación a los encargados de tomar decisiones en acciones futuras. Se trata en definitiva de comprender mejor para actuar mejor, resolver mejor los problemas y lograr mejor los objetivos buscando el perfeccionamiento de los resultados.
El potencial pleno de las actividades evaluativas de seguimiento o monitoreo se pueden comprender sólo cuando se ven como parte integral del proceso de gestión y los directores de los programas aceptan su importancia y utilidad. La buena gestión necesita y demanda un buen sistema de información, pero este sistema, por muy robusto que sea conceptualmente, no puede sobrevivir a una gestión ineficaz o a estructuras de gestión mal diseñadas. La finalidad del seguimiento o monitoreo es ayudar a la gestión a establecer y mantener un sistema de información y a utilizarlo con oportunidad. El seguimiento comprende también la confrontación de los datos registrados del programa y la recopilación de datos suplementarios para el análisis y la interpretación que se precisan a fin de adoptar decisiones relacionadas con el funcionamiento del programa.
Retroalimentación y capacidad de aprendizaje en las funciones de seguimiento y evaluación.Referencias citadas:
Patton, M. Q. (1999). Utilization- Focused Evaluation in Africa: Evaluation Training Lectures delivered to the Inaugural Conference of the African Evaluation Association. Ed. P.N. Chaiban and M. Patel.
-
Estándares de evaluación
Un proyecto pionero para el desarrollo de estándares profesionales para la evaluación de programas fue iniciado en Estados Unidos en 1975. Su objetivo era el de mejorar la evaluación de la educación y programas de formación. Se estableció un comité compuesto por 16 asociaciones profesionales de la educación, la Sociedad Americana de Evaluación (American Evaluation Association o AEA) y la Asociación Americana de Psicología. El resultado fue un conjunto de 30 criterios, el Programme Evaluation Standards (PES) organizados en torno a cuatro principios principales: utilidad, viabilidad, propiedad y precisión. Se describen a continuación estos principios que actualmente sirven de guía para asegurar la calidad de las actividades de evaluación.
Utilidad (Utilitity)
Como punto de partida es preciso destacar la utilidad de la evaluación, en la que ha de buscarse un uso concreto para agentes concretos. El resultado de una evaluación no puede considerarse satisfactorio si se limita únicamente a la exposición de los resultados alcanzados sin contribuir a que dicha exposición redunde en una mejora del desempeño general de las funciones propias de los actores involucrados en el objeto a evaluar. Por ello la metodología a emplear procurará hacer un uso adecuado del proceso de evaluación, así como de los resultados de evaluación (Patton, 1998; 2008). El objetivo es que la evaluación ayude a las personas o grupos interesados a: (1) tener acceso a las informaciones que necesitan para el desempeño de su actividad, (2) identificar los defectos y virtudes de lo evaluado y, (3) proponer soluciones a fin de mejorar el objeto que se evalúa. Este aspecto de utilidad comprende identificar las personas afectadas por la evaluación para poder dar respuesta a sus necesidades; dar credibilidad a los resultados para que tengan una máxima aceptación; seleccionar la información que permita responder a cuestiones pertinentes; describir cuidadosamente los enfoques, procedimientos y fundamentos utilizados para interpretar los resultados de modo que queden claras las bases de los juicios de valor; proporcionar información esencial y que se entienda fácilmente; y divulgar los resultados significativos y los informes de evaluación de manera que puedan utilizarse en el momento oportuno.
Unidos a este principio principal están otros principios como la credibilidad, claridad, puntualidad, diseminación de resultados, y la identificación de necesidades y valores.
Viabilidad (Feasibility)
Los procedimientos para llevar a cabo la evaluación no deben ser excesivamente complicados y sí eficientes. Han de garantizar que la evaluación se lleve a cabo de un modo realista, prudente y diplomático, que se hayan ponderado todos los puntos y tenido en cuenta los costes. Este aspecto de viabilidad comprende diseñar procedimientos prácticos de evaluación que permitan reducir al mínimo las interrupciones y molestias mientras que se obtiene la información necesaria; anticiparse a las diferentes posiciones de los diversos grupos de interés, de manera que pueda lograrse su cooperación y puedan evitarse o contrarrestarse los posibles intentos de cualquiera de estos grupos para limitar las actividades de evaluación o para sesgar o usar indebidamente los resultados; y producir informaciones con el suficiente valor, de modo que puedan justificarse los recursos empleados. Este principio comprende así fundamentalmente la viabilidad en términos políticos, prácticos y de coste-eficacia.
Propiedad (Propriety)
La evaluación debe estar basada en compromisos explícitos que aseguren la necesaria cooperación, la protección de los derechos de las partes implicadas y la honradez de los resultados, además debe proporcionar un informe equilibrado que ponga de manifiesto tanto aciertos como errores del objeto que se evalúa. Este aspecto de propiedad comprende diseñar la evaluación para ayudar a las organizaciones a atender y responder con eficacia a las necesidades de toda la variedad de participantes destinatarios; acordar las obligaciones de las partes formales de una evaluación (qué debe hacerse, cómo, por parte de quién, cuándo); diseñar la evaluación respetando y protegiendo los derechos y el bienestar de las personas; realizar una evaluación completa y justa; asegurar que los resultados de la evaluación resulten accesibles a personas afectadas por la evaluación; y llevar a cabo el gasto de recursos mediante procedimientos de rendición de cuentas acertadas y de un modo éticamente responsable. Bajo este principio por tanto, la evaluación ha de conducirse legalmente, éticamente y bajo la consideración de aquellas personas involucradas en la evaluación así como los afectados por sus resultados.
Precisión (Accuracy)
El objeto, su evolución y su contexto deben estar claramente descritos. Han de garantizar que la evaluación presente y transmita las informaciones técnicas adecuadas referentes al programa objeto de evaluación, resaltando tanto los aspectos positivos como negativos. Este aspecto de precisión comprende describir y documentar con claridad y precisión el programa evaluado y su contexto, así como los propósitos y procedimientos de la evaluación; describir las fuentes de información utilizadas en la evaluación de un programa, de modo que pueda valorarse la adecuación de la información; elegir e implementar procedimientos de recogida de información válidos y fiables; procesar y revisar sistemáticamente la información recogida; analizar de modo apropiado y sistemático tanto la información cuantitativa como cualitativa, de modo que se responda eficazmente a las preguntas de evaluación; justificar las conclusiones a las que se llegue de modo que los interesados puedan valorarlas; y elaborar informes imparciales.
Unidos a este principio están otros como la adecuación técnica, el análisis del contexto, el uso de fuentes de información defendibles e información válida y confiable, llegar a conclusiones justifidas y la imparcialidad.
Un principio extra: la flexibilidad
En muchas ocasiones el objeto a evaluar se encuentra indisolublemente unido a la acción de las personas y evolución en el tiempo. Esto implica un grado de incertidumbre a la hora de acometer la evaluación, en función del comportamiento de los individuos, grupos, y el conjunto de las instituciones y organizaciones en respuesta a cada nuevo paso que se da. Por consiguiente uno de los requisitos que se deben tener en cuenta es el grado de flexibilidad para adaptar la evaluación a la receptividad de los actores y a sus dinámicas internas. En el caso de los proyectos de desarrollo el camino elegido para la ejecución de una intervención es un elemento determinante de su calidad, puesto que es el propio proceso de desarrollo apoyado o impulsado el objetivo principal de la intervención. Esta visión, que pone el énfasis en la calidad del proceso de desarrollo como base para su sostenibilidad, más que en los resultados directos y a corto plazo, exige poner la atención de la evaluación en los procesos que se ponen en marcha a través de cada proyecto y los aprendizajes que genera.
Referencias citadas:
Patton, M. Q. (1998). Discovering process use. Evaluation, 4(2), 225-233.
Patton, M. Q. (2008). Utilization-Focused Evaluation (4ª Ed.). Thousand Oaks: Sage Publications.
