Guía Joven/La evaluación de la actividad

¿Evalúas para mejorar?

¿Te encuentras en alguna de estas situaciones?
La evaluación te supone un dolor de cabeza y crees que no tienes tiempo de hacerla.
La evaluación te suena lejana y muy teórica.
¿Crees que la evaluación debe formar parte del proceso de trabajo desde el inicio?
¿Quieres fomentar la participación de todos los agentes del municipio (gente joven, personal técnico, concejales/as) en el desarrollo del proyecto a través de la evaluación?

Descripción

¿Qué es evaluar? Evaluar es un proceso sistematizado, no una acción puntual, que sigue una lógica y unos criterios de recogida y análisis de la información, previamente establecidos y relacionados con la finalidad deseada y la planificación de la actividad o proyecto. Este proceso conduce a emitir juicios de valores positivos o negativos sobre los diferentes aspectos observados de la actividad o proyecto a evaluar, que ayudarán a detectar mejoras y cambios a incorporar a nuestra intervención.

Si con nuestras actividades y proyectos se quiere transformar el entorno y mejorar la realidad juvenil, hay que tener claro cómo lo queremos transformar: en qué aspectos, en qué medida, con qué destinatarios, con qué recursos y con qué actuaciones.

Es decir, la evaluación y la planificación son vasos comunicantes, hay que pensarlas y estructurarlas en el mismo momento, previamente a la puesta en escena de los proyectos o actividades.

¿Qué se puede evaluar? Entre otros aspectos, se pueden emitir juicios de valor sobre:

La realidad o las necesidades de las personas jóvenes.
Los procesos de implementación de las actividades o de los proyectos.
Los resultados obtenidos con estos procesos.
El impacto que estas actividades y proyectos han tenido sobre la población diana.

¿Para qué sirve evaluar? La evaluación es necesaria para tomar decisiones sobre nuestras actuaciones, tales como, la modificación del proyecto, la eliminación, etc.

Además, debe ser un proceso adecuado a las características propias del proyecto. Entonces, si el proyecto es participativo, la evaluación también deberá serlo. El Proyecto HEBE: Informe del proceso de Evaluación participativa del Empoderamiento Juvenil con 4 Grupos de Jóvenes permite conocer algunas experiencias de procesos de evaluación desde una perspectiva participativa con los jóvenes.

Durante la planificación de un proyecto, pues, es importante pensar: cómo, quién, cuándo y qué tipo de evaluación haremos. Para profundizar en este tema la «Guía Modelo de Evaluación de Procesos Participativos en las Administraciones Públicas» puede resultar muy útil.

Desarrollo

¿Cómo plantear la evaluación de un proyecto juvenil?

Toda evaluación de una intervención requiere que, previamente, durante la planificación de la intervención, se haya identificado y especificado qué resultados se quieren alcanzar y con qué calidad y medida, con una visión participativa e integradora de las diferentes miradas juveniles.

Para ello, es necesario que se desglose y se analice la teoría del cambio que conlleva el proyecto que se quiere desarrollar, es decir, cuáles son las hipótesis de funcionamiento según las cuales el proyecto (con sus recursos, actividades y productos) conllevará unos cambios concretos, específicos, deseados y remarcables en la población diana. Estas hipótesis deberían ligar de manera lógica y coherente:

El problema definido.
Los recursos que se destinan.
Las actividades y los procesos que se tienen previstos.
Los productos u ouputs que se prevé obtener.
Los resultados u outcomes que se pretenden alcanzar.

Problema

Recursos

Actividades

Productos

Resultados

Veámoslo con un ejemplo. Una de las conclusiones del diagnóstico que se haga de la realidad juvenil puede que los jóvenes de perfil no asociado de entre 15 y 18 años de nuestro municipio no participan en las dinámicas socioculturales comunitarias. Este déficit hace que se ponga en marcha un proyecto de espacio joven para promover la participación de este perfil de jóvenes: se dispone de recursos (dinero, infraestructura y personal) y de actividades (encuentros, inscripciones, asambleas, difusión, proceso participativo, taller de habilidades participativas, etc.). De todo ello, se extrae unos productos directos: gente joven que se encuentra periódicamente, se conoce y se relaciona, se inscribe en las actividades del espacio joven, se forma en habilidades de participación, hay vínculo de las personas jóvenes con una infraestructura juvenil y con el personal dinamizador del espacio joven, se hace una lista de propuestas de actividades formuladas por los jóvenes ... y, como consecuencia, unos resultados: aumenta la participación de los jóvenes de este perfil concreto en las dinámicas socioculturales comunitarias del municipio.

Una vez estructurada la teoría del cambio del proyecto, como indica el «Manual de Evaluación de Planes y Programas de Juventud», debe plantearse qué información es necesaria recoger para comprobar las hipótesis del cambio, y del cómo se procederá parasu recogida, como a quién se considerará para dicho proceso.

Si se ha formulado la teoría del cambio y se han considerado las diferentes hipótesis, estas se convierten en las fuentes de las preguntas de evaluación. El primer paso que hay que llevar a cabo, es hacer explícitas las preguntas de la evaluación. Lo que se pretende es dar respuestas sobre cómo funciona el proyecto y su rendimiento. Hay que hacer las preguntas correctas para obtener las respuestas que interesan. Las preguntas cambiarán en función del tipo de evaluación que se haga. Siguiendo el ejemplo ficticio serían:

1. ¿Se ha llegado a la población diana (destinatarios específicos)? → ¿Los jóvenes de perfil no asociado de entre 15 y 18 años han participado en el espacio joven y en las actividades programadas?

2. ¿Se han detectado y analizado correctamente sus necesidades? → ¿Los jóvenes de perfil no asociado de entre 15 y 18 años necesitan participar en las dinámicas socioeducativas del municipio? ¿Por qué?

3. ¿Se han dispuesto de todos los recursos necesarios? → ¿Hemos conseguido abrir un espacio joven, con personal dinamizador y recursos económicos para gestionarlo?

4. ¿Se han implementado todos los procesos y actividades previstos del proyecto? → ¿Hemos conseguido hacer encuentros periódicos, asambleas de jóvenes, talleres de habilidades...?

5. ¿Se han obtenido los productos esperados? → ¿Hemos conseguido que los jóvenes no asociados se formen en habilidades participativas? ¿Que se establezca una relación entre los jóvenes? ¿Que los jóvenes de este perfil se sientan vinculados a la infraestructura juvenil y al personal dinamizador? ¿Que haya una lista de propuestas formuladas por los jóvenes? ¿Se ha logrado el impacto deseado en el problema detectado en la población destinataria? → En todo este proceso, ¿ha incrementado la participación de los jóvenes no asociados de entre 15 y 18 años a las dinámicas socioculturales del municipio?

Un segundo paso es la recopilación de la información. Aparte de producir los informes (fuentes primarias) o consultar la documentación de otras fuentes que servirá para responder preguntas de evaluación (fuentes secundarias), hay que elegir las fuentes (primarias o secundarias) y las técnicas (cuantitativas, cualitativas y/o participativas) que mejor sirvan para responder las preguntas de la evaluación. ¿Hay que ver quién lo hará? ¿Qué técnicas existen para hacerlo fácil, participativo y lo más objetivo posible? ¿Cuándo se aplicarán?

¿Qué herramientas y técnicas se pueden utilizar para evaluar?

· Monitorizar el proyecto es un procedimiento sencillo que consiste en identificar indicadores necesarios para evaluar el desarrollo del proyecto, e ir recogiendo de manera sistemática en una base de datos en las diferentes fases del proyecto: número de participantes, número de reuniones, cantidad de talleres realizados, gastos del proyecto, etc. Sirve para controlar y hacer el seguimiento de diferentes aspectos del proyecto. No es necesario que sea muy complejo, lo puede mantener una persona sola o puede ser compartido entre un equipo de personas. Conviene mantenerlo actualizado, rigurosamente y sistemáticamente, para que sea útil.

El observatorio de la realidad es un procedimiento similar pero que hace referencia a indicadores de la realidad juvenil, no al desarrollo de las actuaciones. Puede ser útil para los técnicos y agentes que trabajan en un municipio y para los mismos jóvenes. Sirve para detectar necesidades y cambios entre la población joven antes de diseñar actuaciones (demografía, procedencia geográfica, estructura por edades, ocupación, emancipación, vivienda, participación...).
La observación-participante es una observación de los jóvenes durante la realización de las actividades, que puede llevar a cabo el mismo personal dinamizador o formador, y que consiste en crear una parrilla de observación de actitudes, hábitos, valores o habilidades de los jóvenes en un espacio y tiempo concretos. El observador o observadora hace una marca en el papel cuando aparece la actitud que se quiere observar en la casilla adecuada, según los perfiles juveniles: edad, perfil social, sexo... También se puede llevar a cabo por los mismos jóvenes respecto de un grupo de terceros.
Las dinámicas de autoevaluación: tests, parrillas con ítems o preguntas que responden los mismos jóvenes, en solitario o en grupo, sobre sus propias actitudes, valores, aprendizajes, habilidades, hábitos... sirven para que las personas jóvenes sean más conscientes y responsables de su desarrollo personal.
El test de satisfacción es un cuestionario dirigido a las personas jóvenes donde puntúan su grado de satisfacción con aspectos concretos de un proyecto o actividad. Se puede utilizar como parte inicial en una reunión de evaluación compartida entre usuarios de un curso, de una actividad, etc.
Las entrevistas individuales o grupales son un conjunto de preguntas abiertas (que puede variar en estructuración y en extensión) que la persona entrevistadora (que puede ser un/a profesional o un/a joven) dirección a la persona entrevistada con el objetivo de conocer con más profundidad una experiencia, una vivencia, una biografía, una opinión, un posicionamiento, una percepción o una visión... Se hace un análisis del discurso en relación con los ítems que queremos evaluar. Conviene seleccionar los entrevistados teniendo en cuenta la diversidad de perfiles sociales que hay en nuestro municipio o equipamiento: edad, sexo, estudios, perfil asociado o no, procedencia ...
El grupo de discusión es un debate grupal en base a unas preguntas y conducido por una figura dinamizadora o moderadora (que puede ser de perfil técnico o joven) entre un grupo de entre 6 o 12 jóvenes o profesionales para conocer cuál es su visión y percepción sobre un tema concreto. En el libro «Técnicas participativas para la educación popular» se encuentra una amplia recopilación de diversas técnicas de participación que pueden ser útiles para la evaluación. También puedes revisar la experiencia de evaluación participativa del Proyecto HEBE "Proceso de evaluación participativa con jóvenes de la “Asociación Norte Joven Vallecas” de Madrid.

Las técnicas de creatividad permiten evaluar ideas de manera creativa. Evaluar las ideas que se han generado valorando las amenazas y las oportunidades y descartando las que no nos sirven, reorganizándose las por temáticas y priorizando. En la Guía: Evaluación de un proceso participativo para la integración social puede ser una herrameinta práctica a la hora de evaluar creativamente.

Pero, ¿cómo elegir entre tantas técnicas? Algunos criterios:

La elección del "cómo" evaluar será más fácil si se tiene claro el "por qué" se quiere evaluar: ¿reajustar y mejorar la actuación con los jóvenes? ¿Rendir cuentas ante los políticos, la ciudadanía o los financiadores? ¿Mejorar la legitimidad y/o visibilidad de nuestros proyectos? ¿Involucrar a los jóvenes en la gestión y la planificación del proyecto?
El esfuerzo que se emplea para evaluar debe ir en sintonía con los recursos de que se dispone y el rédito que se quiera sacar.
La evaluación debe ser sencilla y concreta para que los proyectos deben ser sencillos y concretos. Cuanto más compleja es una intervención, más compleja será la evaluación.
Las evaluaciones de impacto significan identificar los cambios que se han producido en la realidad intervenida y que son debidos a esta intervención. Para hacer esto se necesitan herramientas metodológicas muy potentes (grupo control, etc.) y con cierta dificultad y complejidad para implementarlas. Se puede ampliar el conocimiento de esta técnica en la «Guia d’avaluació d’impacte» de Ivàlua.
La evaluación debe tener en cuenta la visión de los diferentes perfiles de jóvenes y la visión de otros profesionales y otros agentes del territorio. En función de los canales de interlocución que hayan establecidos, se podrán elegir qué visiones se pueden evaluar y cuáles no y qué técnicas utilizar. El «Manual de Evaluación para Políticas, Planes, Programas y actividades de Juventud» ofrece algunas orientaciones prácticas para llevar a cabo, de forma planificada y organizada, la evaluación de los procesos de participación ciudadana que se impulsan desde las diversas administraciones públicas.

Y ahora, ¿cómo se sacan las conclusiones de todo esto? [modifica]

Lo más importante de la evaluación es que permita sacar conclusiones útiles, valoraciones positivas o negativas respecto a los proyectos, las actividades, los recursos, la realidad del grupo diana y, sobre todo, respecto a los cambios y transformaciones que han vivido los destinatarios y el entorno. Siempre teniendo en cuenta que las conclusiones serán diferentes en función del propósito de la evaluación.

Por tanto, en primer lugar, cuando se ponga en marcha una evaluación se debe tener claro para qué debe servir. Un ejemplo de esto puedes verlo en el artículo: La evaluación de las políticas municipales de juventud a partir de un sistema de indicadores

En segundo lugar, hay que pensar que tiene derecho a emitir juicios de valor sobre el proyecto evaluado y pensar como implicar en la evaluación los agentes significativos y los diferentes perfiles de jóvenes que han estado vinculados.

En tercer lugar, se ha de destinar un tiempo al análisis y la comprensión de la información recogida, de otra forma no sirve de nada recogerla. Para recogerla y no usarla es mejor no recogerla. El análisis es el momento para repensar cómo transformar la realidad con los proyectos juveniles.

En cuarto lugar, para analizar la información recogida, hay que cruzarla siempre con indicadores de perfiles de jóvenes, ya que cualquier intervención que se ponga en marcha puede tener impactos diferentes en función de los perfiles de los destinatarios.

Y en quinto lugar, y ya para terminar, hay que pensar bien cómo se redactan, como se difunden y con quién se comparten las conclusiones de la evaluación, ya que éstas son tanto el punto final de un proyecto como el punto inicial del proyecto siguiente.

PALABRAS CLAVE:

Teoría del cambio, proceso de evaluación, técnicas de recogida de información, evaluación.

Referencias

1. Ir↑ Oms, M; Ramos, X. «4.6 L'avaluació del projecte». A: Planificació i avaluació d'un projecte (Web) (en catalán). Escuela de Administración Pública de Cataluña. Generalitat de Catalunya, 2011.

2. Ir↑ Parés, M; March, H. «Guia per avaluar processos participatius» (PDF) (en catalán). Guies breus de participació ciutadana. Departamento de Gobernación y Relaciones Institucionales. Generalitat de Catalunya [Barcelona], 3, 2012.

Bibliografía

Anduiza, E; de Maya, S. «La qualitat en la participació: una proposta d'indicadors» (PDF) (en catalán). Finestra Oberta. Fundación Jaume Bofill [Barcelona], 43, 2007.
Carola, J. «Eines per avaluar processos i espais estables de participació (II): Criteris de qualitat democràtica en l’anàlisi de processos participatius» (PDF) (en catalán). Oficina de participación ciudadana. Diputación de Barcelona [Barcelona], 2011.
Eizagirre, M; Zabala, N. «Investigación-acción participativa (IAP)» (Web) (en castellano). Diccionario de Acción Humanitaria y Cooperación al Desarrollo, 2006. [Consulta: 24 diciembre 2015].
Fundació Pere Tarrés. «Avaluació de l'impacte- El repte» (PDF) (en catalán). Tast de projectes – Consultoría y Estudios, 2014.
Fundació Pere Tarrés. «Plas! Eina web de seguiment de plans» (PDF) (en catalán). Consultoría y Estudios, 2014.
Jorba, L; Martí, J; Parés, M. «La qualitat en la participació: orientacions per a l'avaluació participada» (PDF) (en catalán). Finestra Oberta. Fundación Jaume Bofill [Barcelona], 43, 2007.
Morales, E; Rebollo, R; Gonzále, S. «Guia operativa d’avaluació de l’acció comunitària» (PDF) (en catalán). Área de Calidad de Vida, Igualdad y Deportes. Ayuntamiento de Barcelona [Barcelona], 2014.
Oficina de servicios a la juventud, Maresme. «Com avaluar un Pla Local de Joventut. Guia per als tècnics municipals de joventut» (PDF) (en catalán). Promoción Económica y Servicios Educativos. Consejo Comarcal del Maresme, 2009.

Enlaces externos

Cómo evaluar ideas. Fundación Neuronilla. (castellano) [Fecha de consulta: 24 diciembre 2017]
Guia pràctica 1 - Com iniciar una avaluació: oportunitat, viabilitat i preguntes d'avaluació. Ivàlua. (catalán) [Fecha de consulta: 24 diciembre 2017]
Guia pràctica 3 - Avaluació del disseny. Ivàlua. (catalán) [Fecha de consulta: 24 diciembre 2017]
Guia pràctica 5 - Avaluació d'impacte. Ivàlua. (catalán) [Fecha de consulta: 24 diciembre 2017]
Guies i recursos per a l'avaluació de polítiques públiques. Ivàlua. (catalán) [Fecha de consulta: 11 diciembre 2015]
L'avaluació de programes socials. Fundació Pere Tarrés. (catalán y castellano) [Fecha de consulta: 11 diciembre 2015]
Perform Well Urban Institute: web colaborativa sobre la evaluación y mejora de programas sociales. (inglés) [Fecha de consulta: 11 diciembre 2017]
Técnicas participativas para la educación popular. Blog Biblioteca Popular. (castellano) [Fecha de consulta: 24 diciembre 2017]
Tools, Instruments, & Questionnaires for research & evaluation of intervention programs. Wilderdom. (inglés) [Fecha de consulta: 11 diciembre 2017

← El diálogo con la gente joven		La evaluación de la actividad	La planificación de la actividad →
Guía Joven