¿CÓMO EVALUAR EL CAMBIO ESTRUCTURAL DE GÉNERO EN UNIVERSIDADES? APRENDIZAJES DE UNA PRÁCTICA COLABORATIVA Y FEMINISTA

I. INTRODUCCIÓN[Subir]

A lo largo de las últimas cuatro décadas, diferentes tipos de políticas e iniciativas públicas se han puesto en marcha para promover la igualdad de género. Sin embargo, la promoción de la igualdad de género constituye una cuestión controvertida y compleja (‍Meier, 2006; ‍Daly, 2005; ‍Walby, 2005) y el compromiso con la misma tiende a evaporarse durante la implementación de las intervenciones (‍Engeli y Mazur, 2018; ‍Espinosa-Fajardo, 2018; ‍Bustelo, 2017; ‍Longwe, 1997). A este respecto, diversas dificultades y resistencias al cambio en materia de igualdad de género han sido documentadas por académicas y profesionales feministas (‍Verloo, 2018; ‍Cavaghan, 2017; ‍Lombardo y Mergaert, 2016; ‍Cornwall et al., 2007; ‍Ferree y Tripp, 2006).

En el sector concreto de las políticas de ciencia e innovación, así como en el de la educación superior en general, se ha observado en los últimos años una mayor preocupación por la persistencia de la desigualdad de género y se han puesto en marcha diferentes tipos de medidas para hacerle frente (‍Pastor y Acosta, 2016; ‍Pastor et al., 2015). El avance de las mujeres en el sector ha sido desigual y lento. Por ejemplo, solo el 26,2 % de los puestos académicos de alto nivel están ocupados por mujeres, aunque representan el 48,1 % de todas las personas con doctorado (‍Comisión Europea, 2021). Las iniciativas para promover la igualdad de género en la investigación se centraron primero en programas específicos para ayudar a las mujeres a seguir carreras científicas. Cuando esto resultó insuficiente para aumentar el número de mujeres en el campo, el enfoque se desplazó hacia la lucha contra las barreras estructurales y la promoción de la transformación estructural de las instituciones utilizando un enfoque sistémico, integral y sostenible. Siguiendo este enfoque en el 7.º Programa Marco, la Comisión Europea lanzó una convocatoria de cambio estructural de género para abordar sistemáticamente este tipo de desigualdad en la ciencia a través de planes de acción orientados al género dentro de las universidades y centros de investigación. Con este enfoque, el cambio estructural de género se ha convertido en una estrategia para mejorar la igualdad de género, impulsando desde una perspectiva holística y sistémica transformaciones en las culturas, las estructuras y las personas de las universidades y centros de investigación. Sin embargo, la puesta en práctica de este tipo de iniciativas también se enfrenta a importantes retos debido a su carácter transformador (‍Alonso Álvarez y Diz Otero, 2022; ‍Lombardo y Bustelo, 2022; ‍Tildesley et al., 2021; ‍Palmen y Schmidt, 2019; ‍Verge et al., 2018).

En este escenario, la evaluación se convierte en una herramienta crucial para acompañar la implementación de las acciones de igualdad, aprender de los desafíos emergentes y guiar el proceso transformador. Entendida como «el enjuiciamiento sistemático de la valía o mérito de un objeto» (‍Stufflebeam y Shinkfield, 1987: 19), la evaluación conforma un proceso que persigue medir, analizar y valorar tanto el diseño como la implementación e impactos de las políticas y que puede ser realizada en cualquier momento del ciclo de la política pública. De este modo, constituye un ejercicio fundamental para identificar qué factores influyen en la adecuada ejecución de las políticas y cómo mejorar estas para generar resultados con mayor impacto en materia de igualdad de género.

Este artículo presenta la práctica de evaluación del proyecto «Transforming organisational culture for gender equality in research and innovation» (GENOVATE), centrada en el análisis y valoración del cambio estructural de género en universidades combinando los enfoques colaborativo y feminista. Los enfoques clásicos en evaluación se orientan fundamentalmente a la medición de resultados finales —a través de un conjunto predefinido de criterios— de cara a la rendición de cuentas. Los enfoques colaborativo y feminista, por su parte, analizan no solo los resultados, sino también el diseño y la implementación. Su intención es mejorar la comprensión del funcionamiento de las políticas y, en concreto, de cómo estas generan o pueden acelerar transformaciones en materia de igualdad. En este sentido, no se orientan principalmente a la rendición de cuentas, sino especialmente al aprendizaje y la mejora continua. A partir de la práctica evaluativa del proyecto GENOVATE, se explora su modelo de evaluación del cambio estructural de género en universidades y se trata de responder a la siguiente pregunta: ¿qué aporta esta combinación de enfoques, frente a los enfoques clásicos, a la evaluación del cambio estructural de género? En concreto, se exploran las propuestas y potencialidades del modelo GENOVATE en relación con los ejes y áreas de análisis, las preguntas de evaluación y los indicadores, así como a las orientaciones metodológicas para captar el cambio generado por planes de igualdad en universidades.

Para ello, a continuación, se expone el estado del arte en materia de evaluación colaborativa y feminista. Asimismo, se presentan las características de la evaluación del proyecto GENOVATE y, tomando como base esta experiencia evaluativa, se comparte el modelo GENOVATE de evaluación del cambio estructural de género. El artículo se cierra con unas conclusiones que persiguen alimentar los debates emergentes sobre cómo evaluar el cambio en materia de igualdad de género, en general, y cómo hacerlo en el ámbito de las universidades, en concreto.

II. EVALUACIÓN COLABORATIVA Y FEMINISTA[Subir]

La evaluación colaborativa y la evaluación feminista conforman dos enfoques específicos de la disciplina de evaluación de programas y políticas públicas que se han desarrollado en las últimas décadas. Ambos comparten una clara orientación a la promoción de la justicia social, así como características epistemológicas y metodológicas fuertemente conectadas con el paradigma de la evaluación transformadora (‍Mertens, 2009; ‍Nirenberg et al., 2003). En este sentido, conciben la evaluación no solo como un ejercicio técnico, sino eminentemente político. Entienden que la misma no se orienta meramente a la rendición de cuentas, sino al aprendizaje, la mejora de las políticas públicas y el empoderamiento de la ciudadanía, con un foco en los grupos y personas con menos voz. En esta línea, ambos enfoques otorgan un papel central a los actores y actoras (a partir de ahora, stakeholders o partes interesadas) en la generación de conocimiento y consideran al equipo evaluador como un facilitador de la evaluación. A su vez, en tanto que comprenden la evaluación como una oportunidad para promover el cambio social, ponen especial atención a entender cómo los procesos contribuyen a los resultados en cada contexto específico. Ahora bien, cada uno de estos enfoques evaluativos cuenta con su propio recorrido y muestra también sus particularidades.

Por una parte, la evaluación colaborativa nace de la apuesta por la participación de los stakeholders en la evaluación que empieza a desarrollarse en la década de los sesenta del pasado siglo (‍Cousins et al., 2013). Desde entonces, diversas han sido las propuestas que bajo diferentes denominaciones —como evaluación democrática, evaluación de cuarta generación, evaluación para el empoderamiento, evaluación participativa, evaluación con enfoque colaborativo, entre otras— han puesto el foco en la implicación dinámica y continua de las partes interesadas en los procesos evaluativos así como en el reconocimiento de sus conocimientos y saberes (‍Shulha et al., 2016; ‍Chouinard, 2013; ‍Cousins et al., 2013; ‍Fetterman, 2005; ‍Institute of Development Studies, 1998; ‍Monnier y Conan, 1995; ‍Guba y Lincoln, 1989). Estas propuestas —que en este artículo denominaremos «evaluación colaborativa» en sentido amplio— dan respuesta a las críticas a los enfoques clásicos de evaluación caracterizados por un carácter positivista y cuantitativo, un foco en la medición de resultados y en el análisis de la atribución (causa-efecto) y una perspectiva top-down (‍Guba y Lincoln, 1989; ‍Scriven, 1973). Frente a ello, optan por aproximaciones de tipo cualitativo, reconociendo el papel de la intersubjetividad en la construcción del conocimiento, y ponen el foco en el análisis de la contribución de los proyectos dirigiendo la mirada a los procesos de implementación. Asumen que la medición de resultados y el análisis de la atribución no siempre ayudan a comprender el cambio social y, en nuestro caso, no facilitan entender el cambio estructural de género. Asimismo, sostienen que comprender los procesos de un proyecto es más importante que producir explicaciones generalizadas. En este sentido, sitúan a la diversidad de stakeholders y a sus diferentes perspectivas y prioridades como un elemento clave a considerar en todo el proceso de indagación y valoración de los programas y políticas públicas.

Por otra parte, la relación entre evaluación e igualdad de género empieza a tomar fuerza a raíz de la IV Conferencia Internacional sobre la Mujer de Naciones Unidas (1995). La definición del mainstreaming de género como una de las dos estrategias —junto con el empoderamiento de las mujeres— para promover la igualdad supuso reconocer la necesidad de incorporar la perspectiva de género en todas las fases del ciclo de las políticas públicas, incluida la evaluación (‍Espinosa-Fajardo y Bustelo, 2019). Desde entonces, un número creciente de publicaciones —basadas en las teorías y metodologías feministas— se han desarrollado para evaluar las políticas públicas desde una perspectiva de género, así como para evaluar políticas específicas de igualdad. En general, estas contribuciones subrayan la importancia de la evaluación como un ejercicio para acelerar los cambios positivos en relación con la igualdad de género (‍Nandi y Sudarshan, 2021; ‍Sudashan y Nandi 2018; ‍Brisolara et al., 2014; ‍Espinosa, 2013; ‍Batliwala y Pittman, 2010; ‍Sielbeck-Bowen et al., 2002; ‍Humphries, 1999).

La evaluación feminista reconoce la producción de conocimiento como una fuente de poder y el conocimiento en sí mismo como un producto fruto de un contexto social y cultural. Por ende, subraya la necesidad de dar espacio a todos los tipos de saberes en la construcción de conocimiento evaluativo y promueve la participación de los diferentes stakeholders, poniendo el foco en aquellos que cuentan con menos poder —con frecuencia mujeres— (‍Haylock y Miller, 2016; ‍Brisolara et al. 2014; ‍Sielbeck—Bowen et al., 2002).

Por otra parte, subraya que la desigualdad de género es sistémica y estructural y es un reflejo de una injusticia social. Esta, además, se ve atravesada y acentuada por otros factores de desigualdad basados en la clase social, la etnia, la edad, la discapacidad, la orientación afectivo-sexual, entre otros (‍Nandi y Sudarshan, 2021; ‍Brisolara et al. 2014). En este punto, dado el carácter sistémico y estructural de la desigualdad, se reconoce que el avance a la igualdad de género no es lineal, sino que hace frente a diferentes tipos de dificultades y resistencias. La promoción de la igualdad es una tarea controvertida que requiere atender a dimensiones^[1] clave donde se produce y reproduce la desigualdad de género (‍Brisolara et al., 2014; ‍Espinosa, 2013; ‍Batliwala y Pittman, 2010). Además, para impulsar el cambio estructural, se deben tener en cuenta las intersecciones entre los diferentes tipos de desigualdad (‍Brisolara et al. 2014; ‍Nandi y Sudarshan, 2021; ‍Bustelo, 2017; ‍Espinosa y Tamargo, 2015).

En el caso de la promoción del cambio estructural de género que aquí nos ocupa, se han desarrollado algunas propuestas para analizar este tipo cambio. Muchas de ellas provienen de los estudios sobre cambio intraorganizacional y sobre mainstreaming de género y aún son escasas aquellas que emanan de los estudios específicos de evaluación (Acker, 1999 y Gunnarsson et al., 2007, citado en ‍Wennberg et al., 2013; ‍Groverman y Kloosterman, 2010; ‍Navarro, 2007; ‍Mukhopadhyay et al. 2006; ‍Moser, 2005). En todo caso, todas ellas reconocen la complejidad del objeto. Siguiendo a Navarro (‍2007) y Mukhopadhyay et al. (‍2006), y su adaptación del marco de análisis de Tichy al estudio de las políticas de igualdad, la evaluación del cambio estructural puede realizarse observando tres ejes de análisis en interacción: las «ideas», que se refieren a la política y cultura institucional; las «estructuras y mecanismos», vinculados a la política y cultura organizativa, y las «personas», relacionadas con los individuos y los grupos. El presente artículo explora, a partir de la experiencia del proyecto GENOVATE, el marco de análisis de Tichy como base de los ejes y dimensiones de análisis en la evaluación del cambio estructural de género en universidades.

III. LA EVALUACIÓN EN EL PROYECTO «TRANSFORMING ORGANISATIONAL CULTURE FOR GENDER EQUALITY IN RESEARCH AND INNOVATION» (GENOVATE)[Subir]

El proyecto GENOVATE, financiado por el 7.º Programa Marco de Investigación de la Comisión Europea, se llevó a cabo en el periodo 2013-‍2017. Como principal objetivo, este proyecto de investigación-acción perseguía garantizar la igualdad de oportunidades entre mujeres y hombres mediante el fomento de una gestión competente en materia de género en los órganos de investigación, innovación y toma de decisiones científicas. Para ello, el proyecto se centró en tres ámbitos diferentes: la igualdad de género en la contratación, la promoción y el apoyo a la investigación; el cambio en los entornos de trabajo y la cultura del lugar de trabajo, y la excelencia en la investigación y la innovación a través de la igualdad y la diversidad de género. A la par, estos tres ámbitos fueron abordados en dos niveles de investigación-acción distintos, pero interconectados y paralelos: el nivel del consorcio^[2], vinculado al desarrollo de ocho paquetes de trabajo^[3] diferentes, y el nivel institucional, relacionado con la implementación de planes de Acción para la Igualdad de Género (PAIG) en seis de las siete instituciones socias^[4].

La evaluación dentro del proyecto GENOVATE se definió, desde el propio diseño inicial del mismo, como un proceso integrado y continuo, orientado a proporcionar insumos sobre cómo acompañar y acelerar el cambio estructural de género. Debido a las características del proyecto, la evaluación se llevó a cabo a nivel del consorcio, evaluando el proyecto GENOVATE en su conjunto, y a nivel institucional evaluando cada universidad socia su propio PAIG. Estos procesos evaluativos fueron paralelos, estuvieron fuertemente interrelacionados y adoptaron los enfoques colaborativo y feminista en su desarrollo. En paralelo, sus resultados alimentaron el proceso de indagación sobre cómo evaluar el cambio en materia de igualdad de género en las universidades.

El enfoque colaborativo de la evaluación se plasmó en el diseño y desarrollo del trabajo conjunto entre las diferentes partes implicadas o stakeholders. En la evaluación del proyecto en sí, esto supuso una atención constante a la diversidad presente en las distintas universidades socias, como principales stakeholders^[5]. La evaluación de los diferentes PAIG implicó, asimismo, la identificación de las principales partes implicadas en cada universidad^[6] como punto de partida y el desarrollo de mecanismos para su efectiva participación en el desarrollo de la evaluación. A la par, se puso énfasis en la adaptación de la evaluación a los contextos específicos y en reforzar las capacidades de las socias para ejecutar y evaluar sus PAIG.

Este trabajo conjunto entre las socias se desarrolló durante todo el periodo de ejecución del proyecto. Basado en la colaboración y en el fomento de relaciones interprofesionales significativas, este trabajo pretendía facilitar la mejora continua de la implementación del proyecto, así como contribuir al aprendizaje y a la generación de conocimientos entre las socias sobre la evaluación y el cambio en materia de igualdad de género.

De acuerdo con los enfoques colaborativo y feminista, el equipo de evaluación se definió como facilitador del proceso de evaluación durante el proyecto. Se invitó a las socias a desempeñar un papel activo en la evaluación del proyecto en su conjunto, así como a asumir el liderazgo en la evaluación de sus PAIG. De este modo, las socias tuvieron una voz clara en el diseño, la ejecución y validación de los resultados y recomendaciones de la evaluación tanto del proyecto como de los PAIG. Para ello, se llevaron a cabo cuatro talleres participativos presenciales —uno en cada una de las conferencias anuales del proyecto—, dos talleres en formato virtual y se mantuvo una comunicación estructurada y constante vía correo electrónico con las socias de cara a obtener insumos en cada uno de los momentos clave —diseño de la evaluación y elaboración de informes anuales e informe final—. De acuerdo con las socias, la evaluación resultó una herramienta de gran utilidad para ir adaptando el proyecto a las nuevas circunstancias y aprender a lo largo de la ejecución del proyecto.

Por otra parte, desde un enfoque colaborativo y feminista, la evaluación se reconoció como un proceso que «crea realidad» y se consideró la construcción de conocimiento como un proceso negociado en el que debían incluirse diferentes voces. Del mismo modo, tomando como base la evaluación feminista, se reconoció la complejidad de los procesos de cambio en materia de igualdad y la necesidad de identificar elementos fundamentales para promover acciones y medidas más transformadoras. Así, entendiendo el potencial de la evaluación para «crear igualdad de género» y abriendo el espacio de generación de conocimiento a todas las partes implicadas, se puso énfasis en conocer los factores que facilitaban y dificultaban el cambio estructural de género. A partir de las experiencias de evaluación del proyecto GENOVATE en su conjunto y de los diferentes PAIG, se persiguió ayudar a las socias a entender el cambio en materia de igualdad de género y a establecer formas de impulsar dicho cambio. En este sentido, se abrieron espacios para la reflexión y debate sobre estos factores, tanto a escala de consorcio como a escala de las universidades socias. En concreto, se desarrollaron dieciocho entrevistas con los principales stakeholders^[7] y doce grupos de discusión durante el desarrollo de las seis visitas in situ —una a cada una de las universidades a cargo de PAIG—. Asimismo, se aplicaron dos cuestionarios —uno en una fase intermedia y otro al final de la ejecución del proyecto— a los equipos técnicos de las universidades socias. Al mismo tiempo, se elaboró un eportfolio visual sobre la implementación de PAIG que, generado a partir de las imágenes seleccionadas por las socias, sirvió para triangular la información recopilada a través de entrevistas, grupos de discusión y cuestionarios sobre los principales logros y desafíos en la implementación del proceso de cambio estructural de género. De este modo, se avanzó en la comprensión de cómo se produce el cambio en materia de igualdad de género y a qué resistencias se enfrentan las universidades en este punto.

En paralelo al desarrollo de la evaluación en el proyecto GENOVATE, y nutriéndose del mismo, se definió de forma colaborativa el modelo GENOVATE de evaluación del cambio estructural de género, que se presenta en el siguiente apartado. Este modelo se basó en un conjunto de ejes, dimensiones, preguntas de evaluación e indicadores para captar el cambio en esta materia. Del mismo modo, se apoyó en un conjunto de consideraciones metodológicas provenientes de la adopción de los enfoques colaborativo y feminista.

En cuanto a la delimitación de los ejes, dimensiones, preguntas de evaluación e indicadores para captar el cambio en esta materia, esta se llevó a cabo a través de dos estrategias diferentes. Por una parte, durante los dos primeros años del proyecto, se desarrolló una estrategia inductiva. El equipo a cargo de la evaluación en el proyecto definió las principales dimensiones para evaluar el cambio en materia de género basándose en las áreas de actuación del proyecto GENOVATE y de los PAIG, así como en la experiencia de las universidades socias. Además, cada socia trabajó con sus stakeholders y, de acuerdo con su PAIG definió dimensiones, preguntas de evaluación e indicadores para medir el cambio estructural de género en sus universidades. Esta acotación, en cada contexto, proporcionó un mapa diverso y rico de dimensiones, preguntas e indicadores que alimentó el diseño de las evaluaciones en las universidades socias.

Durante los tres últimos años del proyecto se aplicó una segunda estrategia de tipo deductivo. El equipo de evaluación proporcionó un borrador del modelo GENOVATE de evaluación del cambio estructural de género en el que se indicaban los ejes y dimensiones de análisis emergentes siguiendo los aportes previos de las socias, el marco de análisis de Tichy (‍Navarro, 2007; ‍Mukhopadhyay et al., 2006) y diversos estudios sobre cambio intraorganizacional y mainstreaming de género (Acker, 1999 y Gunnarsson et al., 2007, citado en ‍Wennberg et al., 2013; ‍Groverman y Kloosterman, 2010; ‍Navarro, 2007; ‍Mukhopadhyay et al. 2006; ‍Moser, 2005). Este borrador ayudó a las socias a identificar nuevas dimensiones en las que evaluar el cambio promovido por sus PAIG y a consolidar un marco de análisis conjunto. Un segundo borrador del modelo, donde se incluyeron todas las aportaciones de las socias, se compartió durante la última Convención Anual de GENOVATE en 2016 y la versión final se incluyó en las Evaluating gender structural change: Guidelines for evaluating gender equality action plans (‍Espinosa et al., 2016).

IV. EL MODELO GENOVATE DE EVALUACIÓN DEL CAMBIO ESTRUCTURAL DE GÉNERO [Subir]

El modelo GENOVATE de evaluación del cambio estructural de género, como se acaba de exponer, se desarrolla de forma paralela a la práctica evaluativa dentro del proyecto y se basa en la combinación de los enfoques colaborativo y feminista. El mismo pone sobre la mesa reflexiones en torno a qué implica y aporta la puesta en práctica de los enfoques colaborativo y feminista en la evaluación del cambio estructural de género frente a los enfoques clásicos. A la par, persigue proporcionar ideas teóricas y metodológicas para evaluaciones de planes de igualdad de género que persigan indagar en cómo se produce el cambio estructural de género y quieran generar orientaciones y recomendaciones para acelerar la transformación en esta materia.

A grandes rasgos, los enfoques clásicos de evaluación —en muchas ocasiones predominantes en la práctica evaluativa— se basan en la delimitación de un conjunto predefinido de criterios de evaluación (eficacia, eficiencia, impacto, sostenibilidad y pertinencia, entre otros) que son operacionalizados en preguntas de evaluación e indicadores con la finalidad de obtener una valoración final por parte de un equipo externo y rendir cuentas sobre la política concreta (‍Nirenberg et al., 2003; ‍Guba y Lincoln, 1989; ‍Scriven, 1973). La adopción de un enfoque colaborativo y feminista supone una ruptura epistemológica y metodológica con estos enfoques y la apuesta por una mirada a cómo suceden los procesos de cambio incorporando las voces de los diferentes stakeholders. El modelo GENOVATE de cambio estructural de género define un conjunto de ejes y dimensiones de análisis —que sustituye a los criterios predefinidos— que ayudan a comprender cómo los PAIG inciden en el cambio estructural de género. Estos ejes y dimensiones son aterrizados en cada PAIG y contexto concreto a través de diferentes preguntas de evaluación e indicadores. A la par, el modelo GENOVATE sitúa a las diferentes partes interesadas en el centro del proceso evaluativo, propone que el equipo evaluador conforme un facilitador del mismo y abre el diseño de la evaluación a la adopción de métodos mixtos, triangulando diferentes tipos de técnicas.

A continuación, se presentan estos ejes, dimensiones, preguntas e indicadores, así como las consideraciones metodológicas relativas a la aplicación modelo. De igual modo, se comparten reflexiones sobre su potencialidad para evaluar el cambio estructural de género en comparación con los enfoques clásicos.

1. Ejes y dimensiones de análisis[Subir]

Los ejes y dimensiones para captar el cambio estructural de género en universidades definen aquellos aspectos que resultan centrales para evaluar la transformación en esta materia. Conforman, por tanto, elementos que es importante analizar. Como mencionamos con anterioridad, su acotación se basó en el trabajo evaluativo por parte de las socias del proyecto y en una adaptación del marco de análisis de Tichy (‍Navarro, 2007; ‍Mukhopadhyay et al., 2006). A la par, también incorporó aportaciones de diversos estudios sobre cambio intraorganizacional y sobre mainstreaming de género (Acker, 1999; Gunnarsson et al., 2007, citado en ‍Wennberg et al., 2013; ‍Groverman y Kloosterman, 2010; ‍Navarro, 2007; ‍Mukhopadhyay et al. 2006; ‍Moser, 2005). Siguiendo el marco de análisis de Tichy, se definieron tres ejes de análisis en interacción: las «ideas», referidas a la política y cultura institucional; las «estructuras y mecanismos», ligados a la política y cultura organizativa, y las «personas», que incluyen a los individuos y los grupos (ver gráfico 1). El trabajo en el seno del proyecto contribuyó a acotar la definición de cada una de las nueve dimensiones subrayadas por este marco de análisis y que se presentan brevemente a continuación^[8] en tanto que elementos clave para evaluar el cambio estructural de género.

Gráfico 1.

Ejes y dimensiones para la evaluación del cambio estructural de género

Fuente: adaptación a partir de Navarro (‍2007) y Mukhopadhyay et al. (‍2006).

Atendiendo al trabajo en el seno del proyecto, en el eje «ideas», la dimensión políticas y acción se vinculó con la incorporación de las cuestiones de género en los documentos estratégicos, la disponibilidad de recursos (presupuestarios, humanos, materiales y temporales) y la existencia de un sistema de seguimiento sensible a las cuestiones de género. La dimensión influencia política se asoció con el compromiso de la alta dirección con la igualdad de género, con la capacidad de influencia de la unidad de Género y de las especialistas en género (internas y externas), así como con la implicación activa de las asociaciones proigualdad. Por otro lado, la dimensión cultura organizativa se relacionó con el reconocimiento de la desigualdad de género como un problema, la identificación de la igualdad de género como parte central de la reputación de la universidad y de la conciliación de la vida laboral y familiar como un valor. Además, esta dimensión también se ligó a la promoción de una imagen a favor de la igualdad de género.

En cuanto al eje de «estructuras y mecanismos», la dimensión tareas y responsabilidades se relacionó con cuestiones como el equilibrio de género en la distribución de tareas y responsabilidades, así como en los mecanismos de coordinación. También se vinculó con la inclusión de la perspectiva de género en la planificación de actividades y con la asesoría de la unidad de Género a otros departamentos. La dimensión de toma de decisiones se conectó con el equilibrio de género en los mecanismos de toma de decisiones y con la existencia de mecanismos para aplicar la perspectiva de género en los procesos de toma de decisiones, entre otras cuestiones. En tercer lugar, la dimensión cooperación y aprendizaje hizo referencia a la promoción de la igualdad de género en el trabajo en equipo y a la inclusión de las cuestiones de género en los servicios de conocimiento (tales como las bibliotecas) y en los sistemas de innovación de las universidades. A la par, también se asoció a la creación de redes de género fuera de la institución.

Respecto al eje «personas», la dimensión pericia/conocimientos técnicos se ligó con la forma en que se incorpora la pericia de género dentro de la institución y el uso que se hace de ella. La dimensión incentivos y oportunidades, por su lado, se vinculó con la inclusión de la promoción de la igualdad de género en el sistema de recompensas e incentivos y con el desarrollo de sanciones para desmontar prejuicios y actitudes sexistas, entre otros temas. Por último, la dimensión actitudes se conectó con el compromiso del personal con la igualdad de género, el reconocimiento por su parte de las desigualdades de género y la voluntad del personal de provocar un cambio en materia de igualdad, entre otras cuestiones.

En términos generales, estos ejes y dimensiones de análisis se utilizaron en el proyecto GENOVATE como una forma de captar la forma en que el cambio de género había sido promovido de manera integral por los PAIG en las universidades socias. Para ello, el foco no se puso solamente en la medición y valoración de los resultados finales con un foco la rendición de cuentas. Por lo contrario, asumiendo que los procesos de cambio estructural de género son controvertidos y complejos, se dirigió la mirada a cómo fueron diseñadas las acciones en materia de igualdad, cómo se implementaron y en qué modo se generaron transformaciones en materia de igualdad (ver gráfico 2). De esta manera, el modelo persiguió valorar la propia conceptualización de las intervenciones y aprender sobre cómo se puede impulsar acciones más transformadoras en su diseño y ejecución. La finalidad última fue mejorar las acciones en marcha y favorecer futuras medidas con mayor impacto en el cambio estructural de género.

Gráfico 2.

Componentes evaluados en los PAIG

Fuente: elaboración propia.

En términos de la evaluación del diseño, se subrayó la relevancia de valorar en qué medida se incluían acciones específicas relacionadas con los ejes y dimensiones del cambio estructural de género. En contextos de intervención similares se puso de manifiesto que cuantos más ejes y dimensiones se incluyeran, más potencial transformador tenían los PAIG. Sin embargo, la valoración del carácter transformador del diseño también está relacionada con las necesidades existentes en materia de igualdad de género en cada universidad y los antecedentes institucionales de género. Como se evidenció en el proyecto, los diferentes puntos de partida de las universidades en materia de igualdad de género hacían que no se pudiera valorar de igual modo el potencial transformador de sus diseños de intervención en todas ellas. Mientras que la Universidad Tecnológica de Lulea (Suecia) —con una amplia trayectoria en materia de igualdad— abordaba en su PAIG la mayor parte de las dimensiones, la Universidad de Trnava (Eslovaquia) —que iniciaba su trabajo en esta área— solo incluía algunas de ellas. El carácter transformador presente en el diseño de sus planes, sin embargo, debía valorarse atendiendo a su contexto específico. La propia existencia de un plan de igualdad en la Universidad de Trnava ya supuso un punto de inflexión en esta materia dentro de la institución y, sin duda, un cambio sustantivo.

Para evaluar el proceso de implementación, se invitó a analizar los procesos mediante los cuales se implementaron los PAIG, determinando al mismo tiempo en qué medida estos contribuyen al cambio estructural de género. En este sentido, se hizo hincapié en la coordinación, la gestión, la comunicación, la participación de las partes interesadas, la transferencia de conocimientos y el uso de los recursos humanos y los procedimientos. Se entendió que la implementación conformaba una etapa fundamental en la propia vida del plan y resultaba central entender qué factores incidían en su buen desarrollo y cuáles lo dificultaban. Atendiendo a los estudios feministas, se prestó especial atención a las dificultades y resistencias que se observaban en la ejecución de medidas a favor de la igualdad de género.

Por último, la evaluación de los resultados hizo hincapié en el cambio efectivo en términos de igualdad de género que se produjo en relación con estas áreas y dimensiones, considerando cómo los diferentes contextos y procesos había influido en los mismos. Se mostró que no era pertinente esperar los mismos tipos de resultados en todas las universidades socias. Por lo contrario, resultaba clave entender las diferentes visiones existentes sobre el cambio necesario en materia de igualdad encada contexto específico. Por otra parte, se dirigió la mirada tanto a los resultados esperados como a los no esperados. Conscientes de que la promoción de la igualdad de género hace frente a desafíos importantes, se trataron de identificar resultados no esperados que fueran efecto de acciones contrarias a la igualdad. De igual modo, se valoraron aquellos resultados no esperados que contribuían a la igualdad de cara a analizar cómo se habían generado.

V. CONCLUSIONES [Subir]

En un contexto de promoción de la igualdad de género en las universidades y ante las evidencias que reflejan la dificultad de avanzar en esta dirección (‍Alonso Álvarez y Diz Otero, 2022; ‍Lombardo y Bustelo, 2022; ‍Tildesley et al., 2021; ‍Palmen y Schmidt, 2019; ‍Verge et al., 2018), la evaluación se conforma como un proceso central para favorecer el aprendizaje, impulsar la mejora y acelerar las transformaciones en esta dirección. La evaluación en el proyecto GENOVATE —a escala consorcio y a escala institucional— refleja una práctica a este respecto. En su apuesta por los enfoques colaborativo y feminista, se aleja de los enfoques clásicos de evaluación que ponen el foco en la rendición de cuentas a través de criterios predefinidos y suelen adoptar aproximaciones metodológicas de tipo positivista y cuantitativo apoyadas en equipos evaluadores externos. Por el contrario, opta por la delimitación de los contenidos clave que evaluar ateniendo a las diferentes universidades socias y sus contextos, así como aquellos elementos subrayados como centrales desde de los estudios de género. A la par, propone abordajes metodológicos basados en la construcción conjunta de conocimiento, el reconocimiento de intersubjetividad como un elemento fundamental y la triangulación de técnicas de investigación. En todo el proceso, además, reconoce el papel central del equipo evaluador como facilitador de un proceso evaluativo que tiene una clara orientación transformadora orientada hacia la justicia social y la igualdad.

De forma específica, la evaluación en el proyecto GENOVATE constituyó un proceso continuo que acompañó toda su ejecución. Reconociendo que la evaluación crea realidad y que es crucial la negociación entre las diferentes partes implicadas, esta impulsó la implicación activa, el diálogo y la cocreación de conocimiento entre las universidades socias. Para ello, se basó en la atención específica a su diversidad y a la de sus contextos, y el trabajo continuo entre las mismas. Por otra parte, dada la complejidad del cambio estructural de género y las resistencias al mismo, dirigió la mirada a identificar los factores clave —que facilitaban y que dificultaban— la implementación de los PAIG en las universidades. Todo ello trajo consigo la apropiación del proceso evaluativo, la comprensión de cómo se genera el cambio estructural de género en cada caso y, con ello, la mejora constante del proyecto.

En paralelo a esta práctica evaluativa y alimentada por la misma, se desarrolló el modelo GENOVATE de evaluación del cambio estructural de género. La elaboración y aplicación de modelo reveló un conjunto de ejes y dimensiones de análisis, preguntas de evaluación e indicadores y consideraciones metodológicas para evaluar los PAIG en las universidades. En su conjunto, el modelo puso de relieve algunas potencialidades de los enfoques colaborativo y feminista frente a los enfoques clásicos.

A este respecto, y a diferencia de los enfoques clásicos, la apuesta por la evaluación colaborativa y feminista en el modelo GENOVATE permitió poner el foco en el carácter transformador de los PAIG y en sus impactos. Mientras que los enfoques clásicos optan por criterios predefinidos (eficacia, eficiencia, impacto, pertinencia, sostenibilidad, entre otros) orientados a generar información sobre los resultados finales de un plan, los enfoques colaborativo y feminista permitieron explorar aspectos cruciales para la valoración de diseño, implementación y resultados.

En este punto, la evaluación feminista —al cuestionar la linealidad de los procesos de cambio en materia de igualdad de género— abrió la puerta a poner en el centro del análisis aquellos elementos fundamentales para entender estos procesos. En el caso del cambio estructural de género en universidades y siguiendo la adaptación del marco de análisis de Tichy, esto se tradujo en atender a tres grandes ejes relativos a «ideas», «mecanismos y estructuras» y «personas» y a las nueve dimensiones de análisis presentadas.

De cara a comprender la apuesta y el grado de impulso del cambio estructural de género en cada PAIG, el modelo GENOVATE atendió a cómo se incluyeron estos ejes y dimensiones en su diseño. Asimismo, evidenció la necesidad de analizar los diferentes puntos de partida en materia de género para valorar su carácter transformador. También subrayó la necesidad de examinar cómo se implementaban las medidas ligadas a esos ejes y dimensiones. Con un interés en valorar la contribución de los procesos de implementación al logro de los objetivos, y consciente del carácter complejo y controvertido de las acciones proigualdad, se puso además énfasis en identificar los factores que dificultaban y favorecían la ejecución. Por último, la valoración de los resultados en estos ejes y dimensiones se centró en los resultados esperados y no esperados, analizando qué aspectos habían incidido en su emergencia. Esta mirada al diseño, la implementación y los resultados favoreció la generación de aprendizajes sobre las acciones en marcha y la identificación de otras medidas con potencial transformador que desarrollar en el futuro.

Por otro lado, a diferencia de los enfoques clásicos que se basan en preguntas de evaluación estandarizadas ligadas a los diferentes criterios de evaluación, el modelo GENOVATE optó por la elaboración de las preguntas de evaluación entre el equipo evaluador y las partes interesadas. Esto permitió centrar el análisis de la evaluación en los puntos críticos que emanaban de los diferentes contextos. Así, por ejemplo, la interseccionalidad solo se incluyó como contenido de análisis en aquellas universidades socias que contaban con experiencia en esta área y para las cuales constituía un contenido fundamental a valorar.

En tanto que evaluación continua y paralela a todo el proceso de ejecución, las preguntas de evaluación fueron revisadas y redefinidas en los diferentes momentos —inicial, intermedio y de cierre—. A la par, se incluyeron nuevas preguntas relativas a cuestiones emergentes durante la propia implementación. Esto aseguró la utilidad de las preguntas de evaluación para generar conclusiones y recomendaciones pertinentes y orientadas a la acción.

Los indicadores, por su parte, se delimitaron atendiendo a cada una de las preguntas de evaluación. El proyecto GENOVATE evidenció que no existe una lista de indicadores universales que puedan ser utilizados en cualquier plan de igualdad. Al tiempo, dado que el cambio estructural de género no siempre es cuantificable y su comprensión requiere de atender a visiones y opiniones, el diseño de los indicadores incluyó tanto indicadores cuantitativos como cualitativos.

Respecto a las cuestiones metodológicas, el modelo GENOVATE reveló que la implicación activa de los stakeholders requiere flexibilidad y romper con las dinámicas de poder existentes en las universidades en el desarrollo de la evaluación. A diferencia de los enfoques clásicos que optan por procesos top-down, esta práctica colaborativa contribuyó a mejorar la adecuación de la evaluación al contexto específico. A la par, puso de manifiesto la necesidad de una comprensión común de la evaluación, así como de competencias en materia de evaluación y género.

Por otra parte, el modelo GENOVATE —frente a los enfoques clásicos que tienden a aplicar técnicas cuantitativas— reflejó la pertinencia de optar por métodos mixtos y la triangulación de técnicas dada la complejidad de los procesos de cambio estructural de género. La selección de técnicas de investigación estuvo marcada por las preguntas de evaluación que responder y por aquellos indicadores que, en paralelo, se identificaron como cruciales en cada caso concreto. En este sentido, el proyecto puso de manifiesto que resulta pertinente combinar técnicas cuantitativas y cualitativas, pero que no existen recetas en cuanto a las técnicas específicas a aplicar y que la selección final de las mismas depende de qué se quiera conocer en la evaluación del plan en concreto.

En términos generales, la práctica de evaluación en el proyecto GENOVATE y su modelo para evaluar el cambio estructural de género en universidades evidencian las contribuciones de los enfoques colaborativo y feminista para comprender cómo se genera el cambio atendiendo a cada contexto específico y, con ello, potenciar ejercicios evaluativos que fomenten el aprendizaje y la mejora de las intervenciones. En su conjunto, proporcionan ideas clave a tomar en consideración en los debates actuales sobre cómo evaluar las políticas de igualdad género y, en concreto, los planes orientados a impulsar el cambio estructural de género en universidades. Al mismo tiempo, pueden ser de utilidad para futuras evaluaciones que persigan ser un instrumento para generar políticas que tengan mayor impacto en la promoción de la igualdad de género.