Evaluación de programas en educación

En general cualquier proceso de aprendizaje y, la innovación educativa, en particular, son procesos de cambio. Por supuesto un cambio orientado hacia un objetivo deseado. Si aceptamos que la evaluación de programas es el conjunto de métodos para medir el cambio y determinar la eficacia de los medios para conseguir un cambio deseado, será asimismo una metodología adecuada para evaluar programas educativos más allá de las calificaciones de los alumnos. Este guía de Frye y Hemmer (2012) es una muy buena introducción al uso de la evaluación de programas en educación y una excelente presentación de cuatro de los métodos más empleados.

 

La evaluación de programas es el método sistemático para la recogida y análisis de información sobre el diseño, implementación y resultados de un programa con el objetivo de hacer un seguimiento del mismo y mejorar su calidad y eficacia. Esta guía muestra información básica para familiarizarse con las bases teóricas de los principales enfoques de evaluación de programas usados en educación. El objetivo último es determinar el valor o utilidad de un programa educativo.

Es algo más que la medición de los resultados de aprendizaje de los que han participado. Debe incluir también información que permita establecer si el programa cumple los objetivos que se ha propuesto, la relación entre las acciones definidas en el programa y los resultados obtenidos, los resultados inesperados y la variabilidad que se pueda dar en los resultados así como información sobre el propio diseño y funcionamiento del programa con el fin de mejorarlo.

Se hace una introducción a los modelos más extendido: métodos experimentales o cuasi-experimentales; el método de los cuatro niveles de Kirkpatrick; el marco lógico; y el método CIPP de Stufflebeam.

Métodos experimentales y cuasi-experimentales

Su objetivo es establecer relaciones directas de causalidad y atribución entre los elementos del programa y los resultados. Aplican un enfoque reduccionista, un estricto control de variables y se basan en los cálculos estadísticos. La principal fortaleza es que son aceptados como la medida más fiable y robusta de la eficacia de un programa, no en vano son usados para construir evidencias y son el gold standard en evaluación. El principal inconveniente es que son difíciles de implementar por la gran cantidad de variables existentes o por la imposibilidad de desarrollar el programa con grupos de control. Por eso no es raro que se utilicen los llamados métodos cuasi-experimentales que son variaciones del método experimental cuando no es posible cumplir todos los requisitos de este (muestra aleatoria, grupo de control, doble ciego, control de variables, regresión lineal, contrafactualidad como criterio de referencia).

El método de Kirkpatrick

Muy extendido en la formación continua que se hace en contextos laborales, tiene como objetivo medir cuatro tipo de resultados:
A) la reacción o la satisfacción del alumno con la formación recibida,
B) los aprendizajes realizados (conocimientos, habilidades, actitudes),
C) cambios en los comportamientos (prácticas; modos de hacer) concretas que se realizan en el contexto de aplicación (algo así como si los nuevos aprendizajes se ponen en práctica para aquello para lo que fueron enseñados),
D) el impacto del programa recibido en términos de mejoras significativas en las prácticas, servicios, productos del contexto profesional.

El modelo propone medidas directas de cada uno de los niveles  y ha sido criticado por su falta de atención a las variables que intervienen en cualquier programa. Al no tener en cuenta las variables, con este sistema no se puede establecer la relación entre los elementos del programa y los resultados ni explicar cómo funciona el programa para lograr los resultados. En última instancia, aunque se haya producido un resultado positivo nunca se podrá establecer de forma fiable si el resultado se debe o no a la acción del programa. Lo mejor es que define claramente y de una manera fácil de entender los diferentes resultados posibles y muestra que más allá de la valoración que los participantes hacen del curso es necesario medir más cosas para determinar la valía de una formación.

El Marco Lógico

Influido por la teoría de sistemas propone la descomposición de un programa en fases y elementos para mostrar la relación de todos ellos entre sí y con el contexto del programa. Además de para la evaluación, también se usa para el diseño y la monitorización del programa. Los elementos de un programa que idenitifca son los aportes (inputs), las actividades, los productos (outputs) y los resultados (outcomes). Se recomienda un diseño inverso, es decir, empezar por los resultados deseados para, desde ahí, determinar todos elementos necesarios para llegar a ellos. Para cada elemento se pueden establecer indicadores que midan nivel deseado y el nivel realmente alcanzado. Con los indicadores de los resultados se puede realizar una evaluación en términos de eficacia del programa. Cada indicador lleva asociados instrumentos de recogida de datos. Los indicadores de actividades y productos permiten hacer un seguimiento del programa y comprobar si se está implementando según lo planificado así como si los recursos de personal, presupuesto, etc son los adecuados.
Se ha criticado su rígida linealidad y la incapacidad para identificar resultados no planificados. Además tampoco permite establecer relaciones lógicas de causalidad entre los elementos del programa y los resultados obtenidos. Requiere además de un sólido conocimiento, compartido por todos los interesados, acerca de cómo funciona el programa y la mejor forma de diseñarlo y llevarlo a la práctica. Lo que sí facilita es una cuidada planificación y una gran cantidad de información de todas las fases del programa. A través de los indicadores se puede también tener una idea de si los objetivos fijados se alcanzaron.

El módelo CIPP

Las siglas CIPP, en inglés, se corresponden con: context, input, process, product. Fue desarrollado por Daniel Stufflebeam como alternativa a los sistemas experimentales y tiene como meta mejorar el programa más que demostrar su eficacia. Similar al planteamiento del Módelo Lógico de dividir el programa en elementos, el modelo CIPP no hace ninguna asunción sobre la linealidad del proceso con lo que es más sensible a las relaciones complejas y dinámicas que hay entre los elementos, el contexto y los resultados.

Para cada elemento, propone fases diferenciadas de evaluación con preguntas, instrumentos y técnicas de recolección y análisis de datos diferenciadas. En conjunto ofrecen datos sobre las fases de diseño, implementación y evaluación final de un programa. En la fase inicial de evaluación del contexto, propone una gran cantidad de estrategias para recoger datos sobre el contexto y los participantes para establecer sus características, necesidades, problemas, oportunidades y activos del programa. También permite recabar una detallada información sobre la fase de implementación que permite mejorar el programa en sucesivas repeticiones. El modelo propone, de forma diferenciada para cada fase, una variada gama de técnicas, estrategias y métodos para la recogida y análisis de la información. En la fase de evaluación del programa, se incluyen, entre otros, métodos experimentales que pueden usarse junto a otros métodos.

El nivel de complejidad puede ser considerable. Por contra la cantidad y calidad de información que proporciona es considerable. Es, por otra parte, el modelo que más atención dedica al análisis de la situación inicial.

 

La evaluación de programas no solo me esta permitiendo acercarme a la difícil tarea de medir la eficacia de la innovación sino que se está volviendo para mí algo esencial para entender la innovación educativa. El modelo CIPP, por ejemplo, me ha aportado mucho en la comprensión de la situación inicial y en la importancia de definir claramente y con evidencias un problema, necesidad u oportunidad. Por último, si bien es cierto que estaba buscando alternativas a los grupos de control y al muestreo aleatorio, la lectura me está mostrando la lógica y el valor de los métodos experimentales, aunque por mis competencias y ámbito real de acción todavía me queda un poco lejos esa metodología.

Referencias

Frye, A. W., & Hemmer, P. A. (2012). Program evaluation models and related theories: AMEE guide no. 67. Medical teacher, 34(5), e288-e299.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Post Navigation