Historias de aprendizaje

Acaba de publicarse un artículo en el que estuve trabajando, con otros compañeros de EAFIT, durante el curso pasado. El artículo trataba de identificar los aprendizajes realizados por un grupo de profesores de educación media que participaron en un curso sobre competencias del siglo XXI, es decir, el fin último era evaluar el curso. Si bien contábamos con un gran número de indicadores cuantitativos de proceso y resultados, apenas contábamos con información sobre el impacto del curso en las aulas de los docentes. El reto estaba en encontrar una metodología capaz de identificar esos cambios. El carácter exploratorio y tentativo nos hizo probar con una metodología cualitativa que recogiera el máximo de información posible para después analizarla con la esperanza de poder continuar desde ahí. A través de narrativas construidas con la ayuda de una entrevista pudimos definir una unidad de análisis, identificarla en los relatos de los profesores y seguirle la pista en varios contextos. De esta forma se pudo establecer una «evidencia» con la que evaluar el curso. Además de eso, las narraciones dejaron clara la importancia de las prácticas por encima de los conceptos y de lo expermientado por encima de lo recibido como información descontextualizada. Igualmente constatámos de qué forma los alumnos reconfiguran los contenidos recibidos y los usan para otras cosas diferentes.

En lo personal, y con todos los defectos que seguro tiene, este trabajó ha significado un gran paso adelante. En el proceso de la investigación llegué a conceptos como el de «práctica», «trayectoria de aprendizaje», «sistema de práctica» o «evidencia» que permiten un nuevo entendimiento de la labor docente y de cómo afrontar su análisis sin echar mano de abtracciones teóricas que no necesariamente tienen por qué ser lo que está teniendo lugar. En último término hablar de prácticas permite eludir el problema de la «caja negra» en el aprendizaje de una forma muy fácil: por qué interesarnos por lo que saben los profesores si podemos analizar lo que hacen.

El resumen es este:

En programas complejos de formación de profesores es difícil mostrar resultados positivos en un corto período de tiempo debido a su duración, cantidad de participantes u otras condiciones. La evaluación de impacto de un programa precisa de información de calidad que no siempre es posible recoger o que requiere períodos de tiempo más largos. Sin embargo, los gestores y responsables de los programas quieren ver cambios a corto plazo o necesitan mostrar resultados para justificar inversiones.

Tratando de atender estas dificultades y a partir del modelo de promoción y evaluación de la creación de valor de Wenger, Trayner y de Laat, encontramos que las historias de aprendizaje recogidas en entrevistas con profesores y analizadas con técnicas cualitativas, sirven para documentar cambios en sus prácticas como consecuencia de su paso por un programa de formación.

Este trabajo explora la forma en la que estas historias reflejan trayectorias de aprendizaje, dan cuenta de la apropiación de contenidos y el desarrollo de habilidades y evidencian cambios en las prácticas cotidianas dentro de las instituciones. También sugiere vías para que este enfoque cualitativo sirva de complemento a otro tipo de evaluaciones.

Los datos de la referencia son estos:

Jiménez Sánchez, D., Leal Fonseca, D., & Palacios Campillo, Z. (2015). Historias de aprendizaje: Narratividad, evaluación y formación de profesores. Revista Internacional de Evaluacion y Medicion de la Calidad Educativa, 2(2), 111-125.

Por ahora disponible aquí.

Narratividad, evidencias y evaluación de cursos de formación de profesores

Notas de la presentación que hice en el Congreso Internacional Educación y Aprendizaje. Historias de aprendizaje: Narratividad, evaluación y formación de profesores. (Madrid. Universidad San Pablo CEU).

Historias de aprendizaje

Diego Leal, Zavil Campillos, Daniel Jiménez. 

1

Quiero mostrar algunos resultados de una investigación que realizamos al finalizar un curso de formación de profesores. Esta investigación respondió a la necesidad de evidenciar los aprendizajes de los participantes y comprobar si esos aprendizajes tenían efectos en sus aulas.

A partir de esta experiencia puntual, se puedan extraer reflexiones sobre la evaluación de este tipo de cursos de formación, sobre el concepto de evidencia y sobre las posibilidades de una metodología cualitativa basada en el análisis narrativo.

2

Hablo de un curso para profesores de varios niveles y diferentes instituciones de la ciudad colombiana de Itagüí y tenía como objeto las competencias del siglo XXI.

Cuando el curso terminó, teníamos antes nosotros una gran pregunta que no sabíamos bien cómo responder, a pesar de que, en principio, parece una cuestión muy simple:

  • qué ha pasado;
  • qué han aprendido los participantes;
  • ¿de verdad el curso les está ayudando en su práctica docente?

Teníamos impresiones vagas y suposiciones poco fundamentadas.Por un lado parecía que el curso no había ido bien porque la apropiación conceptual era muy básica. Al mismo tiempo los participantes valoraban positivamente el curso y decían haber aprendido muchas cosas y los tutores decían que se estaban empezando a dar importantes cambios en los profesores.

El problema era entonces cómo alcanzar un conocimiento que nos permitiera confrontar estas impresiones, evaluar el curso para ver si los objetivos se estaban cumpliendo y determinar qué cosas estaban funcionando y qué otras había que cambiar.

3

Ante este panorama, se optó por una investigación de corte cualitativo que pudiera recoger lo que habían experimentado los profesores durante el curso y los efectos que ello había tenido en sus clases y que además lo hiciera captando la mayor información posible sobre los contextos concretos en los que la experiencia de formación se desarrolló.

Para ello decidimos usar narrativas que reunieran, en un relato, la experiencia vivida por los profesores en el curso así como los posibles efectos en su trabajo.

Para construir las narrativas, elaboramos el guion de una entrevista semiestructurada. La entrevista fue un instrumento para construir “historias de aprendizaje” que definimos como:

un texto en el que una persona, desde su punto de vista personal, narra una experiencia de aprendizaje en orden cronológico. Ese relato contiene experiencias vividas y contextualizadas que incluyen información sobre acontecimientos, temas, agentes, contextos, prácticas, saberes y relaciones entre todos estos elementos.

De esta manera, se reunieron 6 entrevistas que después fueron analizadas con un proceso inductivo de codificación temática que se repitió varias veces.

4

Los resultados más destacados de ese análisis son estos:

  1. Hay que destacar que las referencias a las competencias tratadas, a la idea de las competencias del siglo XXI o a la enseñanza basada en competencias estaban casi totalmente ausentes del relato de los profesores.
  1. Los participantes encontraron el valor en las prácticas, es decir, en las formas concretas de hacer cosas.

A partir de aquí, decidimos usar las prácticas como unidad de análisis en todos los relatos. Identificamos esas prácticas en todas las narraciones, las comparamos, establecimos patrones y enumeramos los elementos que las integraban. Así llegamos a la siguiente definición de práctica:

conjunto de operaciones que realizan los profesores para conseguir un objetivo didáctico. Los profesores eligen diferentes acciones, las secuencian de acuerdo a cierto orden e introducen ciertos objetos (herramientas cognitivas, materiales didácticos) para lograr su propósito.

Hay que destacar tres elementos claves que aparecen en todos los relatos:

  • Las prácticas que los participantes llevan al aula son las mismas que han experimentado como alumnos durante la formación. Así pudimos documentar que los docentes llevaron a sus aulas las mismas prácticas en las que participaron durante su formación. Consideramos que este traslado de prácticas entre uno y otro contexto es, de hecho, transferencia de conocimiento.
  • Los objetos (diagramas, tarjetas, etc.) son fundamentales tanto en la experiencia de aprendizaje de los profesores como en los cambios adoptados en sus aulas. Encontramos que estos objetos no son sólo valiosos en sí mismos, sino que embeben prácticas que, insertas en los objetos, pasan de un contexto a otro cuando los objetos son trasladados.
  • La práctica más importante y decisiva para todos los profesores ha sido el trabajo en grupo. Esto es señalado repetidamente como el aprendizaje más importante hecho durante la formación y como un cambio decisivo en sus aulas y en su identidad profesional.

En definitiva, la presencia de las mismas prácticas en los dos contextos nos ha permitido trazar una trayectoria de aprendizaje de los profesores con origen en la formación y con destino en sus centros de enseñanza.

Y así hemos podido evidenciar que el resultado fundamental de la formación fue un incremento del repertorio de prácticas docentes de los profesores:

Este incremento tiene que ver con:

  • Formas de agrupar a los alumnos.
  • Objetos que se introducen en las clases y que cambian los roles y funciones de los alumnos y del profesor.
  • Nuevas herramientas de evaluación.
  • Nuevas metodologías como el aprendizaje por proyectos.

            Todos estos elementos han quedado documentados en las narraciones de los docentes.

7

Hasta aquí lo que tiene que ver con el caso en particular. Pero me gustaría también ofrecer algunas consideraciones surgidas de esta investigación que pueden tener un alcance mayor.

En principio no habíamos pensado usar las historias de aprendizaje como método de evaluación. No obstante, los resultados obtenidos nos llevaron a considerar que las historias podían ser usadas tanto para documentar resultados en los profesores y como para señalar el impacto del programa.

Diferentes autores hablan de narrative-based evidence y consideran las narraciones como una forma legítima de conocimiento que aporta información complementaria a las evidencias cuantitativas. Desde el momento en que aportan información que no queda recogida en los datos cuantitativos formalizados, la narración puede ser usada como fuente de la que extraer evidencias. Sostenemos, por tanto, que las historias de aprendizaje pueden servir para documentar resultados de un programa de formación y ser usadas en la evaluación de esos programas.

8

Ahora bien, somos conscientes que los resultados con los que contamos no pueden ser considerados una evidencia en el sentido estricto que tiene este concepto en los estudios de evaluación. Es decir: la evidencia como una unidad de conocimiento producido por una investigación experimental cuantitativa con muestra aleatoria y grupo de control.

Esto nos llevó a reconsiderar esta definición tan restringida de evidencia y buscar referencias que pudieran aclarar este aspecto. Por ejemplo, Nutley, Powell y Davis hablan también de que la consideración o no de un dato como evidencia tiene que superar el estrecho marco de un positivismo cuantitativo. Ellos abogan por considerar la evidencia como un proceso situado que parte de los datos y atraviesa diferentes etapas (investigación, discusión, negociación) hasta llegar a la evidencia.

Esto implica que una evidencia es tal en función de quién y cómo la produce o quién y para qué la va a utilizar.

9

Así las cosas pensamos que nuestra investigación:

  • Sirve para documentar resultados del curso de formación en términos de aprendizajes realizados, aplicación a contextos reales y efectos en las instituciones.
  • Estos resultados pueden ser tomados como evidencia dentro de un proceso abierto, situado y negociado de producción de evidencias.

Estas dos últimas afirmaciones son, en realidad, cuestiones que se relacionan con la pregunta que nos plantea la organización del Congreso acerca de “qué se considera una evidencia de aprendizaje”.

 

El beneficio social de la investigación científica

Excelente presentación de Irene López y Jesús Rey sobre el impacto social de la investigación y la nueva generación de evaluación de la ciencia cuyo objetivo es el impacto social de la investigación.

La evaluación tradicional se ha basado en los productos inmediatos de la investigación (publicaciones y patentes, transferencias al sector privado), la nueva evaluación se basa en los impactos sociales que pueden ser entendidos de diferentes formas y que pueden incluir cosas como beneficios en el bienestar social, entendido en un sentido amplio. Lo importante es que el beneficio tiene un alcance social, va más allá del resultado que beneficia solo a los actores de la investigación y, siguiendo la idea de Merton, el conocimiento científico es (debe ser) conocimiento público.

La nueva evaluación de la ciencia trata con nuevos valores sociales relativos a la ciencia, la investigación y el conocimiento. Cosas como el impacto social, el conocimiento público, el bien común o el valor compartido.

Es muy fácil medir productos de las investigaciones y resultados de difusión académica, pero muy difícil ofrecer datos de verdaderos impactos sociales. Para ello se proponen nuevos modelos de evaluación especialmente diseñados para mediar resultados y también impactos sociales, entendidos como beneficios.  Hace falta, primero, ponerse de acuerdo en qué es impacto social. Segundo, es necesario encontrar las medidas y métodos de recogidas de datos y análisis adecuados para dar cuenta de esos impactos.

Algunas ideas sobre qué es un beneficio social de la investigación según Bornmann y Max (2014):

  • Aportación al avance del conocimiento.
  • Promoción de la enseñanza la formación y el aprendizaje.
  • Ampliación de la participación de grupos con escasa representación.
  • Mejora de la infraestructura para investigación y educación (instalaciones, instrumentación, redes, colaboraciones).
  • Diseminación de los resultados.
  • Beneficios para la sociedad.

Algunas ideas sobre la metodología según Penfield (2014):

  • Estudios métricos.
  • Narrativas.
  • Entrevistas y testimonios.
  • Estudios de caso.
  • Citas (fuera del ámbito académico).
  • Análisis de documentación.

 

Referencias:

Bornmann, L. (2014) Is there currently a scientific revolution in Scientometrics? Journal of the Association for Information Science and Technology, 65(3): 647-648.

Penfield T., Baker M.J., Scoble R. y Wykes M.C. (2014) Assessment, evaluations, and definitions of research impact: A review. Research Evaluation, 23: 21-32.

Ideas interesantes y retos ineludibles para la evaluación de programas de formación de profesores, donde la necesidad y urgencia de medir esos impactos sociales es todavía más fuerte ya que esos programas tienen como objetivo producir esos impactos sociales.

Historias de aprendizaje (notas)

La propuesta del equipo de investigación del que formo parte ha sido aceptada en el congreso Educación y Aprendizaje que tendrá lugar en Madrid el próximo mes de julio. Hemos empezado a trabajar en la investigación con vistas a la comunicación y un artículo posterior. Estas son las primeras notas sobre el planteamiento, primeras ideas, objetivos, metodología que vamos a usar, etc. Son notas extraídas del diario de investigación sacadas a la luz con la idea de compartir el proceso de investigación y que pueda ser seguido por los interesados.

Punto de partida

Un grupo de profesores han participado en un programa de formación sobre competencias del siglo XXI. El énfasis del programa no estaba en una exploración teórica y conceptual sobre los conceptos de competencia, competencias del siglo XXI o la autonomía, creatividad y pensamiento crítico -que fueron las competencias seleccionadas en el currículo del curso. Más bien estaba centrado en que los profesores desarrollaran prácticas de aula que trasladaran un enfoque por competencias a sus clases diarias. Para ello se partía de una exploración personal a partir de las competencias seleccionadas (autonomía, pensamiento crítico y creatividad), un trabajo común, en las sesiones del programa, que profundizara en esas tres competencias y planteara actividades y dinámicas de clase que pudieran transformar la práctica actual de los profesores y transformarla (o empezar ese camino de trnasformación) en una enseñanza basada en el aprendizaje por competencias, donde las competencias del siglo XXI seleccionadas estuvieran presentes como elemento transversal de todos los procesos de enseñanza y aprendizaje. Los profesores eran invitados de forma explícita a poner en práctica todo lo aprendido durante las sesiones presenciales (que tenían lugar una vez a la semana) en sus aulas, documentar sus experiencias en un blog y reflexionar sobre los avances, obstáculos y desafíos que se iban encontrando en el camino.

La evaluación de este proceso de formación fue planteada en dos bloques. Por un lado, estaba la evaluación de los participantes y el seguimiento del programa. Esta evaluación tenía como objetivo la certificación de los participantes, para la cual se les exigía un número mínimo de asistencia a las sesiones presenciales del curso y la realización de las diferentes actividades propuestas (blog personal de aprendizaje, realización de una secuencia didáctica que debía ser documentada en sus etapas de diseño, implementación y evaluación y la participación en las actividades de aula). El segundo bloque de evaluación tenía que ver con el plan de monitoreo y evaluación diseñado para la evaluación del programa de formación.

Los responsables de diseñar e impartir el diplomado tenían cierta insatisfacción con los resultados de ambas evaluaciones. La evaluación formativa no ofrecía datos concluyentes sobre los resultados obtenidos por cada uno de los participantes y por parte del programa de formación. La evaluación del programa, por su parte, arrojó muchos indicadores sobre participación, acciones realizadas y seguimiento de las clases, pero ningún dato acerca de la posible influencia del diplomado en las prácticas de los docentes. Hay que añadir que la participación de los alumnos en los blogs fue, en términos generales, muy pobre tanto en cantidad como en calidad. Es cierto que hubo participantes que mantuvieron cierta constancia de publicación y documentaron su proceso acompañándolo de una labor de análisis y reflexión, pero en la mayoría de los blogs la documentación es poco constante y no viene acompañada de un análisis y reflexión que permitiera al profesor desarrollar un proceso autónomo de formación profesional. Es más: las exploraciones conceptuales acerca de las competencias elegidas de las que daban cuenta los participantes en sus blogs eran bastante superficiales. En casi ningún caso era posible señalar evidencias de una apropiación conceptual profunda y de una aplicación reflexiva en las aulas de cada uno de los docentes. Hay que añadir que este diagnóstico era igualmente válido para las dos cohortes que, hasta ahora, han cursado el diplomado.

Sin embargo, la sola consulta del blog estaba ofreciendo una imagen parcial, ya que los participantes comentaban la importancia del diplomado en su práctica, lo importante que ese curso estaba siendo y lo mucho que estaban aprendiendo. Esto fue corroborado por las observaciones de los profesores encargados de impartir las clases y hacer el seguimiento de los participantes. Estas observaciones plantearon un panorama más matizado respecto a la visión que se desprendía de los blogs. En ellas, se reconocían problemas en algunos participantes para el seguimiento regular del programa y para cumplir con los requisitos del mismo en términos de asistencia, participación y entrega de las actividades exigidas, pero al mismo tiempo hablaban del entusiasmo de los profesores, de las valoraciones enormemente positivas que hacían los profesores del curso y, sobre todo, ofrecían información que permitía contextualizar los datos de los informes y de los blogs. Esa contextualización fue decisiva a la hora de tener una imagen realista del programa y de la evolución de los profesores. Finalmente, se pudo situar el diplomado en la realidad de los contextos educativos, socioeconómicos y profesionales de los profesores y en sus trayectorias profesionales y de formación previa. En este contexto, con sus condicionamientos y dificultades, los resultados alcanzados podían ser valorados con mucha más precisión. Esto mostró que los blogs no estaban funcionando todo lo bien que cabría desear, pero eso no significaba que el programa fuera un fracaso.

En conclusión, los profesores estaban aplicando mucho de lo aprendido en el diplomado. Ante esta realidad, los responsables del diplomado se vieron ante la necesidad de encontrar un instrumento de investigación adecuado para recoger datos que dieran cuenta de la evolución de los profesores con varios objetivos. Primero, para constatar ese esa transformación iniciada en el diplomado. Y, segundo, para usar esa información en la evaluación del programa.

Recogida de datos

Para esta labor se necesitaba un instrumento que pudiera proporcionar información cualitativa por varias razones. Primero porque se debía oír la voz de los participantes. Era importante contar con un testimonio de primera mano que pudiera ofrecer un complemento a la información contenida en los blogs ya que  sabíamos, por las observaciones de los facilitadores, que habían pasado muchas cosas que habían quedado por fuera de los blogs. Además había que recoger un punto de vista diferente al de los facilitadores. La idea era contar con dos fuentes de datos sobre un mismo tema para poder triangular la información. Se estimó que completar los datos del blog con la voz de los participantes podría ser una buena forma de tener una imagen más completa y ajustada a la realidad. En segundo lugar, queríamos conocer, de primera mano, cuál había sido la trayectoria de aprendizaje de los participantes en el diplomado y cómo ésta se proyectaba hacia el futuro. En esas trayectorias esperábamos recoger los obstáculos y dificultades que habían afrontado los participantes, así como los logros  que habían alcanzado.

Lo que mejor podía lograr esos objetivos era una entrevista en profundidad con los participantes. A la hora de preparar un guión preliminar de la entrevista, decidimos seguir el modelo de las historias de valor que proponen Wenger et al (2011) para medir el valor que se crea en comunidades y redes de aprendizaje. En su planteamiento, la participación en una CoP o red de aprendizaje tienen lugar procesos de aprendizaje cuyo resultado es un valor para los participantes, organizaciones, responsables y patrocinadores. No sólo el aprendizaje mejora las competencias y habilidades de las personas, sino que puede ser aplicado a los contextos laborales en los que se desempeñan los participantes. Puesto que esas CoP y redes, se forman dentro de organizaciones, el beneficio personal es también un beneficio para la organización. Según los autores, los aprendizajes están embebidos tanto en las personas como en las organizaciones de acuerdo a la visión social del aprendizaje que proponen. Esto significa que el conocimiento está distribuido por toda la CoP o red y aparece bajo la forma de conocimiento implícito o tácito. Sin embargo, ese conocimiento puede ser visibilizado mediante narrativas. Para el caso de los participantes, estas narrativas son de dos tipos: narrativas sobre lo que ha pasado y narrativas sobre lo que debería ser y qué beneficios debería proporcionar la Co o red de aprendizaje. En el espacio que crean estas dos narrativas se produce el aprendizaje y se crea el valor de cada Co o red concreta. Los autores definen varios tipos de valor: un valor inmediato, un valor potencial, un valor aplicado, un valor efectivamente realizado y un valor que permite redefinir los objetivos de la Co o red. Para cada ciclo de valor, señalan diferentes indicadores que pueden medir ese valor.

En nuestra investigación,  interesaba, sobre todo, el valor aplicado definido como los cambios que tienen lugar en la práctica como consecuencia de los aprendizajes hechos en la CoP o red. Este valor aplicado supone la aplicación de un conocimiento adquirido en nuevas situaciones. Es el origen de cambios en la organización y de la innovación ya que cambian las prácticas, las herramientas, los enfoques y los sistemas.

Se consideró oportuno identificar este tipo de valor porque ofrecía la posibilidad de evidenciar, no sólo, mejoras en las competencias y habilidades de los participantes, sino también, y esto es lo más importante, cambios en las prácticas docentes concretas.

Uno de los instrumentos que proponen Wenger et al. para  medir la creación de valor aplicado son unas plantillas que estructuran una trayectoria de aprendizaje que pasa por diversos ciclos de valor y que hace emerger historias de aprendizaje que empiezan en las actividades e interacciones que tienen lugar la CoP o red, atraviesas diferentes estadios (ciclos, en la terminología de los autores) y acaban con cambios en la práctica. Se usó esa plantilla para preparar un guión de entrevistas semiestructuradas. Usar el guión permitió focalizar las entrevistas en los cambios y en las trayectorias de aprendizaje de los entrevistados y relacionar el diplomado con las instituciones educativas en las que trabajan los docentes, siendo éstos el punto de unión de ambos contextos.

Análisis de los datos

Algunas estrategias generales para la codificación

Teniendo en cuenta que el objetivo de la investigación es evidenciar cambios en las prácticas docentes, la codificación debería estar centrada en esos cambios. Sería mejor centrarse exclusivamente en los cambios y pasar por alto otros temas teniendo en cuenta que siempre es posible volver a esos mismos datos y usarlos para investigaciones diferentes. Por tanto un procedimiento preliminar para la codificación podría ser:

1. Identificar todos los cambios en prácticas docentes.
2. Identificar cadenas que relacionen diferentes estadios de un mismo proceso de cambio.
3. Identificar algún tipo de ordenación para esas secuencias. Podría ser un orden temporal, causal, etc.
4. Para cada cadena de cambios identificar un posible origen, causas, procesos, consecuencias, qué otras cosas desencadena, dónde y cómo se inicia la cadena, dónde acaba, resultados, obstáculos, valoraciones de los participantes, etc.
5. Distinguir entres posibles tipos de cambios diferentes. Clasificación de los cambios de acuerdo a diferentes criterios para analizar cuál de ellos son relevantes y cuáles no, cuáles son los más numerosos, etc.
6. Para cada cadena de cambios identificar posibles resonancias en diferentes niveles y radios de alcance. Por ejemplo: un cambio individual que afecta a otros profesores; un cambio individual que afecta a la institución. Un cambio que se inicia en un curso y es el punto de partida par a un proyecto para el próximo curso. Un cambio que empieza en dos profesores y acaba involucrando a dos instituciones. Es importante la cuestión de cuánto se prolonga en el tiempo, diferentes radios de alcance y qué procesos a largo plazo desencadena.

Lo importante es identificar estas cadenas de cambios en el total de la narración, aunque esto suponga (de hecho debe ser una obligación) romper la linealidad del relato. Los errores a evitar son seguir la linealidad del relato y no la lógica de las cadenas de cambios y no caer en detalles sin relación con los cambios. Por todo ello, se seguirá este procedimiento para la codificación:

1. Identificar cambios principales.
2. Identificar elementos relacionados con cada uno de los cambios identificados. Estos segundos códigos funcionan como satélites de cada cambio. Son los elementos de la cadena y su posición en ella depende del cambio. Éste funcionaría como código principal y aglutinante del conjunto. El tipo de cadena, los elementos que la componen y las posiciones determinadas en ella serían fruto del análisis y la interpretación.
3. En un tercer momento se iniciará otro momento de codificación que incluiría a qué participante corresponde cada código. Eso permitirá hacer comparaciones entre cada participante. En principio los datos son demasiado escasos para establecer diferencias entre los participantes, pero es una posibilidad que merece la pena ser explorada.
4. Otra caapa de codificación posible se haría con los elementos de las cadenas de cambio para ver si se pueden establecer patrones que ayuden a detectar elementos comunes y no comunes en cada cadena. Por ejemplo, respecto al origen, obstáculos, consecuencias, valoraciones, etc. El objetivo último de este nivel de análisis sería establecer un orden en las cadenas de cambio. Ej,: orden temporal, orden causal, etc.
5. Por último, puesto que hablamos de cambio deberíamos tener una idea de qué es “cambio” y de por qué cambiar es valioso. Por supuesto estas definiciones deben reflejar el punto de vista de los profesores entrevistados, independientemente de que se puedan usar otras defecciones extraídas de la literatura para  hacer comparaciones. En una primera lectura de las entrevistas hay algunas valoraciones de los participantes que hablan de adaptar la escuela a la sociedad del siglo XXI, adaptar la escuela a los cambios tecnológicos, motivar a los alumnos, etc.

Por supuesto estas ideas preliminares han sido extraídas a partir de una mera lectura de la transcripción sin que se haya hecho ninguna codificación. Esta sujeta a todos los cambios que sea necesario hacer.

Preguntas de la investigación

Una primera lista del preguntas que pueden servir tanto como preguntas de la investigación como guías en el análisis de los datos. No es una lista definitiva. Hago el esfuerzo de escribir estas preguntas para que eviten la dispersión y mantengan la investigación focalizada.

1. ¿Se han producido cambios en las prácticas pedagógicas de los docentes participantes en un proceso de formación como consecuencia de sus aprendizajes en ese proceso?
2. ¿En qué consisten esos cambios?
3. ¿Qué relación hay entre los cambios y  los contenidos del programa (competencias del siglo XXI)?
4. ¿Cuál es la influencia y alcance de esos cambios (individual, equipo de profesores, institucional)? ¿Cuáles son los límites de esos cambios?
6. ¿Cómo valoran los participantes esos cambios?
7. ¿Los participantes reconocen como origen de los cambios el programa de formación?
8. ¿Qué consecuencias tiene, para la evaluación del diseño del programa, los cambios señalados por los profesores? ¿Son esos cambios uno de los resultados buscados por el diplomado?
9. ¿Sirven las narrativas personales recogidas en las entrevistas como una forma de evidenciar aprendizajes ocurridos en la formación?
10. ¿Cuál es el valor de esa evidencia?

Metodología

Se han usado entrevistas semiestructuradas para recoger narrativas sobre las trayectorias de aprendizaje de profesores en servicio que realizan un curso de formación continua sobre competencias del siglo XXI. El núcleo de las narrativas es identificar posibles cambios en las prácticas docentes originados por los aprendizajes que hayan podido tener lugar en ese programa de formación.

Las entrevistas fueron grabadas en vídeo y transcritas. El texto resultante será analizado siguiendo una metodología de análisis de datos cualitativos. El modelo más cercano es que proponen Miles Huberman & Saldaña.

Además se cuenta con informes del progreso de cada participantes en el diplomado recogidos en el blog que, a modo de diario de aprendizaje, llevaron los participantes durante el curso. Esos datos serán igualmente analizados según la misma metodología y servirán para contrastar los datos obtenidos de las narrativas.

La muestra

Para elegir a los profesores que tomarían parte en la investigación se estableció como condición que hubieran realizado todas las actividades del diplomado lo que aseguró tener trayectorias de aprendizaje completas, de forma que la asistencia, participación, realización y seguimiento de las actividades fueron los elementos que se tomaron en cuenta a la hora de la selección.

Se puede argumentar con razón que esta decisión afecta al sesgo de los datos ya que sólo tiene en cuenta los casos de éxito. La crítica es legitima y no se podrían ofrecer argumentos convincentes para desmontarla. Somos conscientes de que la investigación se ve limitada en su alcance por este hecho. Sin embargo podemos explicar las razones de esta debilidad:

– La decisión de realizar la investigación se hizo muy tarde. Ya sólo restaban dos sesiones del diplomado. En la penúltima sesión se hizo una entrevista como prueba piloto para ver cómo funcionaba el guión y el tipo de relato que resultaba de ella. En la última sesión se hicieron otras cinco. Esas cinco entrevistas consumieron todo el tiempo de la sesión. Se entrevistó a profesores mientras hubo tiempo. Las posibilidades de contactar profesores una vez finalizado el diplomado teniendo en cuenta además que eran fechas que coincidían con el fin de curso y el inicio del período vacacional eran mínimas.

– El principal objetivo de la investigación era documentar cambios y no tanto evaluar a los participantes o el diplomado en su totalidad. En este sentido, consideramos que no era un requisito imprescindible entrevistar a todos los profesores, aunque podríamos admitir que un mayor número de profesores entrevistados habría ofrecido más evidencias de cambios y casos donde los profesores no llegaron a iniciar esos cambios en sus prácticas o lo intentaron sin éxito abandonando en los primeros momentos. Esta información habría sido valiosa sin duda, pero no la pudimos recoger. Al ser nuestro objetivo sacar a la luz cambios en las prácticas a través de trayectorias de aprendizaje no creemos que sea imprescindible entrevistar a todos los participantes. Obviamente no tenemos datos sobre las trayectorias de aprendizaje que no han desembocado en cambios en la práctica docente.

– Pensamos esta investigación como un intento exploratorio en el que hemos puesto a prueba una metodología y contrastado algunas hipótesis. La investigación puede repetirse siguiendo una misma metodología, objetivos y preguntas de investigación pero aumentando el número de informantes lo que daría más validez a los resultados.

– Hay que tener en cuenta las demandas de tiempo y esfuerzo que reclama una investigación de este tipo y las posibilidades del equipo que lleva a cabo la investigación.