Narratividad, evidencias y evaluación de cursos de formación de profesores

Notas de la presentación que hice en el Congreso Internacional Educación y Aprendizaje. Historias de aprendizaje: Narratividad, evaluación y formación de profesores. (Madrid. Universidad San Pablo CEU).

Historias de aprendizaje

Diego Leal, Zavil Campillos, Daniel Jiménez. 

1

Quiero mostrar algunos resultados de una investigación que realizamos al finalizar un curso de formación de profesores. Esta investigación respondió a la necesidad de evidenciar los aprendizajes de los participantes y comprobar si esos aprendizajes tenían efectos en sus aulas.

A partir de esta experiencia puntual, se puedan extraer reflexiones sobre la evaluación de este tipo de cursos de formación, sobre el concepto de evidencia y sobre las posibilidades de una metodología cualitativa basada en el análisis narrativo.

2

Hablo de un curso para profesores de varios niveles y diferentes instituciones de la ciudad colombiana de Itagüí y tenía como objeto las competencias del siglo XXI.

Cuando el curso terminó, teníamos antes nosotros una gran pregunta que no sabíamos bien cómo responder, a pesar de que, en principio, parece una cuestión muy simple:

  • qué ha pasado;
  • qué han aprendido los participantes;
  • ¿de verdad el curso les está ayudando en su práctica docente?

Teníamos impresiones vagas y suposiciones poco fundamentadas.Por un lado parecía que el curso no había ido bien porque la apropiación conceptual era muy básica. Al mismo tiempo los participantes valoraban positivamente el curso y decían haber aprendido muchas cosas y los tutores decían que se estaban empezando a dar importantes cambios en los profesores.

El problema era entonces cómo alcanzar un conocimiento que nos permitiera confrontar estas impresiones, evaluar el curso para ver si los objetivos se estaban cumpliendo y determinar qué cosas estaban funcionando y qué otras había que cambiar.

3

Ante este panorama, se optó por una investigación de corte cualitativo que pudiera recoger lo que habían experimentado los profesores durante el curso y los efectos que ello había tenido en sus clases y que además lo hiciera captando la mayor información posible sobre los contextos concretos en los que la experiencia de formación se desarrolló.

Para ello decidimos usar narrativas que reunieran, en un relato, la experiencia vivida por los profesores en el curso así como los posibles efectos en su trabajo.

Para construir las narrativas, elaboramos el guion de una entrevista semiestructurada. La entrevista fue un instrumento para construir “historias de aprendizaje” que definimos como:

un texto en el que una persona, desde su punto de vista personal, narra una experiencia de aprendizaje en orden cronológico. Ese relato contiene experiencias vividas y contextualizadas que incluyen información sobre acontecimientos, temas, agentes, contextos, prácticas, saberes y relaciones entre todos estos elementos.

De esta manera, se reunieron 6 entrevistas que después fueron analizadas con un proceso inductivo de codificación temática que se repitió varias veces.

4

Los resultados más destacados de ese análisis son estos:

  1. Hay que destacar que las referencias a las competencias tratadas, a la idea de las competencias del siglo XXI o a la enseñanza basada en competencias estaban casi totalmente ausentes del relato de los profesores.
  1. Los participantes encontraron el valor en las prácticas, es decir, en las formas concretas de hacer cosas.

A partir de aquí, decidimos usar las prácticas como unidad de análisis en todos los relatos. Identificamos esas prácticas en todas las narraciones, las comparamos, establecimos patrones y enumeramos los elementos que las integraban. Así llegamos a la siguiente definición de práctica:

conjunto de operaciones que realizan los profesores para conseguir un objetivo didáctico. Los profesores eligen diferentes acciones, las secuencian de acuerdo a cierto orden e introducen ciertos objetos (herramientas cognitivas, materiales didácticos) para lograr su propósito.

Hay que destacar tres elementos claves que aparecen en todos los relatos:

  • Las prácticas que los participantes llevan al aula son las mismas que han experimentado como alumnos durante la formación. Así pudimos documentar que los docentes llevaron a sus aulas las mismas prácticas en las que participaron durante su formación. Consideramos que este traslado de prácticas entre uno y otro contexto es, de hecho, transferencia de conocimiento.
  • Los objetos (diagramas, tarjetas, etc.) son fundamentales tanto en la experiencia de aprendizaje de los profesores como en los cambios adoptados en sus aulas. Encontramos que estos objetos no son sólo valiosos en sí mismos, sino que embeben prácticas que, insertas en los objetos, pasan de un contexto a otro cuando los objetos son trasladados.
  • La práctica más importante y decisiva para todos los profesores ha sido el trabajo en grupo. Esto es señalado repetidamente como el aprendizaje más importante hecho durante la formación y como un cambio decisivo en sus aulas y en su identidad profesional.

En definitiva, la presencia de las mismas prácticas en los dos contextos nos ha permitido trazar una trayectoria de aprendizaje de los profesores con origen en la formación y con destino en sus centros de enseñanza.

Y así hemos podido evidenciar que el resultado fundamental de la formación fue un incremento del repertorio de prácticas docentes de los profesores:

Este incremento tiene que ver con:

  • Formas de agrupar a los alumnos.
  • Objetos que se introducen en las clases y que cambian los roles y funciones de los alumnos y del profesor.
  • Nuevas herramientas de evaluación.
  • Nuevas metodologías como el aprendizaje por proyectos.

            Todos estos elementos han quedado documentados en las narraciones de los docentes.

7

Hasta aquí lo que tiene que ver con el caso en particular. Pero me gustaría también ofrecer algunas consideraciones surgidas de esta investigación que pueden tener un alcance mayor.

En principio no habíamos pensado usar las historias de aprendizaje como método de evaluación. No obstante, los resultados obtenidos nos llevaron a considerar que las historias podían ser usadas tanto para documentar resultados en los profesores y como para señalar el impacto del programa.

Diferentes autores hablan de narrative-based evidence y consideran las narraciones como una forma legítima de conocimiento que aporta información complementaria a las evidencias cuantitativas. Desde el momento en que aportan información que no queda recogida en los datos cuantitativos formalizados, la narración puede ser usada como fuente de la que extraer evidencias. Sostenemos, por tanto, que las historias de aprendizaje pueden servir para documentar resultados de un programa de formación y ser usadas en la evaluación de esos programas.

8

Ahora bien, somos conscientes que los resultados con los que contamos no pueden ser considerados una evidencia en el sentido estricto que tiene este concepto en los estudios de evaluación. Es decir: la evidencia como una unidad de conocimiento producido por una investigación experimental cuantitativa con muestra aleatoria y grupo de control.

Esto nos llevó a reconsiderar esta definición tan restringida de evidencia y buscar referencias que pudieran aclarar este aspecto. Por ejemplo, Nutley, Powell y Davis hablan también de que la consideración o no de un dato como evidencia tiene que superar el estrecho marco de un positivismo cuantitativo. Ellos abogan por considerar la evidencia como un proceso situado que parte de los datos y atraviesa diferentes etapas (investigación, discusión, negociación) hasta llegar a la evidencia.

Esto implica que una evidencia es tal en función de quién y cómo la produce o quién y para qué la va a utilizar.

9

Así las cosas pensamos que nuestra investigación:

  • Sirve para documentar resultados del curso de formación en términos de aprendizajes realizados, aplicación a contextos reales y efectos en las instituciones.
  • Estos resultados pueden ser tomados como evidencia dentro de un proceso abierto, situado y negociado de producción de evidencias.

Estas dos últimas afirmaciones son, en realidad, cuestiones que se relacionan con la pregunta que nos plantea la organización del Congreso acerca de “qué se considera una evidencia de aprendizaje”.

 

El conocimiento lego y la participación democrática

En los USA cuando se elabora una ley se abre un proceso de consultas y participación abierto a todo el mundo. Sin embargo la jerarquía entre expertos y legos supone una barrera al a verdadera participación. Los expertos usan conocimiento cuantitativo, análisis estadístico y argumentación formal. Los legos usan historias contextualizadas basadas en experiencias de primera mano (conocimiento situado). El conocimiento de los expertos suele prevalecer suponiendo un freno a los objetivos de participación y un empobrecimiento de las leyes y decisiones porque el conocimiento en el que se basan no es total.

Hay dos principales barreras:

1) ¿Qué se considera como una evidencia válida? Sólo se toman decisiones basadas en evidencias  y datos (evidence-based; data-driven). Este tipo de evidencia no están en la realidad de forma acabada y basta con ir a recogerla. Una evidencia es el producto de un largo, complejo y costoso proceso de producción de conocimiento que no puede ser abordado por los legos.  Ademásesconde un prejuicio porque el  conocimiento lego también está basado en envidencias, aunque de otra naturaleza.

2) Jerarquía retórica/Jerarquía en géneros discursivos. Se confunde la validez del conocimiento con el grado de formalización o con el género discursivo en que viene expresado. La argumentación formal domina a las narrativas personales, el conocimiento cuantitativo al cualitativo y la abstracción a lo situado.

Críticas:

  • En vista de que el conocimiento de los legos es situado, subjetivo y se expresa a través de narraciones se considera, por tanto, conocimiento no válido. En realidad el carácter situado es una virtud porque ofrece un conocimiento profundo sobre significados, experiencias, contextos, intenciones, etc. Por otra parte  también el conocimiento experto es situado ya que todo conocimiento es situado.
  • Una narrativa puede contener (embebidas) las evidencias que se buscan (como en medicina la historia del paciente contiene los síntomas de la enfermedad que sirven de evidencia para su diagnóstico). Una narrativa no es una historia sin valor epistemológico, sino un relato que lleva con él evidencias.
  • La idea de “evidencia” válida es demasiado estrecha:López Cerero: el conocimiento experto no es auto-suficiente epistémicamente hablando. Está limitado por la disponibilidad de datos y por el contexto social, político y económico. Un conocimiento con más valor epistemológico sería un conocimiento experto negociado, enriquecido por perspectivas aportadas desde el dialogo y la confrontación de puntos de vista.
    Sole… el conocimiento lego puede conectar bloques de conocimiento que antes no estaban en contacto o reconfigurar conocimiento existente en nuevas formas.
    Fischer: el conocimiento lego complementa el experto. Le da información no tenida en cuenta. Contextualiza conocimiento experto que es descontextualizado.
  • El problema de los géneros discursivos:
    Las historias personales basadas en experiencia no son aceptadas en contextos formales. Se les reprocha que no son verificables, no c datos fiables y no son formalizables.
    Sin embargo, las narrativas contienen conocimiento invisible para los expertos que no han estado en el campo y por eso lo desprecian como no válido, anecdótico, no esencial, dominado por prejuicios, etc.

Diferentes categorías de narrativas en estos procesos:

  • Narrativas de complejidad: contradicciones, tensiones, desacuerdos, falta de consensos… Dan un panorama más completo que los datos expertos.
  • Narrativas que aportan información sobre los contextos.
  • Narrativas que contienen consecuencias no esperadas.
  • Narrativas que dan nuevo sentido (reframing) a los temas legislativos.

Referencia

Epstein, Dmitry; Heidt, Josiah; and Farina, Cynthia R. (2014). The Value of Words: Narrative as Evidence in Policymaking. Cornell Law Faculty Publications. Paper 1243. http://scholarship.law.cornell.edu/facpub/1243