[Glosario] Evidencia

En la investigación basada en evidencias, se considera que una evidencia es una unidad de conocimiento, resultado de un proceso de investigación empírica, que se usa para justificar una decisión en un ámbito profesional.

La evidencia no está dada sin más, sino que es un conocimiento que ha de ser producido. Al ser un enfoque que se aplica en diferentes disciplinas, en cada una de ellas el proceso de producción de evidencias puede variar. Sin embargo,  como proceso estándar podrímos señalar aquél que empieza con una revisión de la literatura científica sobre una cuestión concreta. Se realiza un meta análisis con los criterios más exigentes de validez, relevancia y aplicabilidad hasta seleccionar las prácticas que mejores resultados ofrecen. A continuación esos resultados se prueban en la práctica real para comprobar lo que realmente funciona en nuevos contextos. Esas pruebas deben hacerse con muestras aleatorias y grupos de control. El objetivo es evitar sesgos y asegurar que la relación entre causa y efecto es inequívoca. Se evalúa a continuación la efectividad y eficiencia del proceso. Las prácticas que quedan al final del proceso se consideran evidencias que pueden sustentar decisiones acerca de qué práctica seguir o qué decisión tomar en cada caso.

Referencias
Bjerre Jørn y Reimer, David. (2014). The Strategic use of Evidence on Teacher Education: Investigating the Research Report Genre en Karen Petersen, David Reimer y Ane Qvortrupo (Eds.). Evidence and Evidence-based Education in Denmark – The Current Debate (83-102). Aarhus: Department of Education. Aarrhus University.
Brophy, P. (2009). Narrative-based Practice. Farnham: Ashgate.
McKibbon, K.a. (1998), ‘Evidence based practice’, Bulletin of the Medical Library Association 86:3, 396–401.
Straus, S. et al. (2005), Evidence-based Medicine: How to Practice and Teach EBM, (Edinburgh: Churchill Livingstone).

Enseñanza basada en evidencias

Hargreaves (1996)

Hargreaves pronuncia en 1996 una conferencia que se considera el punto de partida de la práctica basada en evidencias en educación. Hargreaves parte de la base de que si la enseñanza fuera una práctica basada en evidencias como lo es la medicina mejoraría considerablemente sus resultados. El destinatario principal de la conferecia esla investigación educativa (IE) más que la práctica ya que considera que para lograr una educación basada en evidencias será necesario un cambio radical en la IE.

El modelo de Hargreaves es la medicina donde la práctica profesional está amplia y sólidamente basada en evidencias. El éxito está, según él, en que en medicina la investigación es acumulativa: cada investigación aporta resultados a una base de conocimiento de forma que esos resultados amplían, refinan, confirman o mejoran el conocimiento existente. Las investigaciones se relacionan con las precedentes, los hallazgos son puestos a prueba en nuevas investigaciones y se extienden a muestras y ámbitos cada vez mayores. Además, la medicina ha desarrollado una investigación aplicada hecha por los mismos profesionales de la medicina que están en contacto con los pacientes y no por investigadores sin contacto con los contextos en los que la medicina se ejerce. Cuentan además con un amplio abanico de revistas profesionales para difundir los resultados que están destinadas y son consultadas por los propios profesionales más que por académicos. Esto hace que las investigaciones estén relacionadas con la práctica profesional y que sean los mismos profesionales los que demandan este tipo de conocimiento. El resultado final es que los profesionales de la medicina cuentan con un amplio y sólido cuerpo de evidencias que informa su práctica.

La IE, por el contrario, no es una investigación acumulativa. La IE sigue un modelo lineal que empieza en una investigación básica. Las investigaciones se hacen sin relación con las precedentes, esto provoca que los resultados no se sumen al conocimiento previo de forma que se produce un estancamiento que no es solucionado por nuevas investigaciones. Los trabajos suelen hacerse con muestras pequeñas y en contextos limitados y nunca se amplían esos resultados en nuevas investigaciones con lo que la validez es muy débil. No existe la concepción de investigación aplicada ni las revistas profesionales que hay en medicina. Las investigaciones son hechas por académicos alejados de las escuelas y publicadas en revistas académicas que no son leídas por los profesores. La consecuencia es que los profesores están desconectados de la investigación. Por otra parte la IE cuenta con diferentes paradigmas y múltiples métodos sin contacto entre sí. El resultado final es que la IE carece de un cuerpo de evidencias sólido y extendido entre los profesionales y tiene una nula incidencia en la formación y práctica docentes.

Ante esta situación Hargreaves sugiere cambiar radicalmente la forma en que la IE se hace. Es necesario cambiar la agenda, los métodos, la manera de difundir y aplicar los resultados y los destinatarios de las investigaciones.

Propone una mayor colaboración entre profesores e investigadores y el desarrollo de la figura del profesor-investigador capaz de realizar investigación de calidad a partir de su propia práctica. Igualmente sugiera grandes agencias nacionales que coordinen toda la IE. Las concibe integradas por políticos, profesionales de la educación, investigadores y asociaciones de padres. Deberían encargarse de fijar las líneas de investigación, establecer necesidades, fijar prioridades y evaluar resultados.

La investigación tiene que tener una clara orientación aplicada y  como objetivo construir un sólido cuerpo de evidencias. Los presupuestos de investigación deberán incentivar y privilegiar este tipo de investigación. Los resultados se incorporaran tanto a la práctica docente como a la formación de profesores.

Hargrevaes considera que, para producir evidencias, se debe seguir el mismo método que en medicina y que consiste en:

  • Convertir las necesidades de conocimiento en preguntas para la investigación.
  • Recoger las mejores evidencias disponibles sobre una cuestión concreta.
  • Evaluar las evidencias para determinar su validez y la viabilidad de su aplicación.
  • Aplicar los resultados en situaciones reales.
  • Evaluar los resultados de la aplicación.

Críticas al uso de la educación basada en evidencias

Hammersley (1997)

La cuestión de considerar a la investigación educativa como una investigación no acumulativa depende de la idea que se maneje de investigación. En la idea de Hargreaves se privilegia la investigación experimental cuantitativa donde la reducción y control de variables y un conjunto reducido de métodos relacionados con la estadística permite homologar investigaciones diferentes y replicar experimentos. Esto es mucho más difícil en la investigación educativa donde la investigación naturalista, la diversidad de métodos y el concurso de múltiples variables específicas de cada contexto hace casi imposible replicar investigaciones. Por otra parte, es casi imposible tener una idea operativa de aprendizaje para poder comparar investigaciones de acuerdo a los resultados que presentan. Por ejemplo, hay un aprendizaje que tiene que ver con la memoria, otro con el desarrollo de competencias, nay aprendizajes incidentales que no responden a los estímulos de enseñanza presentados, etc., etc. Por otra parte, una vez que se consigue medir algo en relación al aprendizaje, es muy difícil poder medir lo mismo en otro contexto porque las variables entre uno y otro harán imposible homologar las situaciones. Finalmente, la idea de casualidad que se tiene en la investigación experimental no tiene sentido en la investigación educativa. Las relaciones en la última son locales, sensibles al contexto y a la interpretación y agencia de los agentes que participan.

Hargreaves señala que la investigación educativa no contribuye a mejorar la práctica. La cuestión no es ver si hace o no hace contribuciones a la práctica igual que sucede en medicina, sino si en la práctica docente hay lugar para contribuciones de la investigación que se presentan como unidades discretas de conocimiento abstracto que se aplica mecánicamente a la práctica concreta. Esto es muy dudoso ya que la educación es más una práctica que una técnica en la que la interpretación de las situaciones concretas, la toma de decisiones sensibles al contexto y el juicio de los profesionales son más importantes que contar con un conjunto de recetas listas para ser usadas independientemente de otras consideraciones. Una visión tecnocrática dominada por agencias de evaluación de las prácticas y de la implementación de las evidencias supondría socavar las competencias profesionales de los profesores y vaciar de sentido su profesión, además de que los profesores lo verían como un control excesivo sobre su práctica. Contrariamente a lo que sostiene Hargreaves, esto empeoraría las cosas.

Biesta (2007)

Pone en duda que la medicina y la educación sean homologables. La medicina está basada en la intervención y en su efectividad; la causalidad está presente y se puede observar científicamente; y la idea de intervención supone separar medios y fines: se puede alcanzar un fin deseado con cualquier medio. La situación en educación es totalmente diferente: la enseñanza no busca intervenciones para solucionar problemas; la causalidad lineal no sirve, se necesita un modelo de causalidad sistémica y no lineal; no se pueden separar medios y fines. No es legitimo alcanzar los fines por cualquier medio. En educación, este último importa tanto como los fines ya que la educación es una cuestión moral.

En tanto que práctica moral, el juicio profesional es fundamental, por tanto la relación entre conocimiento, experiencia y práctica necesita ser pensada. La idea de un conocimiento externo a la práctica que es almacenado y aplicado en diferentes circunstancias no es posible en la educación. En la práctica docente tenemos un conocimiento basado en la experiencia, una epistemología práctica (Dewey) que influye en la forma que interpretamos situaciones y desarrollamos soluciones a los problemas concretos. El conocimiento refuerza la epistemología práctica de los profesores y fortalece su capacidad de juicio, pero no los sustituye.

Los valores morales y éticos de la educación están ausentes en la educación basada en evidencias. Esta dimensión moral y ética implica que la educación es un proyecto democrático en el que debe participar toda la sociedad. La práctica basada en evidencias socava la concepción democrática ya que sustituye los valores morales y éticos por una tecnocracia y cierra la participación abierta y la sustituye por un gobierno de expertos.

Bjerre y Reimer (2014)

Se supone que las evidencias derivan de un proceso de investigación con todas las garantías científicas, sin embargo en muchos casos estas evidencias con las que evalúan las prácticas profesionales, se planifican currículos y se hacen reformas educativas son proporcionadas por institutos de investigación que ofrecen algunas dudas sobre sus legitimidad.

Estos institutos no son instituciones académicas sino mezcla de diferentes agentes: universidad, sector público y sector privado. Su objetivo principal es proporcionar un conocimiento que respalde las decisiones políticas o influya en ellas de acuerdo a ciertos intereses. Estas instituciones evalúan, miden, monitorean, etc. instituciones y leyes educativas, profesores, resultados de alumnos, etc. La idea de evidencia que usan es diferente al concepto que se usa en la academia. Presentan como evidencia el resultado de investigaciones que no pasan por los sistemas de validación de la academia (revisión por pares, publicación y discusión en foros públicos…). Las investigaciones se publican en informes que se hacen públicos. En esos informes suele faltar información básica sobre metodología, procedimientos seguidos durante la investigación, se citan obras de terceros sin especificar metodologías. El resultado es que no se puede hacer una evaluación crítica de los resultados que presentan. Estos institutos, que pueden ser privados, total o parcialmente, o depender de instituciones privadas,  tienen unos intereses muy concretos y sus propias agendas. Su función es influir en la toma de decisiones con la idea de imponer sus agendas, no generar conocimiento científicamente válido en forma de evidencia. Los autores diferencian entre evidencia académica y evidencia estratégica. El ultimo tipo es el usado por estos institutos de investigación.

El problema ya no es tanto si una práctica basada en evidencias es posible en la educación tal y como funciona en la medicina, sino determinar qué uso se hace de esta idea, la calidad de las evidencias, las formas en las que se producen y analizar los procesos de toma de decisiones políticas en los que se usan las evidencias.

Rømer (2014)

Rømer hace un cuestionamiento de la idea de evidencia. En primer lugar cuestiona las jerarquías de evidencias en las que sólo son válidas las investigaciones experimentales y cuantitativas con muestreo aleatorio y grupos  de control. En segundo lugar, sitúa la producción de evidencias en una ecología de conocimiento que involucra investigadores, institutos de investigación, agencias de calificación, think tanks, fundaciones y gobiernos. En tercer lugar señala que la noción de evidencia no tiene ninguna tradición en la educación, ni en las tradiciones racionalistas, ni en las críticas, ni en las filosóficas.

Para este autor, la producción de evidencias es un proceso de descontextualización y abstracción. Este proceso es necesario para producir la validez de la evidencia y, al mismo tiempo, la razón de la debilidad de las evidencias ya que son producidas a partir de contextos concretos y están destinadas a ser usadas en el mismo tipo de contexto. Esta descontextualización y abstracción hace que sea necesario comparar unas evidencias con otras como la única forma de validarlas. Como esto no se puede hacer en la práctica dada la naturaleza de las evidencias, se hace a partir de las clasificaciones internacionales de resultados y evidencias promovidas por grandes organismos globales. Es decir, las evidencias se usan como niveles de referencia para la comparación (de alumnos, escuelas, sistemas educativos). La educación se vuelve entonces una tecnocracia encaminada a satisfacer los criterios de medida de los sistemas de clasificación internacional. Los resultados de cada sistema educativo se tienen que convertir en evidencias descontextualizadas y abstractas para poder ser incluidas en esas clasificaciones. Las evidencias sirven al poder de las métricas y no verdaderamente a la práctica educativa. Estos nuevos sistemas de evaluación están dominados por una visión corporativista, por la ideología de la competitividad y por la idea de eficacia que promueven los organismos tecnocráticos globales que dominan la educación.

Referencias

Biesta, G. (2007). Why «what Works» Won’t Work: Evidence-Based Practice and the Democratic Deficit in Educational Research. Educational Theory, 57(1), 1-22.
Bjerre, J., & Reimer, D. (2014). The Strategic use of Evidence on Teacher Education: Investigating the Research Report Genre. En K. B. Petersen, D. Reimer, & A. Qvortrup (Eds.). Evidence-based Education in Denmark: The Current Debate (83-104). Aarhus: Aarhus University.
Hammersley, M. (1997). Educational Research and Teaching: a response to David Hargreaves’ TTA lecture. British Educational Research Journal, 23(2), 141-161.

Hargreaves, D. H. (1996). Teaching as a Research-Based Profession: Possibilities and Prospects (Cambridge, Teacher Training Agency Annual Lecture).
Rømer, A. (2014). The Relationship Between Education and Evidence. En K. B. Petersen, D. Reimer, & A. Qvortrup (Eds.). Evidence-based Education in Denmark: The Current Debate (105-121). Aarhus: Aarhus University.

Algunas críticas a la noción de evidencia

Desconetextualización

El proceso de construcción de una evidencia es un proceso de descontextualización. Este proceso es necesario para producir la evidencia, que es algo distinto a un resultado, y, al mismo tiempo, es el  mayro riesgo.

La validez de la evidencia, la evaluación de los resultados en nuevos contextos y la adecuada combinación del conocimiento sobre el contexto, sus particularidades y las diferencias con los contextos a partir de los cuales fue generada la evidencia debe evitar la aplicación mecánica. Pero esta evaluación del uso de la evidencia en nuevos contextos no siempre se hace. La autoridad de la evidencia tiende a imponerse y los profesionales encargados de aplicar las evidencias no siempre tienen las habilidades necesarias para aplicarlas con sentido crítico.

En muchas ocasiones la formación en prácticas basadas en la evidencia hace que los profesionales descuiden otras habilidades relacionadas con la autonomía o su capacidad de evaluación.

Privilegio del enfoque cuantitativo

Sólo se tienen en cuenta procesos de producción de evidencias basados en métodos cuantitativos. Sin embargo, no en todas las situaciones los datos cuantitativos son los mejores ni pueden contener toda la información relevante. El enfoque cuantitativo es fuerte en trabajos de laboratorio donde se puede tener un control férreo de las variables, sin embargo no lo es tanto cuando no puede controlar las variables y tiene que salir del laboratorio para estudiar sistemas complejos. Las prácticas profesionales, aunque puedan manejar conocimiento producido en el laboratorio, no se realizan en laboratorios sino dentro de esos sistemas complejos con un gran número de variables. Los datos cualitativos contienen información sobre los contextos, el punto de vista de los participantes y todas las variables que intervienen en un fenómeno lo que puede ser útil a la hora de evaluar el uso de una evidencia en nuevos contextos.

Los resultados estadísticos de las investigaciones cuantitativas para producir evidencias no se trasladan directamente a la vida real. En ocasiones estos resultados estadísticos son insignificantes en términos de beneficios en la vida real.

Considerar otras opciones además de los estudios cuantitativos con muestras aleatorias y grupos de control es un paso necesario para integrar otras formas de conocimiento. Un principio metodológico como el de la triangulación de métodos en el proceso de producción de evidencias puede ayudar a alcanzar mejores evidencias.

Calidad de las evidencias

Para evaluar la calidad de las evidencias se han propuesto diferentes taxonomías de evidencias que las clasifican midiendo su calidad en función de que tipos de procesos de investigación se han usado para producirlas. En el puesto más alto están las evidencias que provienen de investigaciones cuantitativas experimentales con muestras aleatorias y grupos de control. Pero la cuestión es más compleja, un resultado puede o no ser una evidencia en función de qué se quiere saber, qué objetivos se quieren alcanzar , en qué contexto se van a utilizar y quién tiene que tomar la decisión. Un enfoque alternativo a las taxonomías es el de usar matrices de evidencias que las clasifican de acuerdo a criterios como, por ejemplo, en qué tipos de contextos pueden ser útiles, qué tipo de información proporcionan, etc.

La producción de evidencias es un proceso situado y nunca definitivo. Toda evidencia es parcial, provisional y contingente y está en continuo proceso de revisión, evaluación y adaptación. Ese carácter situado implica una visión plural de qué es una evidencia, de su calidad y de su uso.

Gestión laboral
El uso de la prácticas basadas en evidencias está asociado a los nuevos métodos de gestión empresarial de los servicios y a los recortes brutales de presupuesto en los servicios públicos. En este contexto, la práctica basada en evidencias es un instrumento usado para hacer más con menos y para satisfacer los criterios de evaluación de calidad que se han impuesto en los últimos años. Las evidencias no son usadas por ser la mejor práctica sino por ser lo más barato y porque se hace sólo lo que puede medirse.

Conocimiento experto

La autoridad del conocimiento experto socava la competencia de las profesionales que son reducidos a engranajes en una cadena de aplicación mecánica de procedimientos estandarizados. Hay que volver a una práctica basada en el análisis y toma de decisiones de acuerdo a las características de cada caso.
Los profesionales tienen que tener las habilidades críticas necesarias para interpretar el conocimiento alojado en una evidencia, evaluar su uso en situaciones concretas y tomar decisiones respecto a su uso en lugar de aplicar procedimientos estandarizados de forma mecánica.

Las evidencias no son un conocimiento neutro al margen de intereses y propósitos particulares. Además siempre existen diferentes comunidades epidémicas que pueden tener diferentes ideas en disputa. Esto es más posible en las ciencias sociales. En estos casos optar por una evidencia u otra es una decisión que va más allá de tomar una pieza de conocimiento de la investigación y aplicarla.

Referencias

Brophy, P. (2009). Narrative-based Practice. Farnham: Ashgate.

Greenhalgh, T., Howick, J., Maskrey, N. (2024). Evidence based medicine: a movement in crisis? BMJ 348. Recuperado a partir de http://www.bmj.com/content/348/bmj.g3725

Nutley, S. M., Powell, A. E., y Davies, H. (2013). What counts as good evidence. Alliance for Useful Evidence. Recuperado a partir de http://goo.gl/xRez3W

Hattie: qué cosas influyen en el aprendizaje

Presentación de John Hattie mostrando resultados de su macroestudio sobre los factores que influyen en el aprendizaje.

[youtube http://www.youtube.com/watch?v=rzwJXUieD0U]

Para el que no lo conozca, el estudio de Hatti es un gran proyecto de investigación que ya dura años hecho a partir del meta-análisis de estudios sobre qué influencia tienen diferentes factores en el aprendizaje. En esta web se recoge toda la información sobre el trabajo de Hattie. En un mundo lleno de charlatanes, un trabajo como el de Hattie siempre será bienvenido. Sólo como ejemplo, ni la tecnología, ni los estilos de aprendizaje tienen efectos sobre un mejor aprendizaje. Tampoco aparece la creatividad como un factor determinante en el aprendizaje. No estoy diciendo que el estudio de Hattie contenga la verdad y toda la verdad. De hecho me gustaría saber más sobre la fiabilidad de este estudio y qué cosas nos está diciendo en el sentido de cómo hay que entender lo que nos dice, pero desde luego como punto de partida de una discusión razonada y razonable es mucho más interesante que la mayoría de las cosas que circulan por ahí y a las que, a juzgar por su viralidad, hacemos tanto caso. Lo que sí podemos extraer de este proyecto es la cantidad de factores que intervienen y lo lejos que estamos de tener certezas acerca de cómo se aprende y de la mejor forma en la que podemos intervenir para hacer ese proceso exitoso.