[Glosario] Evidencia

En la investigación basada en evidencias, se considera que una evidencia es una unidad de conocimiento, resultado de un proceso de investigación empírica, que se usa para justificar una decisión en un ámbito profesional.

La evidencia no está dada sin más, sino que es un conocimiento que ha de ser producido. Al ser un enfoque que se aplica en diferentes disciplinas, en cada una de ellas el proceso de producción de evidencias puede variar. Sin embargo,  como proceso estándar podrímos señalar aquél que empieza con una revisión de la literatura científica sobre una cuestión concreta. Se realiza un meta análisis con los criterios más exigentes de validez, relevancia y aplicabilidad hasta seleccionar las prácticas que mejores resultados ofrecen. A continuación esos resultados se prueban en la práctica real para comprobar lo que realmente funciona en nuevos contextos. Esas pruebas deben hacerse con muestras aleatorias y grupos de control. El objetivo es evitar sesgos y asegurar que la relación entre causa y efecto es inequívoca. Se evalúa a continuación la efectividad y eficiencia del proceso. Las prácticas que quedan al final del proceso se consideran evidencias que pueden sustentar decisiones acerca de qué práctica seguir o qué decisión tomar en cada caso.

Referencias
Bjerre Jørn y Reimer, David. (2014). The Strategic use of Evidence on Teacher Education: Investigating the Research Report Genre en Karen Petersen, David Reimer y Ane Qvortrupo (Eds.). Evidence and Evidence-based Education in Denmark – The Current Debate (83-102). Aarhus: Department of Education. Aarrhus University.
Brophy, P. (2009). Narrative-based Practice. Farnham: Ashgate.
McKibbon, K.a. (1998), ‘Evidence based practice’, Bulletin of the Medical Library Association 86:3, 396–401.
Straus, S. et al. (2005), Evidence-based Medicine: How to Practice and Teach EBM, (Edinburgh: Churchill Livingstone).

Generalización situada

Simons, Kushner, Jones y James (2003) hablan de dos procesos diferentes en el uso de las evidencias. Hay un primer proceso de abstracción que tiene lugar durante la producción de las evidencias. Después hay otro proceso que tiene que ver con la aplicación de las evidencias. El primer proceso es llamado por estos autores generalización y consiste en la transformación de datos ligados a un contexto en una evidencia transferible a otro contexto y su aplicación.

En la producción cuantitativa de evidencias donde el diseño experimental asegura tanto la producción como la aplicación de las evidencias. El proceso de abstracción propio de la producción cuantitativa de evidencias asegura la validez de la evidencia, apoya su generabilidad y garantiza que, aplicada a otro contexto, dará los mismos resultados que en el contexto original.

Simons et al., sin embargo, consideran que tanto la producción como la aplicación requieren de un proceso activo, consciente y analítico de gestión de la información que tiene que ser realizado por los profesionales. Es decir: una evidencia no es usada en un nuevo contexto profesional de forma automática, sin análisis o reflexión por parte de los agentes involucrados en este nuevo contexto. Antes al contrario, el proceso de aplicación de las evidencias supone un proceso intencional a través del cual los profesionales analizan las evidencias y las formas en las que fueron producidas; las semejanzas y diferencias entre el contexto de origen y de destino; y negocian su uso en función de las condiciones existentes y de las affordances de su contexto. Los autores llaman a estos procesos «generalización situada» que definen

how evidence within the teaching community does not come as freestanding pieces of knowledge but, in order to be viewed as evidence by the community, is bound up in the situation in which is generated and re-generated (Simons et al. 2003: 360).

La «generalización situada» supone un límite a la aplicación automática e irreflexiva de las evidencias. Es cierto que la generabilidad de las evidencias está asegurada por los procedimientos experimentales, pero que sea un conocimiento formal no garantiza que vaya a ser adoptado por una comunidad en un contexto diferente ni que vaya a funcionar de la misma forma. Los miembros de la comunidad van a poner en marcha procesos de negociación en los que se van a tener en cuenta tanto la validez de la evidencia como las características de los contextos de origen y destino.  La evidencia no puede presentarse como un conocimiento formal sin ninguna información sobre el contexto en el que fue generado porque de ser así los profesores no cuentan con la información necesaria sobre el contexto de origen que les permita hacer una evaluación basada en semejanzas y deferencias entre contextos. Esta evaluación basada en la comparación es clave en el proceso de aplicación negociada de la evidencia.

La aplicación de evidencias supone, por tanto, un proceso de interpretación de lo que la evidencia significa en un contexto situado. Para esa interpretación es necesario un conocimiento de la situación original, no una abstracción que borre totalmente el rastro del contexto original. Es por eso por lo que se habla de «generalización situada».

Referencia

Simons, H., Kushner, S., Jones, K., & James, D. (2003). From evidence‐based practice to practice‐based evidence: the idea of situated generalisation. Research Papers in Education, 18(4), 347-364.

Enseñanza basada en evidencias

Hargreaves (1996)

Hargreaves pronuncia en 1996 una conferencia que se considera el punto de partida de la práctica basada en evidencias en educación. Hargreaves parte de la base de que si la enseñanza fuera una práctica basada en evidencias como lo es la medicina mejoraría considerablemente sus resultados. El destinatario principal de la conferecia esla investigación educativa (IE) más que la práctica ya que considera que para lograr una educación basada en evidencias será necesario un cambio radical en la IE.

El modelo de Hargreaves es la medicina donde la práctica profesional está amplia y sólidamente basada en evidencias. El éxito está, según él, en que en medicina la investigación es acumulativa: cada investigación aporta resultados a una base de conocimiento de forma que esos resultados amplían, refinan, confirman o mejoran el conocimiento existente. Las investigaciones se relacionan con las precedentes, los hallazgos son puestos a prueba en nuevas investigaciones y se extienden a muestras y ámbitos cada vez mayores. Además, la medicina ha desarrollado una investigación aplicada hecha por los mismos profesionales de la medicina que están en contacto con los pacientes y no por investigadores sin contacto con los contextos en los que la medicina se ejerce. Cuentan además con un amplio abanico de revistas profesionales para difundir los resultados que están destinadas y son consultadas por los propios profesionales más que por académicos. Esto hace que las investigaciones estén relacionadas con la práctica profesional y que sean los mismos profesionales los que demandan este tipo de conocimiento. El resultado final es que los profesionales de la medicina cuentan con un amplio y sólido cuerpo de evidencias que informa su práctica.

La IE, por el contrario, no es una investigación acumulativa. La IE sigue un modelo lineal que empieza en una investigación básica. Las investigaciones se hacen sin relación con las precedentes, esto provoca que los resultados no se sumen al conocimiento previo de forma que se produce un estancamiento que no es solucionado por nuevas investigaciones. Los trabajos suelen hacerse con muestras pequeñas y en contextos limitados y nunca se amplían esos resultados en nuevas investigaciones con lo que la validez es muy débil. No existe la concepción de investigación aplicada ni las revistas profesionales que hay en medicina. Las investigaciones son hechas por académicos alejados de las escuelas y publicadas en revistas académicas que no son leídas por los profesores. La consecuencia es que los profesores están desconectados de la investigación. Por otra parte la IE cuenta con diferentes paradigmas y múltiples métodos sin contacto entre sí. El resultado final es que la IE carece de un cuerpo de evidencias sólido y extendido entre los profesionales y tiene una nula incidencia en la formación y práctica docentes.

Ante esta situación Hargreaves sugiere cambiar radicalmente la forma en que la IE se hace. Es necesario cambiar la agenda, los métodos, la manera de difundir y aplicar los resultados y los destinatarios de las investigaciones.

Propone una mayor colaboración entre profesores e investigadores y el desarrollo de la figura del profesor-investigador capaz de realizar investigación de calidad a partir de su propia práctica. Igualmente sugiera grandes agencias nacionales que coordinen toda la IE. Las concibe integradas por políticos, profesionales de la educación, investigadores y asociaciones de padres. Deberían encargarse de fijar las líneas de investigación, establecer necesidades, fijar prioridades y evaluar resultados.

La investigación tiene que tener una clara orientación aplicada y  como objetivo construir un sólido cuerpo de evidencias. Los presupuestos de investigación deberán incentivar y privilegiar este tipo de investigación. Los resultados se incorporaran tanto a la práctica docente como a la formación de profesores.

Hargrevaes considera que, para producir evidencias, se debe seguir el mismo método que en medicina y que consiste en:

  • Convertir las necesidades de conocimiento en preguntas para la investigación.
  • Recoger las mejores evidencias disponibles sobre una cuestión concreta.
  • Evaluar las evidencias para determinar su validez y la viabilidad de su aplicación.
  • Aplicar los resultados en situaciones reales.
  • Evaluar los resultados de la aplicación.

Críticas al uso de la educación basada en evidencias

Hammersley (1997)

La cuestión de considerar a la investigación educativa como una investigación no acumulativa depende de la idea que se maneje de investigación. En la idea de Hargreaves se privilegia la investigación experimental cuantitativa donde la reducción y control de variables y un conjunto reducido de métodos relacionados con la estadística permite homologar investigaciones diferentes y replicar experimentos. Esto es mucho más difícil en la investigación educativa donde la investigación naturalista, la diversidad de métodos y el concurso de múltiples variables específicas de cada contexto hace casi imposible replicar investigaciones. Por otra parte, es casi imposible tener una idea operativa de aprendizaje para poder comparar investigaciones de acuerdo a los resultados que presentan. Por ejemplo, hay un aprendizaje que tiene que ver con la memoria, otro con el desarrollo de competencias, nay aprendizajes incidentales que no responden a los estímulos de enseñanza presentados, etc., etc. Por otra parte, una vez que se consigue medir algo en relación al aprendizaje, es muy difícil poder medir lo mismo en otro contexto porque las variables entre uno y otro harán imposible homologar las situaciones. Finalmente, la idea de casualidad que se tiene en la investigación experimental no tiene sentido en la investigación educativa. Las relaciones en la última son locales, sensibles al contexto y a la interpretación y agencia de los agentes que participan.

Hargreaves señala que la investigación educativa no contribuye a mejorar la práctica. La cuestión no es ver si hace o no hace contribuciones a la práctica igual que sucede en medicina, sino si en la práctica docente hay lugar para contribuciones de la investigación que se presentan como unidades discretas de conocimiento abstracto que se aplica mecánicamente a la práctica concreta. Esto es muy dudoso ya que la educación es más una práctica que una técnica en la que la interpretación de las situaciones concretas, la toma de decisiones sensibles al contexto y el juicio de los profesionales son más importantes que contar con un conjunto de recetas listas para ser usadas independientemente de otras consideraciones. Una visión tecnocrática dominada por agencias de evaluación de las prácticas y de la implementación de las evidencias supondría socavar las competencias profesionales de los profesores y vaciar de sentido su profesión, además de que los profesores lo verían como un control excesivo sobre su práctica. Contrariamente a lo que sostiene Hargreaves, esto empeoraría las cosas.

Biesta (2007)

Pone en duda que la medicina y la educación sean homologables. La medicina está basada en la intervención y en su efectividad; la causalidad está presente y se puede observar científicamente; y la idea de intervención supone separar medios y fines: se puede alcanzar un fin deseado con cualquier medio. La situación en educación es totalmente diferente: la enseñanza no busca intervenciones para solucionar problemas; la causalidad lineal no sirve, se necesita un modelo de causalidad sistémica y no lineal; no se pueden separar medios y fines. No es legitimo alcanzar los fines por cualquier medio. En educación, este último importa tanto como los fines ya que la educación es una cuestión moral.

En tanto que práctica moral, el juicio profesional es fundamental, por tanto la relación entre conocimiento, experiencia y práctica necesita ser pensada. La idea de un conocimiento externo a la práctica que es almacenado y aplicado en diferentes circunstancias no es posible en la educación. En la práctica docente tenemos un conocimiento basado en la experiencia, una epistemología práctica (Dewey) que influye en la forma que interpretamos situaciones y desarrollamos soluciones a los problemas concretos. El conocimiento refuerza la epistemología práctica de los profesores y fortalece su capacidad de juicio, pero no los sustituye.

Los valores morales y éticos de la educación están ausentes en la educación basada en evidencias. Esta dimensión moral y ética implica que la educación es un proyecto democrático en el que debe participar toda la sociedad. La práctica basada en evidencias socava la concepción democrática ya que sustituye los valores morales y éticos por una tecnocracia y cierra la participación abierta y la sustituye por un gobierno de expertos.

Bjerre y Reimer (2014)

Se supone que las evidencias derivan de un proceso de investigación con todas las garantías científicas, sin embargo en muchos casos estas evidencias con las que evalúan las prácticas profesionales, se planifican currículos y se hacen reformas educativas son proporcionadas por institutos de investigación que ofrecen algunas dudas sobre sus legitimidad.

Estos institutos no son instituciones académicas sino mezcla de diferentes agentes: universidad, sector público y sector privado. Su objetivo principal es proporcionar un conocimiento que respalde las decisiones políticas o influya en ellas de acuerdo a ciertos intereses. Estas instituciones evalúan, miden, monitorean, etc. instituciones y leyes educativas, profesores, resultados de alumnos, etc. La idea de evidencia que usan es diferente al concepto que se usa en la academia. Presentan como evidencia el resultado de investigaciones que no pasan por los sistemas de validación de la academia (revisión por pares, publicación y discusión en foros públicos…). Las investigaciones se publican en informes que se hacen públicos. En esos informes suele faltar información básica sobre metodología, procedimientos seguidos durante la investigación, se citan obras de terceros sin especificar metodologías. El resultado es que no se puede hacer una evaluación crítica de los resultados que presentan. Estos institutos, que pueden ser privados, total o parcialmente, o depender de instituciones privadas,  tienen unos intereses muy concretos y sus propias agendas. Su función es influir en la toma de decisiones con la idea de imponer sus agendas, no generar conocimiento científicamente válido en forma de evidencia. Los autores diferencian entre evidencia académica y evidencia estratégica. El ultimo tipo es el usado por estos institutos de investigación.

El problema ya no es tanto si una práctica basada en evidencias es posible en la educación tal y como funciona en la medicina, sino determinar qué uso se hace de esta idea, la calidad de las evidencias, las formas en las que se producen y analizar los procesos de toma de decisiones políticas en los que se usan las evidencias.

Rømer (2014)

Rømer hace un cuestionamiento de la idea de evidencia. En primer lugar cuestiona las jerarquías de evidencias en las que sólo son válidas las investigaciones experimentales y cuantitativas con muestreo aleatorio y grupos  de control. En segundo lugar, sitúa la producción de evidencias en una ecología de conocimiento que involucra investigadores, institutos de investigación, agencias de calificación, think tanks, fundaciones y gobiernos. En tercer lugar señala que la noción de evidencia no tiene ninguna tradición en la educación, ni en las tradiciones racionalistas, ni en las críticas, ni en las filosóficas.

Para este autor, la producción de evidencias es un proceso de descontextualización y abstracción. Este proceso es necesario para producir la validez de la evidencia y, al mismo tiempo, la razón de la debilidad de las evidencias ya que son producidas a partir de contextos concretos y están destinadas a ser usadas en el mismo tipo de contexto. Esta descontextualización y abstracción hace que sea necesario comparar unas evidencias con otras como la única forma de validarlas. Como esto no se puede hacer en la práctica dada la naturaleza de las evidencias, se hace a partir de las clasificaciones internacionales de resultados y evidencias promovidas por grandes organismos globales. Es decir, las evidencias se usan como niveles de referencia para la comparación (de alumnos, escuelas, sistemas educativos). La educación se vuelve entonces una tecnocracia encaminada a satisfacer los criterios de medida de los sistemas de clasificación internacional. Los resultados de cada sistema educativo se tienen que convertir en evidencias descontextualizadas y abstractas para poder ser incluidas en esas clasificaciones. Las evidencias sirven al poder de las métricas y no verdaderamente a la práctica educativa. Estos nuevos sistemas de evaluación están dominados por una visión corporativista, por la ideología de la competitividad y por la idea de eficacia que promueven los organismos tecnocráticos globales que dominan la educación.

Referencias

Biesta, G. (2007). Why «what Works» Won’t Work: Evidence-Based Practice and the Democratic Deficit in Educational Research. Educational Theory, 57(1), 1-22.
Bjerre, J., & Reimer, D. (2014). The Strategic use of Evidence on Teacher Education: Investigating the Research Report Genre. En K. B. Petersen, D. Reimer, & A. Qvortrup (Eds.). Evidence-based Education in Denmark: The Current Debate (83-104). Aarhus: Aarhus University.
Hammersley, M. (1997). Educational Research and Teaching: a response to David Hargreaves’ TTA lecture. British Educational Research Journal, 23(2), 141-161.

Hargreaves, D. H. (1996). Teaching as a Research-Based Profession: Possibilities and Prospects (Cambridge, Teacher Training Agency Annual Lecture).
Rømer, A. (2014). The Relationship Between Education and Evidence. En K. B. Petersen, D. Reimer, & A. Qvortrup (Eds.). Evidence-based Education in Denmark: The Current Debate (105-121). Aarhus: Aarhus University.