[Glosario] Evidencia

En la investigación basada en evidencias, se considera que una evidencia es una unidad de conocimiento, resultado de un proceso de investigación empírica, que se usa para justificar una decisión en un ámbito profesional.

La evidencia no está dada sin más, sino que es un conocimiento que ha de ser producido. Al ser un enfoque que se aplica en diferentes disciplinas, en cada una de ellas el proceso de producción de evidencias puede variar. Sin embargo,  como proceso estándar podrímos señalar aquél que empieza con una revisión de la literatura científica sobre una cuestión concreta. Se realiza un meta análisis con los criterios más exigentes de validez, relevancia y aplicabilidad hasta seleccionar las prácticas que mejores resultados ofrecen. A continuación esos resultados se prueban en la práctica real para comprobar lo que realmente funciona en nuevos contextos. Esas pruebas deben hacerse con muestras aleatorias y grupos de control. El objetivo es evitar sesgos y asegurar que la relación entre causa y efecto es inequívoca. Se evalúa a continuación la efectividad y eficiencia del proceso. Las prácticas que quedan al final del proceso se consideran evidencias que pueden sustentar decisiones acerca de qué práctica seguir o qué decisión tomar en cada caso.

Referencias
Bjerre Jørn y Reimer, David. (2014). The Strategic use of Evidence on Teacher Education: Investigating the Research Report Genre en Karen Petersen, David Reimer y Ane Qvortrupo (Eds.). Evidence and Evidence-based Education in Denmark – The Current Debate (83-102). Aarhus: Department of Education. Aarrhus University.
Brophy, P. (2009). Narrative-based Practice. Farnham: Ashgate.
McKibbon, K.a. (1998), ‘Evidence based practice’, Bulletin of the Medical Library Association 86:3, 396–401.
Straus, S. et al. (2005), Evidence-based Medicine: How to Practice and Teach EBM, (Edinburgh: Churchill Livingstone).

[Glosario] Estudio de caso

“(…) an in-depth exploration from multiple perspectives of the complexity and uniqueness of a particular project, policy, institution or system in a “real-life” context” (Simons 2014:457).

Referencia

Simons, H. (2014). The Oxford handbook of qualitative research. En P. Leavy (Ed.), (pp. 455-470). Oxford University Press.

[1st HEIRRI Conference] Panel: Adapting curricula to future researchers: foster RRI in postgraduate levels

Algunas notas de la 1st HEIRRI Conference. Teaching Responsible Research and Innovation at University. CosmoCaixa Science Museum, Barcelona, Spain. Friday 18th of March, 2016.

Las entradas son notas en falso liveblogging así que son personales, reflejan apuntes de lo que yo entendía y la responsabilidad es entermanete mía y, en ningún, caso deben entenderse como una transcripción fiel de lo dicho por los ponentes.

Panel 3. Adapting curricula to future researchers: RRI in postgraduate levels

Diferentes ejemplos de cursos que integran el enfoque RRI. Todos ejemplos muy cercanos a los temas de ética en la investigación desde un punto de vista más estrictamente metodológico o más cercano a las relaciones entre ciencia y sociedad y a las implicaciones sociales y éticas de la investigación.

Martínez-Campos, M. (Universitat Pomepu i Fabra). Science in Action: teaching scientific integrity to early career scientists.

Curso obligatorio para alumnos de doctorado sobre integridad de la investigación. Modalidad blended con parte en Moodle con lecturas y foros y seminarios presenciales dedicados a la discusión siguiendo diferentes formatos (debates estilo Oxford, estudios de caso, role plays…).

Temas que tradicionalmente quedan fuera del currículo de ciencias con un enfoque más allá de las recomendaciones éticas en la investigación. Mostrar la parte de la ciencia de la que no se habla en las facultades de ciencias: intereses, pasiones, emociones, aspectos éticos, contexto cultural y social.
El objetivo es concienciar sobre estos aspectos. Los temas que se tratan en los seminarios y contenidos son la confianza de la sociedad en los científicos, la contribución que pueden hacer los científicos a la sociedad, los conflictos de intereses y dilemas éticos que se afrontan en la investigación, etc. Los alumnos son reticentes a estos cursos en un principio pero después se muestran satisfechos y obtienen buenas calificaciones.

Kaiser, M (Uniersity of Bergen). “Theory of Science” – Wissenschaftstheorie – as a Way to Teach RRI

Cursos con un enfoque basado en la teoría de la ciencia según el modelo alemán que supone algo más que un simple curso de metodología de la investigación y que tampoco es exáctamente un curso de filosofía de la ciencia. Algo muy próximo al enfoque RRI.
Se llega aquí después de una reflexión de la institución sobre el modelo educativo y la necesidad de formar un nuevo tipo de investigador que ayude a resolver los grandes desafíos planteados por la sociedad, guiado no por la producción de verdad científica sino por la calidad entendida como soluciones a problemas.

Los contenidos éticos de la investigación son obligatorios por ley en Noruega y la Universidad de Bergen es la única que los ha integrado en su currículo. Los estudiantes de doctorado tienen que dedicar un apartado de su investigación a escribir un ensayo reflexivo sobre las cuestiones éticas de su proyecto.

Robert Castelo (Universitat Pompeu i Fabra). Teaching reproducible research in bioinformatics

Situación actual en ciencias experimentales. Inversión y resultados en forma de papers pero no necesariamente en soluciones a problemas concretos. Quejas de la sociedad hacia los investigadores, «mala ciencia», quejas de los financiadores. Muchos señalan la mala formación como causa. Revisores se quejan del «too good to be true» y de la pobre metodologia. Necesidad de mejorar los resultados de la investigación a través de la formación.
Uno de los problemas que están en la base de la falta de soluciones y el aumento de las publicaciones están en la dificultad de reproducir las investigaciones debito a los costes, a la imposibilidad de reproducir un experimento completo. Sin embargo en bioinformática la reproducción es posible, fácil y barata porque los datos están guardados, el software disponible, el código accesible.Usar la reproducción de investigaciones publicadas para formar investigadores y despertar conciencia sobre estas cuestiones relacionadas con los resultados de la investigación y su impacto social.

 

De Castro, P ( National Institute of Health in Italy). Be SAGER, increase relevance in research through sex and gender equity
Además de la cuestión de la paridad entre la comunidad científica (número de investigadores e investigadoras, número de mujeres en los comités de financiación y editoriales, mujeres en puestos directivos en universidadades y centros de investigación…), el sexo y el género tienen un peso importante en los resultados de la investigación que, sin embargo, son obviados, no tenidos en cuenta o no investigados. Esto es especialmente grave en la investigación en salud donde este olvido influye en los resultados de los tratamientos, los efectos de los medicamentos, etc. En la investigación este olvido se presenta en varias formas: no se reporta diferencias de género/sexo en las muestras, no se desagregan los resultados por género/sexo… Esto es responsable de importantes lagunas en la investigación que tiene consecuencias desastosas para las mujeres.
Muestra trabajo de la European Association of Science Editors y su proyecto Sex and Gender Equity in Research (SAGER) que intenta incidir en este problemas a través de los editores de revistas que son considerados «agentes del cambio». El objetivo es elaborar un marco para incluir diferencias de género/sexo en las publicaciones. Esto se hace a través de guías y recomendaciones a la hora de revisar papers y de elaborar requisitos de publicación. La presentación utilizada, con toda la información y referencias, se puede encontrar aquí.
Van der Burght, S. How to become R.I.CH: a one-day interactive workshop to increase confidence in research integrity issues
Problemas de «mala ciencia». Fraude en resultados, faltas a la integridad en la conducta y procedimientos científicos. Casos en la Universidad de Gent. Se propone como solución la formación y desarrollar habilidades (skills) trasversales a cualqueir investigador. Para ello dentro de la formación de estudiantes de doctorado se incluye un taller sobre integridad en la investigación. La comunicación presenta el taller. El taller basado en un enfoque participativo y reflexivo (discusiones, herramientas de reflexión, estudio de casos). Los objetivos son llamar la atención sobre estos problemas y hacer más capaces a los estudiantes de detectarlos, tratarlos y conocer habilidades para responder a ellos. Se trata de que sean investigadores R.I.CH: research integrity championships.
Alguna información sobre el taller aquí.

Analíticas

Estamos trabajando en proyectos de comunidades virtuales soportadas por instalaciones de WordPress y tenemos varias herramientas de «analytics» que van recogiendo datos de varias cosas. Tenemos por supuesto google analytics y un serie de plugins que recogen información de lo que pasa en los grupos, de lo que pasa en los foros, de quién visita la plataforma, cuánto tiempo pasa en ella, cuáles son los navegadores que usan los usuarios, etc. Nada nuevo, cualquiera que tenga un blog en puede tener este tipo de medidas.

Con tanta información uno ve relucir la promesa de grandes masas de datos que le van a servir para muchas cosas. Entre ellas, y por sólo mencionar algunas que a mí me parecen importantes, mejorar la plataforma, ayudar a diseñar estrategias de facilitación eficaces, dar feedback a los usuarios y, en última instancia, establecer relaciones entre la plataforma, la facilitación, los contendios y el aprendizaje de los participantes.

Sin embargo, aunque los datos están ahí y son masivos y están actualizados, yo no puedo responder a esas cuestiones simplemente viendo los datos. En nuestro caso tenemos muchos datos pero que nos hablan del funcionamiento global de la plataforma y de información sobre el acceso, más que de lo que los alumnos hacen o de su aprendizaje. Incluso cuando tenemos un dato incontrovertible como el número de veces que un alumno participó en foros, detallado hasta el punto de saber cuántas veces respondió, cuántos hilos nuevos empezó o si subió documentos (imágenes, texto) a los foros, no podemos saber qué impacto tuvo esa actividad en su aprendizaje y no digamos en el aprendizaje de los demás.

Le doy vueltas a la paradoja de contar con esos datos y de tener múltiples herramientas que están haciendo ese trabajo y no poder responder ninguna de las preguntas que nos estamos haciendo. No habría que descartar, por supuesto, que el problema no fuera de las análiticas en sí, si no de la falta de competencia que yo tengo para manejarlas. Uno lee artículos llenos de datos y cálculos estadísticos y me gustaría, ciertamente, poder hacer eso, pero por desgracia, no puedo. Aunque también tengo que decir que en muchos de esos artículos no están las respuestas que ando buscando o, al menos, un método de análisis e interpretación de los datos que me ayudara a encontrarlas.

Así que entre la decepción por no poder sacar más provecho de las analíticas, la rabia por no tener más conocimientos de programación y estadística y la esperanza de que de ahí voy a sacar algo interesante voy dándole vueltas a varias posibilidades. El otro día en una conversación informal en el trabajo fuimos dejando algunas ideas:

  • Necesitamos en trocear los datos, necesitamos grano para poder identificar y comparar. Tenemos que tener, de forma clara, unívoca y rápida, individualizados los datos de forma que podamos saber qué hace quién en cada sitio.
  • Necesitamos acceder a las bases de datos de forma automática y extraer información de allí, pero no cualquier información y no toda la información. Volvemos al grano, tenemos que tener sistemas automatizados para extraer información de, por ejemplo, la actividad de un usuario en un foro concreto. Y esto sólo nos daría oportunidad de acelerar la fase de recogida de datos; nada sobre en análisis e interpretación.
  • Necesitamos búsquedas automáticas, pero también tener claro qué estamos buscando. Por volver a cuestiones clásicas, tendríamos que tener definiciones precisas de qué es «compartir conocimiento», «colaboración» o «crear conocimiento» para poder buscar evidencias de esas prácticas en los datos que podamos recuperar u orientar las búsquedas hacia esas potenciales evidencias.
  • Lo anterior hacía referencia al qué, pero también tenemos ideas sobre el cómo hacerlo. Siguiendo el ejemplo de los pamphlets del Stanford Literary Lab, yo imagino trabajo en equipo con muchas pruebas y mucho ensayo y error hasta que podamos, muy poco a poco, ir avanzando en una forma de hacer que nos permita, al menos, recoger datos de forma eficiente para los objetivos que nos marcamos. Serían ciclos tentativos que empezarían por un «sería bueno tener datos de…», seguiría por respuestas de los programadores como «eso no tiene sentido,  pero podríamos tener…» y con un «vamos a hacer eso con tal usuario para ver qué obtenemos» y finalizaría con la pregunta «qué significan estos datos». Todo eso como un ciclo donde las preguntas se van haciendo al mismo tiempo y donde la lógica es la de un experimento en un laboratorio en su fase más inicial, cuando no hay certezas y se hacen pruebas hasta dar con algo.

Experimentos de investigación/aprendizaje

La serie de pamphlets del Literary Lab de Stanford dirigido por Franco Moretti ha sido una de las lecturas que más me han impresionado en los últimos meses. Esos textos vienen a ser unos cuadernos de pruebas, diarios de experimentos que no están concluidos, primeras versiones de futuros papers. Son textos autopublicados y, en cierta manera, eso les da la libertad necesaria para narrar, en muchos casos, experimentos fallidos, works in progress y resultados parciales que sorprenden a los mismos investigadores.

Recogen cosas como tenemos estos resutados pero no sabemos bien qué pueden significar; desarrollamos un software para encontrar tal cosa pero el software no funcionó; o como cuando encuentran resultados que no llevan a ninguna parte. En esos momentos yo he encontrado allí información sobre qué es una investigación en ciencias sociales  y cómo se lleva a cabo desde el punto de vista más conceptual y, al mismo tiempo, más práctico. He aprendido mucho de, diagmos, la lógica de la investigación científica. Y también muchas cosas sobre el trabajo en equipo, la interacción entre el programador y el investigador, la creatividad o la serendipia.

Estos dias estaba pensando yo en la posibilidad de aplicar esas cosas, aunque en disciplinas y métodologías diferentes, al trabajo que estamos haciendo. Le doy vueltas a esa idea de juntar a un grupo de gente, probar cosas, probar métodos para recoger datos, testar hipótesis, equivocarnos, coger caminos que no llegan a ningún sitio pero que enseñan mucho.

Hablando de serendipia, hoy encontré una lista elaborada por Tom Scheinfeldt con consejos parar introducirse en las Humanidades Digitales. Algunos de los consejos recogidos dicen cosas como «Must. Try. New. Things»; «Break something»; o «Lather, rinse, repeat».