Evaluación de experiencias de aprendizaje emergente

Williams, Mackness y Gumtau (2012) desarrollan un instrumento para la evaluación del diseño de ambientes y experiencias de aprendizaje. Puesto que ese instrumento fue desarrollado a partir de una propuesta de definición de “aprendizaje emergente”, está orientado a comparar espacios y experiencias de aprendizaje diseñados para hacer posible un “aprendizaje emergente” con espacios y experiencias de aprendizaje prescriptivas. Aunque el instrumento no es un forma de tomar partido por una u otra forma, sino una herramienta para evaluar diseños de aprendizaje y para comprobar de qué manera características del aprendizaje emergente y del aprendizaje prescriptivo se relacionan en la práctica y las implicaciones que tienen estos factores en las experiencias de aprendizaje concretas.

El instrumento consiste en una serie de indicadores agrupados en clusters acompañados de descriptos y de una escala de puntuación. A partir de esa puntuación de generan unos diagramas que diferencian hasta cuatro zonas que van desde el aprendizaje más tradicional, controlado y cerrado hasta el aprendizaje más abierto, abierto y autónomo. Insisto en que el instrumento no se usa para descartar un opción u otra sino para ayudar en el diseño de experiencias de aprendizaje, sobre todo de “aprendizaje emergente”.

La idea es utilizar ese instrumento en la evaluación de un Educamp (Leal, 2011). Puesto que los Educamp fueron diseñados a partir de ideas sobre lo abierto, la interacción, la autonomía, etc. puede ser un buena herramienta. Por otro lado, querríamos comparar la evaluación del diseño con la evaluación que puedan hacer los participantes en un Educamp y ver hasta qué punto las características del diseño influyen las experiencias de los participantes y hasta qué punto los principios de diseño de plasman en la práctica real.

Tenemos la idea de hacer la evaluación y la comparación y recoger datos;

  • mediante observaciones de campo durante la realización de un Educamp;
  • a partir de diferentes evaluaciones de los participantes que pueden incluir la respuesta a cuestionarios sobre las características del Educamp y su experiencia
  • resultados de su evaluación usando el mismo instrumento de forma individual o en grupo (focus group);
  • extraer los principios que subyacen del Educamp de la literatura que hay disponible y de entrevistas con el creador de la experiencia;
  • etc.

Creemos que hay suficientes fuentes de datos para, por lo menos, hacer una evaluación rigurosa del diseño y realización de los Educamp y, quizá, para algo más.

Algunas de las preguntas que podrían guiar este proceso serían:

  1. ¿Qué tipo de experiencia de aprendizaje es un Educamp?
  2. ¿Cómo es la experiencia de participar en un Educamp? ¿Se corresponde ésta con los objetivos del diseño y con los principios que subyacen a él?
  3. ¿Qué características son las más/menos valoradas por los participantes? ¿Cuáles son más determinantes en la práctica y en su experiencia?
  4. ¿Qué tipo de datos se obtienen a partir del instrumento de Williams, Mackness y Gumtau? ¿Cuál es su utilidad?

Sería muy interesante, creemos, poder comparar varias experiencias de aprendizaje entre sí. Por eso si conoces, has participado o diseñado alguna experiencia más o menos innovadora, abierta, basada en los principios del aprendizaje emergente, etc., (cursos en línea, talleres, formatos de unconferences, experiencias p2p de colaboración intensiva, etc.), te invitamos a ponerte en contacto con nosotros para hablar de posibles formas de colaboración. Estamos, como no podía ser de otra forma, abiertos a cualquier idea.

Referencias

Leal, D. (2011). EduCamp Colombia: Social networked learning for teacher training. The International Review of Research in Open and Distributed Learning, 12(3), 60-79. Disponible en http://www.irrodl.org/index.php/irrodl/article/view/884/1677

Williams, R., Karousou, R., & Mackness, J. (2011). Emergent learning and learning ecologies in Web 2.0. The International Review of Research in Open and Distributed Learning, 12(3), 39-59.

Williams, R. T., Mackness, J., & Gumtau, S. (2012). Footprints of emergence. The International Review of Research in Open and Distributed Learning, 13(4), 49-90. Disponible en http://www.irrodl.org/index.php/irrodl/article/view/1267

Footprints of Emergence Wiki.

Propuestas de evaluación en cursos abiertos

Recopilación sobre el tema de la evaluación abierta.

  1. Diego Leal publica un borrador acerca de las actividades de evaluación de los cursos abiertos que ha diseñado y facilitado. La propuesta de Leal se basa en modelos de madurez y en una propuesta mixta de evaluación sumativa y formativa. Hay una autoevaluación que se hace a través de una rúbrica al inicio y al final del curso para ver la evolución experimentada durante el curso. Hay un producto final que es evaluado por el docente. Y también se rastrea la contribución de cada participante al grupo a través de las entradas y comentarios en blogs.
  2. Luz Pearson recoge varias formas de evaluación que ha puesto en práctica en diferentes cursos. Ofrece varios ejemplos de evaluación entre pares, plantea la dependencia que tienen los alumnos de la evaluación del docente como experto y lo más interesante es que recoge un ejercicio de evaluación del profesor por parte de los alumnos que tienen que responder en qué medida la labor del profesor ayudó a su proceso de formación. Parte importante de estas propuestas es que se orientan hacia la cohesión del grupo.
  3. Claudia Guerrero habla sobre una experiencia como alumna basada en una especie de meritocracia a partir de la evaluación entre pares. Los participantes valoran los aportes de cada uno al aprendizaje de los demás. Los docentes diseñaron un pormenorizado sistema de recuento y recompensas que iba construyendo el «karma» de cada participante. Todo ello fue implementado con una plataforma open source de preguntas y respuestas. También se aportan ejemplos en torno a preguntas y respuestas recompensados por insignias. Muy interesante.
  4. Leigh Blackall proporciona ejemplos de evaluación que ha llevado a cabo en diferentes cursos. Los ejemplos se basan en objetos de conocimiento que se hacen públicos en palataformas basadas en commons (wikiversity) y en la evaluación p2p. Todo queda documentado en la red de forma que la evaluación es transparente, verificable y demanda una alta responsabilidad  del docente y del alumno.
  5. Cathy Davidson ha escrito bastante sobre la evaluación como proceso de revisión entre pares (aquí y aquí, por ejemplo). En estas entradas cuenta algunos detalles de cómo lleva a cabo este proceso en el que se da gran libertad a los alumnos no sólo para evaluar, sino también para establecer los criterios con los que se va a evaluar. Esto me parece muy importante porque supone entregar la responsabilidad a los alumnos. A veces les damos unos criterios y les pedimos que los apliquen pensando en que están haciéndose responsables de la evaluación cuando en realidad están siendo el brazo ejecutor de lo pensado por otros.
  6. Evaluación basada en el peer review académico. Es una posibilidad para cursos basados en la creación de objetos de conocimiento y orientados a replicar las mismas prácticas que tienen lugar en las comunidades de práctica a la que pertenece la materia que se está enseñando. Por ejemplo, en un curso de ciencias sociales se trabaja en torno a un paper porque la práctica discursiva dominante en ese campo son los papers y se propone una revisión entre pares similar a la que se hace en ese campo. Se puede tomar del procedimiento de cualquier revista y adaptarlo más o menos de acuerdo a las necesidades y objetivos. Puede incluir diversas iteraciones con el fin de mejorar el producto final. En este enlace hay una detallada descripción de un proceso de revisión entre pares y varias referencias en las que se basa. Por supuesto es sólo uno de los ejemplos posibles.

Cosas en común:

  • Evaluación transparente. En muchos casos porque se hace en cursos abiertos donde todo el proceso es público y transparente. Esto implica que cualquiera puede verificar la evaluación.
  • Evaluación que involucra a todos los participantes (profesores, interesados, compañeros) en varios niveles: autoevaluación, heteroevaluación. La evaluación entre pares tiene un gran protagonismo.
  • Predominantemente es una evaluación cualitativa y formativa.
  • Microevaluación realizada a través de la valoración de microtareas de los pares. Se lleva a cabo con insignias, «karmas», etc. Los participantes acumulan «valor» otorgado por los compañeros y se puede valorar cualquier cosa (el abanico de cosas evaluables es mucho mayor que en la evaluación tradicional).

 

participar/querer/poder/colaborar

Diego Leal publicaba hace unos días una entrada reflexionando en voz alta sobre el funcionamiento de una actividad que estaba llevando a cabo. Como muchas de sus propuestas, es una actividad en abierto donde puede participar cualquier y consistía en un grupo de lectura en torno a un artículo de Stephen Downes sobre conocimiento conectivo. La actividad proponía la lectura atenta del artículo, la reflexión en blogs y la participación en sesiones sincrónicas semanales. En un determinado momento, Diego Leal se queda solo porque los participantes abandonan. Este es el contexto que da pie a sus reflexiones.

Estas reflexiones y las respuestas que se ha originado en los comentarios en el blog en twitter y en esta entrada de Luz Pearson, me han hecho pensar y he escrito unas notas que tienen un valor relativo porque yo no he estado participando en la actividad y solo la he seguido muy de lejos y no me siento autorizado a debatir con los participantes. Si me decido a publicarlas es porque me han hecho pensar en cosas que a mí mismo me preocupan y he querido conservar estos pensamientos. Valen, por tanto, más como pensamiento en voz alta que como aportación al debate.

Por supuesto, estas notas no son una evaluación del curso, de los participantes ni del facilitador y hay mucho información que desconozco por lo que, quizá, muchas de las cosas que he escrito no sean muy pertinentes. Insisto en que no habría que tomarlas como un intento de solucionar posibles problemas.

Tiempo

Todo el mundo coincide en el factor tiempo. No hay tiempo. Por más que nos pese, no podemos llegar a todo: trabajo(s), familia, descanso, ocio…

Por otra parte, todos estamos convencidos de lo importante que es la formación. Mejorar la capacitación, aprender en el trabajo, la formación continua, mejorar la fuerza de trabajo, aumentar el capital humano, etc. De hecho los sistemas educativos más exitosos del mundo cuentan con programas de formación continua de sus profesores que son claves en el éxito. Si todo eso es aceptado por todo el mundo, ¿por qué no se reserva un tiempo para que los profesores se formen? Si los profesores tienen que valorizarse en tanto que fuerza de trabajo por qué no recompensar esa valorización.

He visto “resistencia” a la formación en muchos profesores por diversas razones: falta de tiempo, pésimas condiciones laborales, formarse además de trabajar y no mientras se trabaja, falta de recompensas, etc. Comparto muchas de ellas e, incluso, me sorprende que no haya todavía más resistencia a la formación.

Prácticas

Muchos de los comentarios de los participantes que he podido leer hablan de comunidades de aprendizaje y comunidades de práctica. Creo que estas comunidades funcionan mejor si se construyen en torno a “prácticas” que si se construyen sobre lo puramente “conceptual”. Este grupo de #Explorartic es más bien una profundización teórica y conceptual que una serie de actividades en torno a “prácticas” (compartirlas, aplicarlas, revisarlas, replicarlas, inventarlas…).

 Creo que las barreras que pone la densidad conceptual del texto de Downes son difíciles de franquear. Yo me sorprendí cuando vi esa lectura propuesta y me dije a mí mismo “va a estar bien ver cómo se las arreglan con eso”. El interés en este tipo de discusiones es muy muy limitado. Esto reduce la cantidad de gente que se va a registrar en el grupo, aumenta las posibilidades de abandono y dificulta los aportes. Un texto como el de Downes y la elaboración conceptual que requiere, hay que reconocerlo, no son los mejores aliados para reclutar un gran número de participantes. No es lo mismo ver una presentación en slideshow donde aparece cinco veces la palabra conectivismo que leer el artículo de Downes o, incluso, el libro de Siemens. Es cierto que no hay tiempo, es cierto que requiere de conocimientos previos que no todo el mundo tiene y, también, es cierto que somos perezosos. No hay más que ver lo que le esta pasando al conectivismo que se ha convertido en una buzzword y la falta de rigor, de perspectiva crítica y de “alegría” con la que se usa espantan. ¿Cuántos se tomaron la molestia de leer los artículos filosóficos de Downes o el libro de Siemens?

En los mismitos MOOCs sobre conectivismo estamos viendo esto. El grupo central de gente que está participando de una forma activa edición tras edición es muy reducido y está compuesto por académicos interesados en investigar sobre los MOOCs. Es algo endogámico y autorreflexivo. No han podido salir de ese círculo. Luego hay un montón de gente que repite palabras vacías sin rigor alguno.

Ahora bien, me quedo pensando en si es posible plantear algo que ayude a solventar estas dificultades conceptuales, de tiempo y de esfuerzo. Un diseño hecho no a pesar de las dificultades, sino para superarlas. Me digo “tiene que ser posible”. Pero ¿cómo?

Colaboración y autonomía

El diseño de #explorartic se presenta como un espacio de colaboración. Colaboración en un sentido amplío, sin ninguna definición técnica. Al mismo tiempo se construye sobre y se fomenta la autonomía de cada participante: puede participar todo el que quiera (es abierto), puede participar de la forma que quiera (activo o pasivo; mucho o poco; escribiendo o grabando un audio; hablando en las sesiones sincrónicas o simplemente escuchándolas al día siguiente; etc.). Entonces entre la necesidad de colaborar y el ejercicio de esta autonomía hay que buscar un equilibrio que funcione como el nivel de compromiso mínimo necesario para mantener el espacio de colaboración en marcha. Hay que comprometerse hasta cierto nivel y ser capaz de mantenerlo. Este compromiso podría venir dado por las reglas del curso, por la obligación que impone la institución, por ser un requisito exigido por el facilitador o, también, podría formar parte del mismo diseño colaborativo del curso. Es decir los participantes siendo realistas y honestos deberían llegar a un acuerdo para seguir adelante. Ese acuerdo debería tener consecuencias en el diseño mismo de la actividad.

Granulidad

La granulidad es un fenómeno ampliamente documentado y bien estudiado en estos espacios de colaboración en red y consiste en los diferentes grados de participación que existen. Se sabe que un pequeño número de personas hace la mayor parte del trabajo y que un gran número de personas realizan pequeñas tareas o incluso miran sin participar en absoluto. La granulidad no es ni buena, ni mala. Todas las aportaciones son valiosas y todas contribuyen al resultado final. ¿Cómo determinar ese núcleo de participación intensa y activa? ¿Cómo alcanzarlo?

Cuando se diseña algo como #explorartic se debe contar con la granulidad muy en serio en el sentido de que va a estar ahí, se va a dar y hay que lidiar con este fenómeno. Además la granulidad es consecuencia de la misma naturaleza de la actividad. Digamos que viene dada por ser una actividad abierta a la participación de cualquiera, no reglada ni certificada y basada en la autonomía del participante.

Teniendo en cuenta esto, mis preguntas son si es posible diseñar espacios de colaboración en red a partir de la granulidad o si esta siempre se va a presentar como algo que va a minar el éxito de la actividad y si es posible diseñar una actividad que funcione para los más variados niveles de participación sin que se resienta y ofreciendo oportunidades de aprendizaje a todos los participantes.

Radio Reaprender: participación abierta

El 20 de diciembre estuve con Diego Leal y Andrés Chiappe en el programa de Radio Reaprender dedicado a la participación abierta. Esta forma de participación consiste en seguir cursos abiertos en línea de forma libre y gratuita sin recibir a cambio certificación o retroalimentación de un tutor. Intenté aportar mi experiencia como participante con diferentes grados de implicación que van desde la implicación total como si de un alumno formal se tratase a ser un mero visitante que de tanto en tanto consulta algún recurso.

Fue más de hora y media de charla, donde intentamos definir en qué consiste la participación abierta, qué desafíos plantea al tutor, a los alumnos que siguen el curso en modalidad formal o al propio diseño del curso y planteamos diferentes maneras de participación abierta de acuerdo al grado de participación y de actividad que desarrolla el alumno. Es cursioso que, a pesar de que un participante en modalidad abierta no es evaluado ni recibe certificación, hablamos sobre la relación que todavía se plantea entre la evaluación y certificación y este tipo de participación. En la segunda parte, la conversación se fue hacia las competencias que se necesitan para particpar en uno de estos cursos y a la cuestión del control. Más concretamente a los desafíos que ofrecer un curso abierto presenta a las instituciones, a los tutores y a las culturas de aprendizaje más tradicionales. Aquí se puede leer una descripción de los temas tratados con indicaciones de tiempo y se puede descargar siguiendo este enlace.

Como pueden suponer, hay muchos más temas porque la conversación se fue abriendo y ramificando en mil direcciones diferentes y quedaron abiertos muchos interrogantes. Quizá se pueda volver sobre algunos de ellos en próximos programas.

Aprovecho para dar las gracias a Diego Leal por la invitación y para recomendar a todo el mundo interesado en el aprendizjae abierto, en las experiencias educativas innovadoras y en el aprendizaje sin más, los programas de Radio Reaprender que se pueden oír en directo al tiempo que se participa en el chat, descargar desde la web o suscribirse mediante RSS o iTunes.

Objetos sociales y objetos de conocimiento

En el artículo de Diego Leal titulado “Malla de gestión de contenidos educativos: Ideas de base” me encuentro con el concepto de “objeto social” que Leal relaciona con los contenidos que forman parte de una comunidad. Esos contenidos, según Weller, son cosas que facilitan la interacción y las relaciones entre personas. Por ejemplo, en Flickr las fotos serían objetos sociales en torno a los cuales la gente establece diferentes tipos de interacciones sociales de forma que Fkicr no es solo una plataforma con fotos, sino una plataforma de gente usa las fotos para establecer relaciones.

¿Podríamos hablar de objetos de conocimiento cuando se trata de objetos que están en redes de aprendizaje? La wiki del proyecto PK-Lab define un artefacto de conocimiento de la siguiente forma:

These products are created, developed or used by individuals, groups of people or the learning community, where both their conceptual or epistemic aspects (they embed knowledge) and material qualities (they are some sort of entities with certain material characteristics) are emphasized. An artefact becomes a knowledge artefact in that it fulfills a particular epistemic function (type of mediation) within the knowledge creation process. A knowledge artefact might be used to elicit different perspectives on the knowledge object, to structure what is known of a knowledge object, to probe whether certain assumptions regarding the knowledge object hold in practices, and so on.

Typical examples of knowledge artefacts are documents, models, graphs, visualizations, notes, etc. Within KP-Lab a central form of knowledge artefacts is those appearing in a digital form (appearing, e.g. in the KPE) but as important are other kinds of knowledge artefacts (e.g. documents or plans in a paper format, or material prototypes). The specific characteristic of the use of knowledge artefacts in the context of trialogical learning is that these artefacts immediately serve the creation and finalization of the solution or product that some knowledge community is working on. One connotation of ‘knowledge artefacts’ is that they are usually dynamically produced and modified by a human being or a group of people. The term ‘knowledge artefact’ is meant in concrete terms to refer particular entities produced and modified (Trialogical Glossary).

A partir de esta cita, señalo como características de los objetos de conocimiento:

  • Son entidades materiales.
  • Son entidades flexibles que son producidas y modificadas de forma continua y dinámica.
  • Alojan (embed) conocimiento.
  • Desempeñan una función epistémica y esta función espistémica es siempre un tipo de mediación.
  • Son usados para la resolución de problemas y la creación de artefactos de conocimiento.

Si consideramos los contenidos educativos como objetos de conocimiento, estos no serían:

  • Cosas que se transmiten o comunican aunque pueden formar parte de interacciones comunicativas.
  • Cosas que en sí mismas contienen la solución a un problema o la información correcta o adecuada.
  • Cosas acabadas sin posibilidad de transformación archivadas de alguna forma.
  • La parte más importante del proceso de enseñanza-aprendizaje porque se considere que son “el conocimiento”.

Los objetos de conocimiento:

  • Son objetos sociales en torno a los cuales se establecen relaciones sociales orientadas hacia el aprendizaje.
  • Son ensamblajes de personas-herramientas-objetos (¿mediación?) que se usan para solucionar problemas o generar conocimiento.
  • Son objetos los suficientemente flexibles y maleables para permitir la apropiación por parte de las personas en función de necesidades, objetivos, contextos, relaciones, etc.
  • Redefinen la distinción entre personas, contenidos y herramientas.
  • Dan un nuevo sentido a la expresión “compartir conocimiento” que quizá podría ser reescrita como “compartir objetos de conocimiento”.

Para seguir leyendo:

Littlejohn, A. The Dynamics of Learning Ecosystems: literacies and resources.

Leal, D. Malla de gestión de contenidos educativos: Ideas de base.

Knorr Cetina, K. 2001. Objectual Practice.

Paavola, S., Engeström, R. y Hakkarainen, K.  Trialogical approach as a new form of mediation.

Pk-Lab Project. «Knowledge artefact».

Weller, M.  The social objects in education.