[MUSIC] Les doy la bienvenida al último curso del programa especializado en evaluación educativa de la Universidad Nacional Autónoma de México. En este curso desarrollarán un proyecto final aplicando los conocimientos y habilidades aprendidos en los tres cursos anteriores. Para así completar el programa especializado. En esta primera sesión abordaremos el tema de la evaluación educativa desde el enfoque sistémico. Como se han dado cuenta, los docentes contamos con una gran cantidad de instrumentos para evaluar el aprendizaje. Estas herramientas utilizan principios pedagógicos, técnicas diferentes. Que a su vez requieren de metodologías, marcos conceptuales. Inclusive distintos paradigmas para diseñarse, aplicarse y utilizarse. Supongamos que desean evaluar este curso. El aprendizaje en este mooc, en este curso masivo abierto en línea y su éxito. ¿Qué instrumentos utilizaría? Podríamos documentar el número de participantes que visualizan todo el material. Podríamos medir cuántos participantes terminan el curso y obtienen el certificado. Podríamos aplicar exámenes de opción múltiple sobre cada uno de los temas revisados. Podríamos realizar incluso un análisis cualitativo de lo que dicen los participantes en los foros. Y también podríamos aplicar cuestionarios a aquellos que hayan tomado el curso. Como seguimiento para verificar que realmente aplíquen lo aprendido. ¿Cómo integrar toda la información de evaluación obtenida por todos estos instrumentos y métodos en diferentes momentos del proceso educativo? Es muy fácil perderse en el bosque de la evaluación educativa, con tantos árboles, ramas, hojas de métodos. Instrumentos, incluso paradigmas como comenté diferentes. Por ello es fundamental desarrollar una perspectiva sistémica, holística del proceso educativo. Así como de todos los elementos que la componen, de enseñanza, aprendizaje y evaluación. you que existe una muy compleja red de interacción entre todos ellos. En el ejemplo de evaluación del mooc del curso en línea, ¿cuál podría ser un esquema tradicional? Diseñar elementos de evaluación formativa y sumativa para los objetivos de aprendizaje de cada unidad temática. Analizar los resultados de cada examen o aplicación de instrumento. Acreditar cada unidad si se aprueban las evaluaciones sumativas. Y así como obtener el certificado si se aprueban toda la cadena de evaluaciones sumativas del curso. El diseño de la evaluación necesariamente refleja el modelo mental de quién lo utiliza. Y si solamente tenemos un martillo, todo nos va a parecer un clavo, y actuaremos en consecuencia. Por ello debemos ampliar nuestra perspectiva de la evaluación. ¿Por qué es diferente una perspectiva de sistemas? Para ello tenemos que definir qué es un sistema. Un sistema es una colección de cosas diferentes que funcionando juntas. Producen un resultado que no podría haberse logrado con cada una de las cosas de manera individual. La perspectiva sistémica de la evaluación nos permite ver este panorama global de una forma más amplia y profunda. Y nos arroja el valor agregado de las interacciones que ocurren en las interfaces de los diversos elementos del sistema. Todas estas interacciones generan información que es muy valiosa. Y a diferencia del pensamiento tradicional lineal que sobresimplifica las causas y efectos de las cosas. El pensamiento de sistemas nos abre una ventana a un mundo diferente, más auténtico, más sofisticado. Más complejo, que nos da mayores elementos para interpretar la enseñanza y aprendizaje en este contexto complejo. Veamos los elementos de diseño de sistemas y sus propósitos funcionales. Uno de ellos es la meta del sistema. Debemos asegurar que las metas definidas del sistema sean prioritarias y estén bien definidas. Debemos a continuación especificar. ¿Qué deben hacer los diferentes individuos y grupos que participan en el proceso para así determinar sus contribuciones a los resultados intermedios y finales. Hay que alinear los esfuerzos de las partes interesadas. Definiendo cómo deben realizar sus procesos y procedimientos para establecer vías de comunicación. Y muy importante de retroalimentación que sean confiables. Para así intercambiar de manera dinámica y continua la información crítica necesaria para un buen desempeño del sistema. Al final del día, debe proporcionarse información oportuna, relevante y sobretodo accionable para actividades correctivas. Mejoría de calidad, así como responder oportunamente a cambios en el entorno interno y en el ambiente externo. Les pido que hagan lo siguiente, escriban en el foro un ejemplo de un sistema de evaluación del aprendizaje en línea, que ustedes conozcan. ¿Cuáles son sus elementos y actores fundamentales? ¿En dónde se encuentran estos puntos de conexión de los diferentes elementos de este sistema? ¿Qué fallas y áreas de oportunidad conocen en el sistema? ¿Y cómo podría mejorarse? Ahora piensa en el modelo mental del sistema de evaluación que tú deseas desarrollar e implementar en tu contexto. Ve la imagen e identifica cuáles elementos conforman un sistema. Reflexiona sobre las diferentes fronteras que hay entre ellos. Y estos umbrales que hay entre los diferentes elementos del sistema. Y cómo se pueden configurar incluso como microsistemas. Es decir, sistemas dentro de otro sistema. Cada sistema posee un conjunto de culturas y subculturas dentro del mismo. Que determinan lo que se vale hacer, las prioridades, las necesidades de cada uno de ellos. En la visión sistémica de la evaluación es fundamental tener en mente a todos los participantes. A todos los actores, directivos, docentes, estudiantes. Los recursos financieros y materiales que se necesitan, entre muchos otros elementos. Mientras más tengamos en consideración el rol de todos estos participantes. Habrá una mayor posibilidad de que el sistema funcione precisamente para lo que fue diseñado. Como podemos ver en esta imagen, si graficamos qué tan predecibles. Son los beneficios del sistema para la organización en una línea horizontal. Y qué tan claros son los beneficios para los individuos y el grupo, en el eje vertical. Se forman cuatro cuadrantes que tienen que ver con el liderazgo, con la cultura de la organización. Con la gestión y con el ejercicio del poder de los líderes asignados en este grupo. El menos efectivo de todos, es la aplicación del poder a rajatabla, sin tomar en cuenta lo demás. you que entonces no funciona como un sistema verdadero. El más claro y predecible, el más útil es el que visualiza la cultura de la organización dentro de un sistema holístico y global. Con los elementos que you comentamos anteriormente. Es muy importante promover consensos desde la fase de diseño de un sistema de evaluación y construirlo en comunidad. Los roles funcionales claves de la evaluación en los sistemas son los siguientes. Proporcionar información para acciones correctivas, mejoría de calidad y planeación. Incentivar consideraciones incluyentes de todos los participantes. De factores que contribuyen a resultados de componentes y desempeño global del sistema. Para así poder avanzar en un modelo mental colectivo de aprendizaje organizacional. Y por último, apoyar la toma de decisiones basadas en evidencias, esto es muy importante. El hacer sentido de los procesos, lo que llaman en inglés sensemaking, es fundamental. you que en la medida que en nuestra mente tengamos un entendimiento claro de lo que ocurre. Ello influye en que avance el aprendizaje de toda la organización. Al tener este modelo mental compartido. Y así aprovechamos desde el nivel de datos pasando por su conversión en mi información. Después conocimiento, hasta llegar al desarrollo de la sabiduría individual y colectiva. Regresemos al ejemplo de evaluación del mooc, podríamos transformarlo en evaluación sistémica. En esta imagen tenemos un esquema tradicional visual de evaluación del curso. Para mejorarlo habría que hacer lo siguiente, primero desarrollar un bosquejo del proyecto como un sistema. Un mapa mental holístico que incluya todos los elementos críticos del mismo. En segundo lugar, hay que identificar a todos los actores importantes del proceso. Y las interacciones posibles que pueden ocurrir entre ellos para situarlos en este mapa. También tenemos que movernos del nivel microsistema a un nivel más superior. En el que se visualice la interacción y la relación entre todos sus componentes, incluyendo los microsistemas. Y así tenemos que navegar entre lo micro y lo macro de una manera continua, sin perder de vista el éxito del proyecto. En este nuevo esquema podemos ver un sistema más complejo, más sofisticado para evaluar el mooc. Que incluye la interacción de diversos actores en lo que se llama un sistema adaptativo complejo. En estos sistemas adaptativos complejos los elementos interactúan de manera como agentes libres. Y generan una serie de núcleos de actividades y líneas de interacción multidireccionales. Esto incluye el uso de diversos instrumentos y de diversas estrategias evaluativas. Si se percibe con una perspectiva sistémica, la evaluación desde un principio, el resultado será mucho mejor. Y el proceso más satisfactorio y más motivador para todos los participantes. En resumen, podríamos enumerar las siguientes conclusiones. Primero, el enfoque sistémico de la evaluación permite tener una visión panorámica y al mismo tiempo profunda de todo el proceso. Segundo, contribuye a que no nos perdamos en los detalles. Y que mantengamos la vista en el blanco, en la meta como una especie de brújula guía. Tercero, proporciona información accionable, esto es muy importante, a todos los elementos del sistema. Tanto a los docentes como a los estudiantes y a los tomadores de decisiones. Además, tenemos muy claro que no es sencillo, que requiere actitud reflexiva. Esto que llamamos metacognición, pensar sobre cómo pensamos. Pensamiento crítico, capacidad de abstracción, liderazgo y mucho, mucho trabajo colaborativo. Y por último, permite integrar los resultados de diferentes métodos e instrumentos en un todo coherente. [MUSIC]
