Proceso de diseño de instrumentos para la evaluación del desempeño docente: experiencia en una unidad de educación superior a distancia

La evaluación puede ser entendida de distintas formas: como una manera de controlar y medir, verificar la validez en los objetivos o como un mecanismo de rendición de cuentas; esta perspectiva será en función de las necesidades, objetivos o propósitos de quien la aplique (Mora, 2004). Para definirla, Rosales (2014) basándose en definiciones de Stufflebeam, Lafourcade y la UNESCO, explica que la evaluación permite obtener información y emitir juicios sobre determinados fenómenos, situaciones, personas u objetos, brindando herramientas para la toma de decisiones.

Por su parte, el desempeño laboral es definido por Chiavenato (2009) como la eficacia del personal al desempeñar sus funciones dentro de una organización, mientras que Milkovich y Boudrem (como se refirió en Chiang y San Martín, 2015, p. 160) señalan que el desempeño hace referencia a qué tanto un trabajador cumple con los requisitos necesarios para su puesto. Conforme la idea de que el éxito de una organización está determinado, en gran medida, por los trabajadores, la necesidad de conocer el aporte que estos hacen a la organización se fue acrecentando, y con ello se introdujo la idea de evaluar el desempeño, aunque en un inicio solamente se tomaba en cuenta la percepción del jefe, volviéndose a través de los años más participativa (Sánchez y Calderón, 2012).

En cuanto a la evaluación del desempeño, diversos autores han proporcionado definiciones para el término. De acuerdo con Sastre y Aguilar (2003), es “aquel proceso sistemático y estructurado, de seguimiento de la labor profesional del empleado, para valorar su actuación y los resultados logrados en el desempeño de su cargo” (p. 321). Por su parte, Castillo (2007) la define como “el proceso de juzgamiento periódico de la calidad del trabajo y potencial laboral de los integrantes de una empresa” (p. 306). Otra definición es la que proporciona Chiavenato (2009, p. 245), quien refiere que “es una valoración sistemática de la actuación de cada persona en función de las actividades que desempeña, las metas y los resultados que debe alcanzar, las competencias que ofrece y su potencial de desarrollo”.

En cuanto a la medición del desempeño, Gómez-Mejía, Barkin y Cardy (2001) indican que esta implica identificar, medir y gestionar el rendimiento de las personas en la organización. Para medir el rendimiento se utilizan instrumentos, los cuales pueden arrojar juicios relativos (comparan el rendimiento de unos empleados con otros) o absolutos (individuales, basados en estándares); además de que su enfoque pueden ser las características, comportamientos o resultados de los trabajadores (Gómez-Mejía et al, 2001). Existen distintos instrumentos empleados para medir el desempeño, como la evaluación de 360°, donde intervienen todos los que tienen contacto directo con el evaluado; las escalas de calificación, en la cual se evalúa con respecto a determinados adjetivos por medio de una escala; o los estándares laborales, que permiten comparar el desempeño de un trabajador con un estándar predefinido o esperado, por mencionar algunos (Mondy y Noe, 2005).

La tarea de evaluar el desempeño forma parte de los procesos de administración de recursos humanos, que Castillo (2007) define como un sistema administrativo que incluye la planeación, organización, coordinación, dirección y control de las actividades esenciales para contar con las condiciones adecuadas que propicien el correcto desarrollo del potencial de los empleados, proponiendo un modelo que incluye los cinco procesos enunciados, pero enmarcados en el contexto externo y que dan como resultado el desempeño laboral, donde la evaluación forma parte de sus procesos de control. Por otra parte, Chiavenato (2009) plantea una visión distinta, pues argumenta que los modelos clásicos tratan a las personas como recursos que requieren ser administrados, estandarizados y que son uniformes e inertes; por ello, propone un modelo de procesos dinámicos, que son impactados por las influencias del entorno tanto externo como interno. Los procesos básicos que presenta Chiavenato (2009) son seis: procesos para integrar personas, para organizarlas, recompensarlas, desarrollarlas, retenerlas y auditarlas, formando la evaluación del desempeño parte de los procesos para organizar personas.

La evaluación del desempeño puede tener dos fines, el administrativo y el de desarrollo. El primero se enfoca en la utilización de los resultados para tomar decisiones sobre condiciones laborales, como las recompensas o despidos; mientras que, orientada al desarrollo, la evaluación busca mejorar el rendimiento de los trabajadores y el fortalecimiento de sus habilidades, por lo que debe incluir consejos orientados a la mejora o planes de formación (Gómez-Mejía et al, 2001). La información para evaluar el desempeño puede provenir de distintas fuentes, como el propio evaluado, gerentes, subordinados, compañeros de trabajo, una comisión para ello o una mezcla de las anteriores (Chiavenato, 2009).

Ahora bien, las consideraciones anteriores pueden aplicarse a cualquier tipo de organización; sin embargo, aquellas que ofrecen servicios de tipo educativo presentan características especiales que la hacen sujeto de una evaluación más especializada, ya sea por el imperativo institucional relacionado con la función social que históricamente le ha sido asignada, que es formar gente (Careaga, 2001) o por el énfasis que las instituciones educativas ponen en la calidad, misma que se relaciona con conceptos como la eficacia, eficiencia, pertinencia y satisfacción de los involucrados en el fenómeno educativo (Alcón y Esteve, 2017).

Una de las mayores preocupaciones al evaluar en las instituciones de educación superior es la labor de los profesores, quienes se vuelven un objetivo importante al ser considerados actores centrales en el proceso educativo, un “sujeto clave de formación”, como señala Prieto (2008, p.325). El rol del profesor, debido a la complejidad de la enseñanza y la naturaleza de las actividades que realiza, hace que la evaluación del desempeño docente se vuelve una necesidad y, a la vez, uno de los mayores retos en las universidades (Fernández y Luna, 2004).

En México, la evaluación a los docentes ha tenido una tardía aparición y avance, pues antes de la década de los 80 era prácticamente inexistente (Vidal, 2009, citado en Guzmán, 2018), y posterior a esta fecha la evaluación tomó un papel central en la búsqueda de la mejora de la calidad educativa en instituciones públicas, siendo tal su prioridad que se impulsaron políticas por parte del gobierno mexicano para evaluar y otorgar incentivos a profesores universitarios (Rueda, 2018), aunque previo a ello se dio un auge en la evaluación de profesores en las universidades privadas, las cuales la han llevado a cabo desde hace más de 4 décadas (Rueda, Elizalde y Torquemada, 2003). Una de las técnicas más empleadas son los cuestionarios de evaluación de la docencia (CEDA), que permiten evaluar el desempeño docente y la satisfacción de los estudiantes. Los CEDA fueron utilizados por primera vez en una institución de educación superior en México en el año 1972, por parte de la Universidad Iberoamericana, y su uso de propagó a otras universidades, aunque su uso ha despertado mucha controversia debido al uso punitivo que se le ha proporcionado (García Garduño, 2003), mientras que otros académicos señalan que los estudiantes no son fuentes confiables para evaluar a los docentes, ya que carecen de conocimiento y experiencia para ello; pese a lo anterior, los CEDA son los instrumentos más utilizados no solo en México, sino a nivel mundial  (Izar, Ynzunza y Castillo, 2016).

Pacheco, Ibarra, Iñiguez, Lee y Sánchez (2018) refieren que la evaluación del desempeño de docentes que laboran en universidades es entendida como el “ejercicio sistemático que, con fundamento en un conjunto de evidencias, juzga cómo llevan a cabo su labor los profesores […] con el fin de identificar logros y desajustes de su actuación en los escenarios educativos” (p. 1), mientras que Rico, Montalvo y Ayala (2001) la conciben como una “valoración sistemática de la actuación, o las cualificaciones del rol profesionalmente definido, además, del ideario del sistema escolar”. Ambas definiciones indican que la evaluación debe ser un acto sistemático, y para el diseño de un sistema para la evaluación del profesorado, Mateo (2000) señala cuatro fases: ideación, desarrollo, implementación y metaevaluación. La ideación consiste en identificar las necesidades, derivar los objetivos institucionales y definir el modelo de calidad docente. Luego, en la fase de desarrollo se determina cuáles son las funciones y responsabilidades de los profesores, se desarrollan los criterios con los que se les evaluará, los indicadores y se fijan estándares para la evaluación. Durante la fase de implementación se documenta la actividad docente, se emiten juicios de valor y se deriva de lo anterior las propuestas de mejora, para finalmente analizar el proceso en sí durante la fase de metaevaluación.

Dicho ejercicio puede tener dos finalidades, muy similares a las planteadas por Gómez Mejía et al (2011) y que se mencionan en párrafos anteriores: la formativa y la sumativa (Salinas, 2017), la primera se enfoca en la mejora de las prácticas del profesor, orientada a la identificación de fortalezas y debilidades; mientras que la sumativa se dirige a la recolección de información de utilidad para la toma de decisiones de tipo académico-administrativo, como las compensaciones o la recontratación del docente. Una de las problemáticas que Gómez y Valdés (2019) encontraron que se presenta frecuentemente en instituciones de educación superior es la falta de congruencia entre los propósitos de evaluación, los métodos e instrumentos utilizados y el uso que se da a los resultados, pues hallaron que muchas universidades plantean (en su discurso) una evaluación del desempeño docente orientada a la mejora, pero en su ejecución refleja una tendencia hacia otros fines.

La evaluación del desempeño docente varía tanto en los conceptos que explican el fenómeno, los métodos para recopilar información y los usos que se le da a la misma (García Cabrero, 2003). Pacheco y cols. (2018) señalan dos aspectos por tomar en cuenta al evaluar a los docentes universitarios: debido a su alta especialización, requieren contar con dos tipos de saberes: los disciplinarios y los pedagógicos, ya que además de conocimientos propios de la o las disciplinas, necesitan aquellos relacionados con el fenómeno educativo y la formación de personas en escenarios de aprendizaje. También es fundamental que primero se determine cuáles son las características de un buen docente. Aunque se han realizado esfuerzos por definirlas de manera general, Pacheco et al (2018) resaltan que estas deben ser congruentes con el ideario de la institución, condiciones disciplinarias, necesidades de evaluación y uso que se dará a los resultados. Además de lo anterior, Elizalde y Reyes (2008) sugieren que se tome en cuenta el análisis del contexto de la institución.

En la educación a distancia, resulta aún más difícil evaluar a los profesores, ya que ni siquiera existe un marco normativo sólido para esta modalidad (Vicario, 2015), además de que el rol docente es distinto para esta modalidad, teniendo tareas como: planificador y diseñador, experto en contenidos, pedagogo-tecnólogo de la educación, especialista y técnico en la elaboración de materiales didácticos para medios digitales, responsable de guiar el aprendizaje, tutor/consultor y evaluador, y se le debe pedir el mismo nivel de exigencia que un docente en la modalidad presencial (García Aretio, 2003), aunque sin mezclar las funciones y roles para cada uno, pues, como señala Fainholc (2004) un buen profesor presencial no necesariamente es un buen docente a distancia, y como advierte Páez (2010), existe un “error en trasladar los principios y las estrategias empleados en la modalidad presencial a la forma virtual” (p.153).

Las particularidades de un profesor en la modalidad a distancia son varias, entre ellas que ya no es la única ni principal fuente de conocimientos, y muchas veces ya ni siquiera se encarga de desencadenar las actividades de aprendizaje, además de que la comunicación suele ser asíncrona, la atención es personalizada y no hay contacto físico, adoptando el rol de motivador, acompañante y coevaluador, aunado lo anterior a que requiere habilidades muy específicas para manipular las herramientas digitales (Páez, 2010).

La evaluación del desempeño docente en entornos virtuales tiene dos principales enfoques, el parcial y el global. El enfoque parcial se orienta específicamente hacia alguno de los aspectos de importancia para la formación virtual, como la actividad formativa, materiales, plataforma tecnológica o la relación entre el costo y el beneficio obtenido. Por otra parte, el enfoque global considera el total del conjunto de elementos que intervienen en el proceso, con las vertientes de los centrados en modelos o normas de calidad y los de benchmarking, donde la organización se compara con otra (de resultados excelentes) con el fin de emularla (Rubio, 2003).

Actualmente varios autores han elaborado propuestas y modelos para evaluar docentes en entornos virtuales, unos como una parte de la evaluación de los cursos, y otros enfocándose exclusivamente en esta figura. Entre los que proponen evaluar el desempeño de los docentes como parte del curso se encuentran Llarena y Paparo (2006), quienes proponen evaluar la satisfacción de alumnos y profesores con respecto a la calidad de los materiales, el desempeño de los tutores y la calidad del entorno tecnológico; mientras que Villar (2008) se enfoca en los materiales, las interacciones del docente con los estudiantes, los antecedentes académicos de este y el uso de la plataforma.

En cuanto a las propuestas con enfoque parcial están, por mencionar a algunos, los siguientes: Duart y Martínez (2001) proponen que la evaluación del desempeño de docentes virtuales se realice contemplando la perspectiva de los estudiantes, el equipo docente (coordinadores y responsables del programa) y los resultados obtenidos, enfocándose en conocimientos del profesor, orientación del aprendizaje, motivación, evaluación, relación con el equipo docente y claridad y rapidez en las respuestas. Esquivias, Gasca y Martínez (2009) plantean una evaluación a los docentes por medio de rúbricas, donde el evaluado y un observador puedan ubicar su desempeño en las áreas de competencia metacognitiva, psicopedagógica, comunicativa, tecnológica, ética y social, en los niveles novato, aprendiz, practicante y experto.

Por su parte, Cabero, Llorente y Morales (2018) presentan una propuesta para configurar un modelo, con cuatro dimensiones por ser evaluadas: el conocimiento disciplinar, el pedagógico, el tecnológico y el cumplimiento de normas y reglas, con una serie de subdimensiones para cada área. Plantean el uso de cuestionarios combinado con métodos más cualitativos, como el portafolios, para la recogida de la información desde la perspectiva de los estudiantes, los directores o responsables académicos y el mismo evaluado. Esta propuesta se fundamenta en la de otros autores, siendo una influencia en los criterios de evaluación el modelo TPCK de Mishra y Koehler (2006), que clasifican los conocimientos que un profesor debe tener en tecnológicos, pedagógicos y de contenidos, los cuales no son estáticos ni actúan por separado, sino que se combinan e interactúan.

Luego de revisar los antecedentes previamente presentados, se puede apreciar que la evaluación del desempeño docente, además de ser un fenómeno complejo que varía con respecto a la modalidad y los indicadores por evaluar, se vuelve una necesidad para las instituciones educativas, especialmente si busca la mejora a través del análisis de los resultados encontrados en el proceso evaluativo. Por lo anterior, esta fue una de las principales preocupaciones de la unidad en la que se diseñaron los instrumentos de evaluación, la cual se creó en enero de 2019 e inició con sus funciones en agosto del mismo año, con una oferta inicial de dos licenciaturas del área de las ciencias sociales.

Los docentes que participaron impartiendo asignaturas en el primer curso (denominados asesores virtuales en esta unidad) cuentan con experiencia en la docencia en modalidad presencial, pero poca o nula en la modalidad a distancia. Debido a esta cuestión es que la coordinación de la unidad puso principal atención a la evaluación docente, esto con el fin de identificar si los profesores están cumpliendo de manera correcta con las tareas y funciones asignadas, así como detectar brechas y áreas de mejora en el desempeño, que pueden servir de base para la mejora de los cursos de introducción a la unidad, así como los de formación continua, de manera que el servicio que los asesores ofrecen a los estudiantes sea de calidad.

Las autoras de este trabajo fueron invitadas a colaborar en el diseño de los instrumentos de evaluación, fungiendo como consultoras y documentando el proceso que se llevó a cabo. Los instrumentos fueron diseñados en conjunto con los colaboradores de la unidad y otros expertos en el área de la educación a distancia y la estadística.

El objetivo general de este trabajo fue la elaboración de instrumentos de evaluación docente para profesores universitarios en modalidad virtual, para su posterior implementación. Para alcanzar este objetivo, se tendrá como objetivos específicos: el análisis del estado actual de la unidad, identificar las tareas y funciones de los asesores virtuales, y la propuesta e implementación de un programa para el diseño de instrumentos de evaluación del desempeño docente.

Para recopilar la información necesaria para fundamentar el programa propuesto y construir los instrumentos de evaluación se utilizaron métodos cualitativos: revisión de bibliografía y de documentos propios de la organización (como manuales, reglamentos, etcétera), entrevistas semiestructuradas y discusiones grupales guiadas.

La construcción de los ítems que se incluyeron en los cuestionarios se realizó utilizando el método que proponen Hernández, Fernández y Baptista (2014) para operacionalizar las dimensiones planteadas en el modelo seleccionado, y posteriormente la prueba piloto se realizó en la primera administración, en la cual los estudiantes participaron de manera voluntaria evaluando a cada profesor con el que cursaron asignaturas. Se realizaron pruebas estadísticas para calcular la confiabilidad y validez de los ítems del cuestionario dirigido a estudiantes.

Luego de realizar un diagnóstico a la unidad, se planteó un programa de ocho pasos para llevar a cabo el diseño de instrumentos de evaluación, mismo que consistió en:

I.                    Selección de un modelo de evaluación del desempeño docente

Para esta etapa, se realizó una investigación de los modelos teóricos (descritos en la introducción) además de los modelos que utiliza la organización para sus programas presenciales y mixtos, de tal forma que se tenga un panorama de cómo se lleva a cabo la evaluación docente y sea posible tomar decisiones.

Luego de la revisión del material bibliográfico, se realizó un análisis del manual del asesor virtual, identificando las tareas y funciones que le corresponden a esta figura y clasificándolas de acuerdo con el tiempo del curso en el que las debe realizar, resumidas en los siguientes puntos:

Antes del curso:

̵            Revisar el Aula Virtual (estructura, actividades, recursos) y notificar cualquier modificación que deba hacerse.

̵            Verificar que los alumnos matriculados en el Aula Virtual sean los que le han sido asignados al curso, realizando un cotejo con la lista proporcionada.

̵            Realizar un vídeo de bienvenida e introducción al curso.

Durante el curso:

̵            Habilitar, al inicio de la semana, la unidad y actividades correspondientes a la misma.

̵            Realizar una sesión síncrona cada dos semanas.

̵            Resolver dudas académicas y técnicas de los estudiantes por medio de los foros, mensajes y correo electrónico en un plazo no mayor a 48 horas hábiles.

̵            Fomentar y vigilar que las interacciones en el Aula Virtual se den en un clima de respeto

̵            Motivar a los estudiantes a completar las actividades y continuar con el curso.

̵            Revisar, calificar y retroalimentar las actividades de aprendizaje realizadas por los estudiantes.

̵            Mantener una comunicación constante con el tutor para reportar incidencias con los estudiantes.

Al finalizar el curso:

̵            Revisar, calificar y retroalimentar la evaluación final.

̵            Cargar las calificaciones en el Aula Virtual y en el sistema correspondiente (SICEI).

̵            Aclarar dudas, si las hubiera, con respecto a la calificación final del curso.

̵            Autoevaluar su desempeño.

Generales:

̵            Asistir a las reuniones que convoque la Coordinación

̵            Participar en cursos, talleres, congresos y otras actividades de formación continua, indicando la asistencia y mostrando evidencia a la Coordinación para añadirlo al expediente

Por lo anterior, se decidió optar por el modelo de evaluación que proponen Cabero et al. (2018), señalado en la introducción, quienes a través de distintas fuertes de información evalúan el desempeño de los docentes a distancia en las áreas disciplinar, pedagógica, tecnológica y normativa.

Una de las fuentes de información son los estudiantes, quienes reciben directamente el servicio del asesor virtual y pueden evaluar su desempeño. Para recoger las opiniones y percepciones de los estudiantes, se plantea el diseño de un instrumento de evaluación que contenga reactivos que cuestionen al alumno sobre el desempeño del asesor en las distintas áreas propuestas por Cabero y cols. (2018), y que se complementará con la observación realizada por parte de la supervisora de asesores (apoyada en una guía de observación) y la autoevaluación del asesor (a través de un cuestionario con ítems de respuesta abierta).

II.                 Diseño de los instrumentos de evaluación del desempeño docente

Para el diseño del instrumento dirigido a estudiantes, se relacionaron las dimensiones propuestas por Cabero et al. (2018) con las tareas y funciones del asesor. En plenaria con personal de la unidad, un asesor en temas de estadística y personal del bachillerato de la misma universidad que se ofrece en modalidad en línea, quienes cuentan con más experiencia en el área de la educación a distancia, se redactaron preguntas para los instrumentos.

En el desarrollo de los ítems para el cuestionario dirigido a los estudiantes, se usó como base el método propuesto por Hernández et al. (2014). Para ello se tomaron en cuenta las primeras tres dimensiones (disciplinar, pedagógica y tecnológica), dado que el cumplimiento de normas es difícil de observar para los alumnos, por lo que esta será evaluada por la supervisora. Se seleccionaron aquellos subdimensiones que tienen relación con la acción del asesor virtual, y redactando indicadores para cada una, mismos que deben ser observables para los estudiantes.

Se realizaron análisis y modificaciones durante las reuniones con el grupo de trabajo, discutiendo y reflexionando el objetivo de la evaluación, es decir, qué se busca evaluar; así como cuáles de las acciones a evaluar pueden ser plenamente observadas por los estudiantes.

Luego de varias modificaciones, el instrumento dirigido a estudiantes consta de 34 ítems, donde 30 de ellos se basan en una escala de Likert, con opciones del 1 al 4, para medir el grado de acuerdo o desacuerdo con las afirmaciones sobre acciones del asesor; y 3 reactivos usan una escala de Likert, que también ofrece valores del 1 al 4, pero evaluando el nivel de satisfacción con ciertos aspectos. Finalmente se agregó una en la que la respuesta es de tipo abierta, donde se espera que el alumno vierta su opinión en general con respecto al desempeño y las fortalezas y áreas de mejora del asesor evaluado.

Como complemento de la evaluación realizada por los estudiantes, se tomará en cuenta la observación directa por parte de la supervisora, quien puntuará el cumplimiento de diversos aspectos normativos con un 1 si se le asignó y cumplió las actividades, cero si es una actividad que no aplica, o -1 si se le asignó dicha actividad, pero no se vio un cumplimiento. Una de las ventajas al momento de evaluar a los asesores en la modalidad virtual, es que quienes supervisan tienen acceso a evidencias de las acciones que éstos llevan a cabo, por lo que el seguimiento es cercano. La supervisora lleva un seguimiento semanal de las actividades que realiza cada asesor virtual, registrando el cumplimiento o no cumplimiento. Esto responde a la recomendación de Cabero et al. (2018), quienes además de las dimensiones de conocimiento disciplinar, pedagógico y tecnológico sugieren que se evalúe la cumplimentación de reglas y normas, proponiendo aquellas con respecto al vocabulario, al estudiante y la frecuencia de entrada a la plataforma, a las que se añadió el cumplimiento de otras reglas específicas de la unidad.

Se pretende obtener una puntuación numérica a través de los resultados en la evaluación realizada por los estudiantes y la supervisora, y para este fin se diseñó en conjunto con el asesor en estadística y el personal encargado de los asesores una fórmula que pondera las puntuaciones de cada área, y se agrega un porcentaje correspondiente al índice de aprobación en su asignatura:

IDD=(.15*AD+.35*AP+.25*AT+.25*AA)

En la fórmula, denominada Índice de Desempeño Docente (IDD) intervienen las áreas evaluadas en el instrumento para estudiantes: área disciplinar (AD), área pedagógica (AP) y área tecnológica (AT), así como lo evaluado por la supervisora, que es el área administrativa (AA). La fórmula no incluye la autoevaluación, pues se espera que cada asesor utilice sus resultados para reflexionar al hacer una comparación entre la puntuación obtenida en el índice de desempeño y su propia percepción.

En lo correspondiente a la evaluación realizada por las distintas figuras, se pondera el total según la importancia que se le da a cada área, de acuerdo con la opinión del personal con relación directa con los docentes de la unidad, resultando un 15% para el área disciplinar, 35% para el área pedagógica, 25% para el área tecnológica y 25% para aspectos administrativos. La razón para que el área pedagógica fuera la de mayor peso es que la mayoría de las tareas y funciones del asesor de relacionan con ella, ya que el asesor es básicamente un facilitador que media la interacción del alumno con los recursos del aula virtual para lograr el aprendizaje. Las siguientes en valor son el área tecnológica y los aspectos normativos, la primera debido a la relevancia de que el asesor domine herramientas tecnológicas (su trabajo es 100% a distancia), y los aspectos normativos guían al asesor para dar un acompañamiento cercano al estudiante y una rápida respuesta, vital para darle sentido humano a la modalidad en línea, donde no siempre se puede observar directamente al docente con quien interactúa.  El área con menor peso ponderado es la disciplinar, ya que los encargados indican que sí es necesario que el asesor sea experto en los contenidos a impartir, esto para posibilitar la correcta resolución de dudas por parte de los alumnos, sin embargo, pero esto queda en segundo plano por priorizar las otras áreas.

Para complementar estos puntos de vista, se recogerá también la opinión del propio asesor, esto a través de un cuestionario de seguimiento académico, donde además de solicitársele datos sobre los resultados del curso, también se interroga sobre los retos que enfrentó, áreas de fortaleza y de mejora para cada dimensión de las propuestas por Cabero et al., así como qué tan satisfecho está con su propio desempeño. Dicho cuestionario consta de reactivos de respuesta abierta, con el fin de que el asesor pueda expresar de manera escrita su percepción.

III.                    Revisiones de los instrumentos de evaluación

Se realizaron ocho reuniones con el personal que tiene relación directa con los asesores, así como la Coordinadora de unidad, el asesor en cuestiones de estadística y personal del bachillerato en modalidad en línea. En las reuniones se modificó la redacción y orden de los ítems, y se eliminaron o añadieron algunos, resultando en los instrumentos señalados en la etapa anterior. Las etapas II y III fueron iteradas hasta obtener las versiones finales.

IV.                    Creación de los formularios digitales

Debido a que la unidad no cuenta oficialmente con personal encargado de las tecnologías de la información, un programador es quien realiza modificaciones al Aula Virtual y se requiere su apoyo para colocar el cuestionario dirigido a estudiantes en la plataforma. Para ello, es necesario solicitarlo a través de un sistema de reportes,

Por otra parte, la supervisora se encargó de redactar los ítems de la guía de observación y el cuestionario de autoevaluación a manera de formulario en un archivo de Word, quedándose la guía para registrar sus observaciones, y enviando por correo electrónico el cuestionario a los asesores para que estos registren sus respuestas.

V.                    Administración de los instrumentos de evaluación

Los instrumentos de evaluación se administraron al final de curso, dando un periodo de cinco días para dar respuesta. Este periodo comprendió del 11 al 16 de octubre de 2019.

Para invitar a los estudiantes a participar se dio difusión en redes sociales, así como por medio de los tutores, quienes comunicaron la importancia de evaluar e indicaron las fechas para llevarlo a cabo. Las invitaciones se hicieron con dos semanas de anticipación, explicando el procedimiento y recalcando que cada estudiante deberá evaluar a cada docente con el que cursó una asignatura.

Los profesores evaluados fueron 9, quienes impartieron (en total) 12 asignaturas. Como cada estudiante evaluó a cada profesor por asignatura, se obtuvo 160 respuestas de las 258 esperadas.

Las respuestas por parte de los estudiantes se registraron en un concentrado de datos en formato .xls del programa Excel, donde señalaba el profesor evaluado y las respuestas para cada ítem. El cuestionario de autoevaluación se envió por correo electrónico a cada asesor, obteniendo 12 respuestas, es decir, del total de la población (la autoevaluación se realizó por asignatura). Por otra parte, la supervisora de asesores llenó la guía de observación para cada uno de los asesores, con base en sus observaciones semanales.

VI.                    Análisis de resultados

La persona que asesoró en estadística analizó los ítems del cuestionario dirigido a estudiantes a través de distintos procedimientos en el software SPSS, con el fin de identificar si los reactivos discriminan, si el instrumento es confiable y si los reactivos se agrupan en las dimensiones propuestas, presentando los resultados en un reporte. Los reactivos fueron codificados en forma numérica, y tratados como si fueran valores de escala, no ordinales. A continuación, se resumen los hallazgos expuestos en el documento mencionado, y por cuestiones de espacio no se incluyen las tablas completas con los resultados:

Prueba de discriminación de reactivo: este análisis se realizó con el fin de identificar qué tanto los reactivos pueden separar las respuestas positivas de las negativas, aplicando para ello la prueba t para muestras independientes, comparando aquellos ítems con una calificación negativa hacia los asesores (con una puntuación inferior al cuartil 25) contra aquellos en los que se calificó positivamente (puntuaciones arriba del cuartil 75). Los resultados indican que todos los ítems discriminan.

Confiabilidad del instrumento: Un instrumento es confiable si puede arrojar resultados iguales o similares al ser aplicado a poblaciones iguales o parecidas a la original, es decir, que es consistente en los resultados de sus aplicaciones. Para conocer el nivel de confiabilidad del cuestionario, se calculó el coeficiente Alfa de Cronbach, y el resultado fue de 0.991. Como señalan Hernández et al. (2014), entre más se acerque el coeficiente obtenido al valor 1, nos indica una mayor confiabilidad, por lo que el instrumento presenta una alta confiabilidad.

Agrupamiento de los ítems: Para determinar las dimensiones en las que los ítems del instrumento se agrupan, se realizó un análisis por rotación Varimax. Los resultados arrojan que los ítems se agrupan en solo dos dimensiones, cuando originalmente estaba diseñado para que el agrupamiento fuera en tres, quedando de la siguiente manera:

Tabla 1

Agrupamiento de ítems

Factor	Ítems que agrupa	Denominación
Factor 1	1, 2, 3, 4, 5, 6, 7, 9, 10, 11, 12, 14, 15, 16,17, 18,19, 20, 21, 22, 23, 24, 25	Aspectos pedagógicos
Factor 2	8, 13, 26, 27, 28, 29, 30	Aspectos tecnológicos

Fuente: Martín, 2019

VII. Ajustes al instrumento

Los resultados descritos en la etapa anterior dirigieron a la modificación de la fórmula para calcular el índice de desempeño docente (IDD). Por lo tanto, la fórmula incluye las dos áreas resultantes en el pilotaje del instrumento dirigido a estudiantes, además del área administrativa que se evalúa mediante la guía de observación que califica la supervisora. La fórmula queda de la siguiente manera:

IDD=(.50*AP+.25*AT+.25*AA)

De la fórmula anterior se observa que la mitad de la calificación corresponde al área pedagógica, donde ya se incluye la mayoría de los ítems del área disciplinar, y la otra mitad restante se divide en partes iguales entre el área tecnológica y la calificación del área administrativa. El instrumento dirigido a estudiantes, entonces, como se presenta en la Tabla 1.

Posterior a la decisión anterior, se procedió a calcular el índice de desempeño docente para cada asesor. Estos índices también se incluyeron en el reporte de la prueba piloto, de manera que la supervisora pueda contar con ellos para elaborar los informes para cada asesor.

Con respecto a los informes que elaboró la supervisora de asesores, estos documentos contienen los datos generales del asesor y la asignatura en cuestión, una tabla con las puntuaciones obtenidas en cada área y en el índice de desempeño, gráficas con los porcentajes de los niveles de satisfacción expresados por los estudiantes y un resumen de los comentarios añadidos por los alumnos en la pregunta de respuesta abierta, mismos que, de ser requerido, se les corrige la ortografía o se suprimen aquellos en los que la respuesta no aporta algo al asesor (por ejemplo, algunos optan por añadir “nada” en el espacio de respuesta). Cada asesor es responsable de comparar estos resultados con lo expuesto en su autoevaluación, y tiene oportunidad de discutir los resultados en una reunión posterior en la que se convocará a los evaluados.

VIII.         Acciones de mejora

Debido a retrasos en el análisis y reporte de resultados, aún no se ha realizado una reunión con los asesores para analizar los resultados y considerar acciones de mejora, la cual está programada para realizarse en enero de 2020.

La evaluación del desempeño, como señalan Chiavenato (2009) y Castillo (2007), forma parte de los procesos de recursos humanos. En el caso de la unidad, por medio del diagnóstico se detectó que algunos de estos procesos son responsabilidad de la unidad, como la postulación de candidatos a asesores y la evaluación del desempeño docente, mientras que otros corren por cuenta del departamento de recursos humanos de la universidad. Es necesario verificar la alineación de estos procesos para que no existan discrepancias.

Los fines de la evaluación del desempeño son similares entre las de cualquier organización: administrativas y de desarrollo, según Gómez-Mejía et al., y sumativas o formativas, en el caso de instituciones educativas, como refirieron Izar et al. (2016). En el caso presentado en este trabajo, se observa que la unidad aspira a dar un uso formativo a la evaluación del desempeño, lo cual se ve reflejado en las etapas de diseño de los instrumentos y el modelo seleccionado, pero lo que la unidad haga con los resultados obtenidos juega un papel crucial al clasificar el uso en formativo, sumativo o, peor aún, ninguno. Hasta la conclusión de este artículo, los objetivos, métodos y modelo se encuentran alineados, contrario a lo que hallaron Gómez y Valdés (2019), que es la incongruencia entre estos. Se espera que la unidad mantenga esta congruencia al hacer un uso de los resultados para el desarrollo y formación de los docentes en entornos virtuales.

El enfoque de esta evaluación es de tipo parcial, como refiere Rubio (2003), ya que solo aborda el desempeño docente. Es entendible, ya que la unidad es nueva y los profesores, en su mayoría, tienen más experiencia en la modalidad presencial que a distancia, y como señala Fainholc (2004), el que un docente sea bueno frente a grupo no asegura que su desempeño en la modalidad a distancia sea bueno. Sin embargo, precisamente por ser una unidad nueva, requiere llevar a cabo evaluaciones más completas, que involucren otras áreas, para poder lograr una mejora significativa y permanente. Si bien los profesores tienen un papel primordial en el servicio ofrecido por la unidad, el éxito de la misma no recae completamente en el actuar de los docentes.

Se abordó también el tema de quiénes deben ser los evaluadores, decidiendo en este caso evaluar desde distintas perspectivas, incluyendo a quienes se relacionan directamente con el asesor (estudiantes y supervisora), pero también a él mismo. Al ser una evaluación hacia un servicio ofrecido por personas, y evaluado por personas, se vuelve muy difícil mantener la objetividad, los evaluadores tienen sus propios valores, prejuicios e incluso miedos, los cuales pueden influir en la valoración que emitan; por ello, incluir múltiples puntos de vista ayuda a disminuir la subjetividad de las evaluaciones. Además, esta evaluación desde múltiples fuentes sigue la tendencia de los modelos de evaluación docente en modalidad a distancia presentados en la introducción, los cuales incluyen distintas perspectivas, principalmente los estudiantes, pero también coordinadores, responsables de programa, el evaluado e incluso los resultados (Llarena y Paparo, 2006; Villar, 2008; Duart y Martínez, 2001; Esquivias, et al. 2009; y Cabero et al. 2018). En este caso, se optó por no incluir los resultados en la evaluación por considerarse multifactoriales y no ser responsabilidad directa de los asesores.

En cuanto al instrumento, el construir los ítems con base en un procedimiento establecido (el propuesto por Hernández et al., 2014) permitió integrar cada subdimensión con indicadores observables, siendo este último punto lo que se hace difícil al evaluar a asesores virtuales. Existen conocimientos y habilidades necesarios para un asesor que, por la distancia entre docente y alumno, se hacen menos evidentes; por ello fue de suma utilidad incluir distintos puntos de vista sobre el evaluado, ya que lo que no es observable para los alumnos puede ser evidente para quien supervisa la labor docente, o para quien la lleva a cabo.

Los ítems del cuestionario dirigido a estudiantes se presentaron para responderse por medio de una escala de Likert, que sigue una lógica ordinal. Sin embargo, la prueba piloto se corrió en el programa SPSS expresando cada ítem como variable de escala, y no de tipo nominal. Hernández et al. (2014) comentan que esta práctica es común para estudios sociales, sin embargo, aún causa controversia la aplicación de esta técnica. Hernández et al. (2014) señalan tres características con las que un instrumento debe contar: confiabilidad, validez y objetividad. En cuanto al primer aspecto, la prueba arrojó que el instrumento es confiable, es decir, en futuras aplicaciones los resultados serán consistentes. Con respecto a la validez, según mencionaban los autores, esta se divide en la de criterio, contenido y constructo: no se realizó prueba a la validez de criterio, por no contar con un referente que mida las dimensiones que se buscaron medir; mientras que la validez de contenido y constructo tuvieron resultados no esperados, pues la prueba señala la agrupación de los ítems en dos factores, no en los tres planteados originalmente. Esto puede deberse a que los reactivos de la dimensión que la prueba no identificó eran menos que los de las otras. Por otra parte, y como ya se mencionó en párrafos previos, la objetividad se procuró al incluir distintas valoraciones sobre el asesor, pero esto disminuye debido a que la fórmula diseñada para calcular el desempeño docente no incluyó la percepción del evaluado. Tampoco se puso a prueba los otros dos instrumentos.

Estos instrumentos de evaluación, como se ha explicado a lo largo del documento, se basaron en un modelo teórico, el cual está planteado específicamente para la modalidad a distancia. Sin embargo, también se tomaron en cuenta aspectos de la evaluación del desempeño docente en instituciones educativas de nivel superior para llevar a cabo la elaboración: obedeciendo a la recomendación de Pacheco y cols. (2018), primero se definieron las características que describen a un buen asesor, esto revisando documentos y enriqueciéndose con la opinión de los participantes del grupo de trabajo. Este punto se consideró útil para este ejercicio, ya que durante la revisión de modelos educativos de otras universidades que ofrecen licenciaturas a distancia se pudo constatar que el perfil de quien imparte los cursos es muy diverso y abarca distintas funciones y tareas, por lo que varían mucho de institución en institución, volviendo fundamental establecer primero las características, de manera que lo evaluado coincida con lo que se lleva a cabo en realidad.

Otra propuesta de la evaluación del desempeño docente en IES presenciales que fue tomada en cuenta fue la de Mateo (2000) sobre las fases para un proceso de evaluación: ideación, desarrollo, implementación y metaevaluación, las cuales se ven reflejadas en el programa de intervención propuesto, a excepción de la metaevaluación, que se espera que la unidad pueda llevar a cabo previo a nuevas administraciones de los instrumentos diseñados.

Con respecto al modelo seleccionado para fundamentar los instrumentos, el que Cabero et al. (2018) proponen, tiene ciertas fortalezas y debilidades. Entre sus fortalezas destaca la incorporación de distintas perspectivas al evaluar, lo que, como se ha mencionado en este apartado, permite reducir riesgos y aumentar la objetividad, y además permite tener una evaluación inclusiva donde todos tengan voz. Otro punto a favor es que las dimensiones propuestas son generales y aplicables a diversos perfiles de docentes virtuales; incluso dos de esas dimensiones las menciona Pacheco et al. (2018): los saberes disciplinares y pedagógicos, los cuales aplican tanto a la modalidad presencial como a la virtual, añadiendo en esta última los aspectos tecnológicos y administrativos, debido a que se desenvuelve en escenarios digitales y es imprescindible dominar herramientas propias de este ámbito, además de que estos mismos escenarios hacen posible un seguimiento más cercano a la labor docente, ya que muchas evidencias quedan resguardadas y es posible saber qué tanta participación en el aula virtual tiene el profesor, a qué actividades se enfocan, las interacciones que tiene, etcétera.

Entre las debilidades para el uso del modelo están la poca profundidad de la propuesta y que las dimensiones se enfocan más en conocimientos, dejando de lado aspectos personales. El primer punto se refiere a que la propuesta no es tan extensa y se limita a enunciar las dimensiones y subdimensiones, dejando a la interpretación del lector estos factores, lo que en este caso puede no ser tan acertado debido a que: a) los autores del modelo son de un país distinto a donde se aplicó, y b) la amplia diversidad de perfiles docentes a distancia, ya que se puede entender “a conveniencia”. Por otra parte, el enfoque de las dimensiones en los saberes del docente puede dejar fuera aspectos internos del mismo, que pueden ser útiles para brindar una atención amable y cálida al estudiante (indispensable al no estar en contacto cara a cara), además de la actitud frente a esta modalidad (con la que muchos docentes no habían tenido contacto).

Los tres instrumentos resultantes de este estudio, en conjunto, permiten tener una visión más completa del desempeño docente. La información se enriquece y puede ser de mayor utilidad para cada docente evaluado al incluir ítems que pueden ser contabilizados y respuestas abiertas, así como contener la perspectiva de los beneficiarios directos de la acción docente (los estudiantes), la de quien supervisa continuamente el desempeño y el punto de vista del evaluado. Estos aspectos también son de utilidad para la institución, la cual obtendrá valiosa información para la toma de decisiones con respecto a la mejora.

Si bien este primer ejercicio permitió obtener instrumentos y aplicarlos, es importante que se sigan realizando ajustes para la mejora en posteriores administraciones, así como optar por herramientas que refuercen su validez. Además, el proceso de evaluación requiere ser   constante y dar un espacio a los involucrados para discutir los resultados obtenidos.

El interés por evaluar el desempeño docente estuvo presente en la unidad con la que se trabajó, además de que el enfoque que se pretende dar a los resultados es la mejora del desempeño de los asesores virtuales, quienes tienen poca o nula experiencia en la modalidad a distancia.  Estos factores permitieron y fomentaron que los involucrados participaran activamente en el diseño e implementación de los instrumentos.