Evaluación externa
Diciembre 2018
5.- La Evaluación externa
5.1. Preparación de la evaluación externa
Posterior a la entrega del informe de autoevaluación, comienza la segunda etapa del proceso de acreditación: la evaluación externa. En este período, si bien ya se ha entregado el informe, hay acciones que la carrera debe llevar a cabo para preparar la visita del comité de pares evaluadores.
Previamente a la visita de los evaluadores, hay dos tareas que la carrera debe realizar durante este período :
Difundir la información: tras la etapa de autoevaluación, es importante poner a disposición de la comunidad académica la documentación y los resultados obtenidos. Es ideal generar estrategias de difusión, donde los participantes de las encuestas, los alumnos, docentes puedan enterarse del proceso y los resultados. En general, este es un aspecto que se recoge en las evaluaciones externas y lo importante es fortalecer el conocimiento que la comunidad posee acerca de este proceso. Las acciones de difusión deben vincularse con la estrategia de difusión del informe, explicada en capítulo 1 (ver apartado “Estrategias de Difusión y Comunicación”, página 17).
En esta etapa de difusión, la comunidad interna (académicos y estudiantes) la atención debe focalizarse en siguientes aspectos :
participación de los distintos estamentos.
Las etapas desarrolladas para llegar a la visita de pares y los niveles de
Principales fortalezas y debilidades reconocidas en el informe de autoevaluación.
- mejora comprometidos para superar las debilidades
Proyectos de
Superación de debilidades del proceso de acreditación anterior
Además, como en la visita de los pares evaluadores se solicitan reuniones con directivos institucionales, la Carrera debe preparar una presentación para el Comité de Rectoría y Vicerrectores de Sede, a modo de preparación de este estamento. La VRAC ha desarrollado un formato PowerPoint estándar, que reúne datos relevantes para los directivos. La comunidad externa (egresados y empleadores) debe ser informada del proceso de una manera mucho más precisa. En la definición de la estrategia de difusión, se debe identificar qué acción es más conveniente realizar. Entre las utilizadas están :
Reuniones informativas en instalaciones de la Universidad
Visitas de Directores de Carrera a lugares de trabajo
Envío de documentación en papel o digital
En cualquier caso, se debe fomentar que ellos expongan sus opiniones respecto del desempeño de los egresados, en el caso de los empleadores y de su satisfacción con el nivel de formación, en el caso de los egresados. Si la carrera cuenta con una web propia, una buena práctica puede ser el digitalizar la documentación y publicarla en su propio sitio. También puede enviarse la documentación por correo electrónico. En cualquier caso, la estrategia que se emplee para este fin debe fomentar la lectura de la información.
y la visita de pares evaluadores se genera un espacio de tiempo. Durante este tiempo es necesario mantener un seguimiento activo del plan de mejoramiento propuesto en el informe, de modo de poder dar cuenta en la visita de los avances comprometidos en este período. Registrar avances del plan de mejoramiento: entre la entrega del documento
La Carrera en conjunto con la Vicerrectoría evaluarán las fechas posibles para la realización de la visita, y la VRAC derivará dicha propuesta a la Agencia. Una vez que se ha convenido con la Agencia acreditadora la fecha de la visita del comité de pares evaluadores, la preparación involucra cuatro actividades importantes :
Propuesta de comité de pares: la agencia acreditadora enviará a la Institución una propuesta de Comité evaluador, la cual esta comúnmente compuesta por tres evaluadores. Esta propuesta de personas es extraída desde el registro de evaluadores que debe tener toda agencia. La propuesta es revisada por la Carrera en conjunto con la VRAC, y existe la posibilidad de solicitar algún cambio en la configuración del comité si se estima conveniente. Es importante dar una pronta respuesta, ya que esto permite a la Agencia contactar a los evaluadores con mayor anticipación y comprometer su participación.
Programa de visita: luego de confirmar al comité, la Agencia diseña una propuesta de cronograma para la visita de los evaluadores. Esta propuesta inicial de trabajo requiere ser estudiada desde el contexto de la carrera, en cuanto a la disponibilidad de los actores convocados, las sedes comprometidas en la visita, actividades internas, etc. Si bien se pueden solicitar modificaciones según los términos mencionados antes, el programa es definido finalmente por el comité de pares evaluadores, de acuerdo a los aspectos que consideren como más importantes de evaluar. En el cuadro 5.1 se muestra un ejemplo de un programa de visita.
- es necesario dividir las tareas propias de la visita. Se debe considerar que el transporte para el comité dentro de una ciudad forma parte de la responsabilidad de la carrera, por lo que se debe coordinar con precisión a los responsables, el vehículo y los horarios correspondientes. La alimentación de los evaluadores es otro aspecto a considerar, donde es necesario planificar desde el café para las reuniones hasta los almuerzos del comité. En general, las reuniones tienen un ritmo muy preciso e intenso, por lo que una buena coordinación previa de trabajo evitará entorpecer la visita.
Asignar roles, recursos y participantes: una vez emitido y confirmado el programa
- actores convocados a las reuniones, donde las principales dificultades se presentan en aquellos que vienen desde fuera de la Universidad. Para evitar esto, los Egresados y Empleadores deben ser convocados con anticipación, tratando en lo posible de comprometer su participación. Para esta tarea, la Red de Egresados coopera con las carreras en las convocatorias a estos estamentos.
Invitaciones:Otro aspecto a coordinar, es la invitación y confirmación de aquellos
Finalmente, es necesario gestionar los espacios donde se realizarán las reuniones.
Se debe evitar el desplazamiento del comité entre una reunión y otra, considerando espacios para el trabajo interno de los evaluadores y reuniones de amplia convocatoria
Cuadro 5.1.-
5.2. La visita de pares evaluadores
Los pares evaluadores
El Comité de pares evaluadores es un equipo de especialistas propuesto por una
Agencia acreditadora, que verifican en terreno si una carrera cuenta con las condiciones necesarias para cumplir con el perfil de egreso planteado y si cumple con los criterios de evaluación.
Estos evaluadores son propuestos por cada Agencia acreditadora desde un registro público actualizado, que cada una de ellas debe mantener. Las Agencias proponen evaluadores según el área de evaluación. En general, son académicos o profesionales provenientes de otras instituciones, considerados "pares.en referencia a que tienen experiencia en el área disciplinaria o en gestión universitaria.
Los comités de pares evaluadores, generalmente se componen de tres integrantes, condición que puede variar según las características de la carrera o complejidades propias de la visita. Uno de los integrantes es designado por la Agencia como presidente del Comité, y es el encargado de la visita de pares ante la Agencia. En algunos casos, uno de los evaluadores propuestos puede ser extranjero.
Todo Comité de pares evaluadores es acompañado por un representante de la Agencia, que oficia como ministro de fe en el proceso, coordinando aspectos generales de la visita y verificando que el proceso sea realizado bajo la normativa correspondiente. El ministro de fe se constituye como el intermediario entre el Comité y la institución o Carrera.
La labor del comité de pares se sintetiza en los siguientes puntos :
Estudiar la documentación: el comité de pares, previamente a la visita, realiza un estudio de la documentación de autoevaluación entregada por la Carrera a la Agencia. Posteriormente, en una reunión preparatoria"se discuten los temas a tratar durante la visita, se resuelven preguntas y se determina si se requiere documentación complementaria.
Definir el programa de visita: el comité de pares es quién aprueba o formaliza el programa de visita que se enviará a la carrera. Dirigir las reuniones de la visita: durante la visita el Presidente del comité y los evaluadores son quienes llevan a cabo las preguntas durante las reuniones. En dichas reuniones se busca contrastar y clarificar la información de los informes con los distintos actores.
Emitir un informe oral: al finalizar la visita, los evaluadores emiten un breve informe oral, donde se entrega una devolución a la carrera con las primeras impresiones del Comité de pares acerca de la información obtenida en la visita.
Preparar el informe de evaluación: luego del informe oral la visita se da por terminada. El comité de pares tiene un plazo establecido por la Agencia para enviar un informe, el cuál es derivado a la institución. Tras esa entrega, la carrera tiene 10 días para responder con observaciones al informe si lo estima conveniente.
Es importante aclarar que los evaluadores no cumplen un rol de jueces dentro del proceso, ya que no es su labor sentenciar un juicio propio sino más bien establecer si la Carrera se ajusta o no a los criterios de evaluación. Tampoco son acreditadores, ya que su función es verificar en terreno el grado de cumplimiento de los criterios evaluativos y transmitir a la Agencia sus apreciaciones para que ésta tome la decisión de acreditación.No cumplen un rol de consultores de la institución ni de la carrera, ya que su labor se enmarca en evaluar la carrera bajo el marco de los criterios, evitando las apreciaciones personales.
Recomendaciones para la visita del comité a la carrera
Al respecto de la visita, ya se han entregado algunos aspectos generales, y su buena ejecución depende en gran parte de ajustarse al programa y de una buena preparación or parte de los organizadores. Dado lo anterior, es importante dar algunas recomendaciones para las distintas etapas de ésta.
Recomendaciones previas a la visita:
Es necesario dar una buena difusión del informe de autoevaluación entre la comunidad de la carrera. Se sugiere revisar, leer y discutir la documentación presentada, conocer las fortalezas y debilidades propias y las estrategias orientadas al mejoramiento. El conocimiento de ésta información es básico para responder a las consultas durante la visita de pares.
Convocar con anterioridad a los participantes de las distintas reuniones y comprometer su participación. Se recuerda que es necesario confirmar la participación de aquellos actores convocados del medio externo a la carrera, en general estos grupos asisten enmenor medida a estas instancias.
Mantener una actitud abierta y receptiva durante la visita, la evaluación no es un examen, sino una etapa más dentro del proceso. Se recomienda sacar conclusiones positivas de la mirada del evaluador (perspectivas de trabajo, disciplinarias, etc.), desde la evaluación se pueden extraer elementos muy positivos para elmejoramiento posterior, constituyendo una instancia de aprendizaje importante para la comunidad.
Los evaluadores provienen de otras instituciones y su conocimiento de la carrera proviene de la documentación y sus propias referencias. Lo importante es ser activos por aclarar aquellos puntos que sean puestos en duda por el comité.
Recomendaciones durante la visita :
Durante la visita, cualquier aspecto a plantear al comité, se debe realizar por medio del ministro de fe o con el presidente del Comité. El protocolo determina, que ellos son quienes transmiten las consultas al equipo de evaluadores.
Es importante al respecto del programa, involucrar en cada reunión sólo a los actores convocados para ésta, a no ser que el Comité diga lo contrario.
En términos de tiempo, es necesario ser puntuales a las reuniones, y realizar el esfuerzo de ajustar la agenda de la carrera en función de las necesidades de la visita. Es probable que se deba mover alguna clase por alguna reunión y se necesita ser flexibles ante contingencias y cambios en el programa de la visita. Es necesario evitar cualquier interrupción a las reuniones, ya que los tiempos son muy acotados.
Entregar información solicitada por el Comité de pares. Regularmente los comités de pares, a raíz de algún aspecto surgido en las mismas reuniones, solicitan alguna información adicional. Es importante cautelar que dicha información sea entregada y elaborada si es necesario, evitando comprometer información o documentos inexistentes. La información extra entregada al Comité de pares debe ser por solicitud directa de los evaluadores o el ministro de fe, por correcciones posteriores realizadas a los datos o el informe por parte de la Carrera, o por concepto de entregar avances realizados durante el periodo previo a la visita.
En términos de la información, la revisión previa de los documentos debería evitar la falta de consenso de los convocados respecto a la información. Como el espacio de tiempo es breve, no es posible incluir presentaciones en PowerPoint al Comité, por lo que la lectura y preparación son la clave. A este respecto, es importante tener claridad respecto a las fortalezas que posee la carrera, conocer las estrategias empleadas para aprovechar las oportunidades, conocimiento y acciones para el mejoramiento de las debilidades, y las estrategias para afrontar las amenazas.
En lo relativo al transporte, se debe trasladar al Comité desde su llegada a cada Sede. Si se encarga el traslado a algún funcionario, es importante que éste conozca los itinerarios del programa para dar puntualidad a los traslados.
Respecto a los espacios, es necesario que el Comité tenga un lugar para reuniones con pocas personas o también para reuniones internas. Esto puede ser una sala de reuniones donde esté disponible una mesa de trabajo, un computador con internet y una línea telefónica. Del mismo modo, se debe contar con una sala para reuniones de alta convocatoria, como aquellas con estudiantes y profesores. Lo importante es, de acuerdo al programa, disponer y organizar las salas de reuniones previamente, teniendo en mente los traslados, la disponibilidad de las llaves, refrigerios y el espacio de tiempo del almuerzo.
Recomendaciones al término de la visita
:que es presentado ante quienes determine la carrera. El sentido de este momento es entregar una devolución preliminar a la Carrera, que ha dedicado tiempo y esfuerzo a la autoevaluación y tiene derecho a una retroalimentación luego de la visita. Este suele ser un momento tenso y estresante en la mayoría de los casos, hay expectativas y ansiedad respecto al diagnóstico que los evaluadores han recogido durante su estadía.
Al término de la visita, el Comité de pares evaluadores realiza un informe oral, el
El informe oral tiene ciertas regulaciones
:del comité evaluador y en esta instancia no hay espacio para aclaraciones ni observaciones por parte de la Carrera. El informefinal de evaluación del Comité será enviado a la Agencia, y ésta lo derivará a la institución, teniendo un plazo de 10 días para realizar las observaciones que la Carrera estime pertinentes.
No se pueden realizar observaciones: el informe oral es leído por el presidente
No se debe registrar en audio ni video: esta lectura se basa en conclusiones preliminares
Término de la visita: Al terminar el Informe Oral, protocolarmente la visita llega
5.3. Análisis y respuesta al informe de pares
Una vez realizada la visita, el comité de pares evaluadores tiene un período de aproximadamente 30 días para la construcción y entrega del informe final de evaluación a la Agencia acreditadora. Este informe es derivado a la carrera para que realice un análisis de éste y emita observaciones si lo estima necesario.
El período para la emisión de observaciones es regularmente de 10 días. Este es un tiempo breve si se considera la discusión, redacción y entrega del documento. La respuesta de la carrera debe ser mediante una carta dirigida a la agencia acreditadora, firmada por el Director de Escuela y el Vicerrector de Aseguramiento de la Calidad.
En la misma carta puede referirse a la decisión de la carrera de no hacer observaciones al informe o, establecer un listado con los puntos específicos en los que la unidad está en desacuerdo. Los puntos de desacuerdo deben registrarse por criterio de evaluación, y estar divididos por ítem si es que hay más de un punto a replicar dentro de cada criterio.
Es muy importante que el análisis sea trabajado por el Comité de autoevaluación y la Dirección de la Escuela, quiénes han sido los guías directos del proceso. Pese a cualquier tipo de desacuerdo con el informe, la respuesta debe estar basada en argumentos, fundamentando cada uno de los puntos, en lo posible con datos y documentos que los respalden.
Dicho documento será derivado a la Vicerrectoría de Aseguramiento de la Calidad, desde donde se hará entrega formal a la Agencia. Con este hito, termina la segunda etapa del proceso de acreditación y únicamente resta esperar el resultado de la Carrera.