Autoevaluación
Noviembre 2018
GUÍA PARA LA ELABORACIÓN DEL INFORME DE AUTOEVALUACIÓN
PROGRAMAS DE ESPECIALIDADES MÉDICAS MANUAL PARA LA ACREDITACIÓN DE PROGRAMAS DE ESPECIALIDADES MÉDICAS CNA
INTRODUCCIÓN
El proceso de autoevaluación, en el caso de las especialidades médicas, se entiende como un proceso en que los participantes comprometidos con un determinado programa (administradores, profesores, residentes y titulados, así como representantes del sector laboral, si se estima necesario) examinan críticamente el funcionamiento del programa con el objeto de detectar sus fortalezas y debilidades y asegurar su calidad. En este sentido, el proceso de autoevaluación requiere que los actores involucrados en el programa tengan conocimiento de su alcance y objetivo, así como requiere también del compromiso por parte de la comunidad implicada.
El proceso de autoevaluación debe hacer referencia a la calidad de sus residentes y profesores, a la pertinencia de los planes de formación y sistemas de apoyo académico y administrativo, entre otros aspectos. Se contempla la recopilación de información respecto de los 6 criterios comunes para los diferentes tipos de programas, los que deberán ser considerados en la evaluación y deberán ser objeto de análisis :
Definición conceptual
Contexto institucional
Características y resultados del programa
Cuerpo académico
Recursos de apoyo
Capacidad de autorregulación
Cada uno de estos criterios considera elementos y aspectos identificados como relevantes, los cuales deben converger en la definición de indicadores de calidad.
A partir de la evidencia detectada, se deberán emitir juicios evaluativos los que deben ser considerados en la autoevaluación y presentación de la misma.
A partir de la sistematización, procesamiento y análisis de la información, de la participación de los actores del programa y de la identificación de las fortalezas y debilidades sobre la base de juicios críticos elaborados en las diferentes instancias de participación (reuniones, focus group, cuestionarios u otros), se debe elaborar un informe de autoevaluación.
Éste debe dar cuenta de las etapas desarrolladas y de la capacidad de análisis crítico del programa, con el objeto de proponer correctivos apropiados en un proceso de mejoramiento continuo sustentado en un plan de desarrollo realista y verificable que considere etapas, metas, así como responsables y recursos necesarios. Los resultados obtenidos a partir del proceso de autoevaluación deben ser debidamente socializados.
En tal sentido, la documentación derivada de cada proceso de autoevaluación debe expresarse en tres documentos:
"Ficha de Solicitud de Incorporación al Proceso de Acreditación de Programas de Especialidades Médicas", la que informa sobre los antecedentes generales del programa.
"Formulario de Antecedentes", el que contiene antecedentes descriptivos del programa.
"Informe de Autoevaluación", el que dice relación con el análisis realizado y detecta fortalezas y debilidades en función de los antecedentes recabados. Éste se estructurará de acuerdo a las orientaciones que se entregan a continuación.
El Formulario de Antecedentes aporta la información sustantiva o medios de verificación del programa, por lo que se requiere que éste sea desarrollado con la profundidad y rigurosidad adecuada para su comprensión certera.
El Informe de Autoevaluación corresponde al análisis de cada uno de los criterios contemplados y su objetivo es poder interpretar y sistematizar la información recogida con el fin de detectar fortalezas, debilidades y logros de un programa. Éste deberá ser un insumo para planificar acciones dirigidas a mantener, mejorar, revisar, ajustar, reformar o eliminar elementos, logrando un mayor desarrollo de los procesos académicos y mejorando la calidad a sus titulados.
Con el fin de contribuir a este análisis, para cada criterio se presentan preguntas orientadoras en el contexto del proceso de autoevaluación, las que servirán como marco de referencia para iniciar la discusión al interior del equipo de trabajo que desarrolle el proceso de autoevaluación.
Asimismo, se precisan dimensiones y aspectos que debieran ser considerados en cada criterio a partir de los cuales se espera, se puedan emitir los juicios evaluativos. Los resultados obtenidos de la autoevaluación deben quedar reflejados en la síntesis del proceso de autoevaluación.
A. CRITERIOS DE EVALUACIÓN PARA PROGRAMAS DE ESPECIALIDADES MÉDICAS
1. Definición conceptual
Tema a desarrollar: Definición del programa de Especialidades Médicas en función de lo requerido para programas de este nivel.
Dimensión |
Aspectos a evaluar |
Indicador o evidencia |
Definición
|
Definición del programa, considerando lo establecido en los criterios de evaluación de programas de Especialidades Médicas y la Ley General de Educación. |
- Resolución de creación del programa. |
- Reglamentos y normativas institucionales para el desarrollo de programas de Especialidades Médicas. |
||
Preguntas orientadoras: - ¿El programa corresponde a lo definido para programas de este nivel de formación? |
2. Contexto institucional
2.1 Entorno institucional
Tema a desarrollar: Soporte institucional para el desarrollo de programas de Especialidades Médicas, en lo referido a políticas y mecanismos para la formación; vínculos institucionales (en colaboración con otras instituciones o con otras unidades); estructura organizacional a nivel institucional.
Dimensión
Aspectos a evaluar
Indicador o evidencia
Entorno institucional - Políticas, mecanismos y recursos institucionales para la formación de médicos especialistas.
- Estructura organizacional institucional encargada de implementar mecanismos de control, seguimiento y evaluación de los programas de Especialidades Médicas.
- Reglamentos y normativas institucionales para el desarrollo de programas de Especialidades Médicas. Preguntas orientadoras:
- ¿Existen otros programas de Especialidades Médicas desarrollados por la universidad?
- ¿La institución cuenta con una política de desarrollo de programas de Especialidades Médicas?
- ¿Existe una estructura organizacional a nivel institucional para resguardar el desarrollo de los programas en este nivel de formación? ¿Cómo se vincula dicha estructura con el programa ?
- ¿La estructura organizacional de la institución facilita el desarrollo del programa ?
2.2 Sistema de organización interna
Tema a desarrollar: Autoridades y organismos colegiados encargados de la gestión del programa; calificaciones y experiencia del equipo directivo; mecanismos de participación y comunicación de la comunidad académica involucrada en el desarrollo del programa.
Dimensión
Aspectos a evaluar
Indicador o evidencia
Sistema de organización interna
- Recursos humanos asociados a la gestión interna del programa y definición reglamentaria correspondiente.
- Definición de las autoridades y sus atribuciones, responsabilidades y derechos.
- Calificaciones y experiencia de los recursos humanos asociados a la administración del programa.
- Reglamento del programa y/o Reglamento de los programas de Especialidades Médicas.
- Participación de la comunidad académica involucrada en la gestión del programa.
- Mecanismos de comunicación e información para la coordinación del programa.
Preguntas orientadoras:
- ¿El equipo directivo que coordina la gestión del programa es adecuado en número, calificaciones y experiencia?
- ¿Es efectiva la gestión del programa? ¿Cuenta con canales de comunicación hacia profesores y residentes? ¿Profesores y residentes conocen el rol del organismo coordinador del programa? ¿Cómo lo evalúan?
3. Características y resultados del programa
3.1 Objetivos y perfil de egreso
Tema a desarrollar: Título del programa pertinente a los objetivos definidos; formulación de los objetivos; perfil de egreso, mecanismos de revisión y difusión.
Dimensión |
Aspectos a evaluar |
Indicador o evidencia |
Objetivos y perfil de egreso |
- Claridad en la definición de los objetivos y el perfil de egreso. |
- Datos contenidos en documentos, normas y reglamentos. |
- Perfil de egreso específico y claro respecto a las actividades del programa. |
- Plan de estudios. |
|
- Mecanismos de revisión y difusión del perfil de egreso. |
- Perfil de egreso
|
|
Preguntas orientadoras: - ¿El nombre del programa es pertinente y consistente con los objetivos definidos? - ¿El perfil de egreso logra dar cuenta de la formación y conocimientos que se busca adquieran los residentes? ¿El perfil así definido permite la evaluación de resultados? - ¿Existen mecanismos definidos para la revisión del perfil? ¿Éstos consideran su validación externa e interna? ¿Cuál es la periodicidad con la que éste es revisado? ¿Qué mecanismos se han utilizado para su difusión? |
3.2 Requisitos de admisión y proceso de selección o habilitación
Tema a desarrollar: Requisitos formales de admisión; proceso de admisión o habilitación; mecanismos aplicados para seleccionar a los futuros residentes, considerando criterios y procesos de evaluación.
Dimensión |
Aspectos a evaluar |
Indicador o evidencia |
Requisitos de admisión y proceso de selección
|
- Condiciones de ingreso al programa. |
- Normas. |
- Existencia de pautas, instrumentos y criterios claramente definidos y ponderados para el proceso de selección o habilitación. |
- Reglamentos. |
|
Preguntas orientadoras: - ¿Podría indicar las condiciones de ingreso al programa? - ¿Podría indicar la existencia de pautas, instrumentos y criterios claramente definidos y ponderados para el proceso de selección o habilitación? |
3.3 Estructura del programa y plan de estudios
Tema a desarrollar: Actividades formativas que componen el plan de estudios (asignaturas, seminarios, rotaciones, examen final, otros) y las materias que las definen; metodología, sistema de evaluación y duración contemplada en cada una de ellas, así como, la permanencia en el programa.
Dimensión |
Aspectos a evaluar |
Indicador o evidencia |
Estructura del programa y plan de estudios
|
- Estructura curricular y plan de estudios coherente con los objetivos y perfil de egreso. |
- Normas, reglamentos. |
- Diseño del plan de estudios e incorporación de asignaturas, seminarios y/o rotaciones. |
- Plan de estudios. |
|
- Metodología de enseñanza aprendizaje, evaluaciones claras y conocidas y coherentes con los objetivos y el plan de estudios. |
- Programas de asignaturas. - Periodicidad de la actualización del plan de estudios. |
|
- Evaluación y actualización del plan de estudios. |
|
|
- Normas de titulación, establecidas, conocidas y coherentes con los objetivos y el perfil de egreso. |
|
|
- Duración teórica, mínima y máxima del programa. |
|
|
Preguntas orientadoras: |
||
- ¿Cómo se comprueba la coherencia entre los objetivos, el plan de estudios y el perfil de egreso del programa? |
||
- ¿Existen políticas y mecanismos claros para la actualización y la evaluación de pertinencia de los contenidos entregados por el programa? |
||
- ¿Hay coherencia entre el plan de estudios y la permanencia en el programa? |
||
- ¿El examen final ha permitido verificar la obtención de las competencias declaradas en el perfil de egreso? |
3.4 Progresión de residentes y evaluación de resultados
Tema a desarrollar: Sistema de seguimiento de residentes, construcción de indicadores cuantitativos y evaluación del desempeño del programa (retención, aprobación, retraso, titulación, tiempo de permanencia); evolución de los indicadores por cohorte y su aplicación para el análisis del programa y su mejoramiento; eficiencia de la enseñanza (relación entre el tiempo real de duración del programa y la duración oficial); retención; causas de deserción y eliminación; políticas y mecanismos aplicados al seguimiento de titulados.
Dimensión |
Aspectos a evaluar |
Indicador o evidencia |
Progresión de residentes y evaluación de resultados |
- Sistema de seguimiento académico que permita disponer de información relativa a los principales indicadores de progresión. |
- Nº residentes matriculados. |
- Medición de la eficiencia de la enseñanza. |
- Nº residentes en desarrollo del plan de estudios. |
|
- Niveles de retención acordes al contexto disciplinario o evolución favorable en el tiempo. |
- Tiempo promedio de permanencia. |
|
- Análisis sistemático de las causas de deserción y eliminación de los residentes y acciones tendientes a su mejora. |
- Tasa de reprobación. |
|
- Análisis y retroalimentación del desempeño del programa a partir de información estadística e instancias institucionales superiores. |
- Tasa de retención y deserción. |
|
- Seguimiento de titulados y retroalimentación. |
- Tasa de titulación. |
|
- Permanencia en el programa. |
- Tasa ocupacional de los titulados (registro de seguimiento de titulados). |
|
|
- Análisis del impacto del programa en los titulados: modificaciones en el tipo de trabajo desempeñado, en sus remuneraciones, cargos y estudios. |
|
Preguntas orientadoras: |
||
- ¿Son satisfactorias las tendencias observadas en los indicadores cuantitativos del programa en relación con la progresión de los residentes? ¿Muestran un nivel adecuado de efectividad? ¿Cómo han evolucionado los indicadores (tasa de titulación, tiempo de permanencia)? |
||
- ¿Existen políticas o proyectos orientados a evaluar los casos de deserción o permanencia excesiva en el programa? |
||
- ¿Las causales de deserción detectadas han sido sistemáticamente analizadas? ¿Qué acciones específicas han generado esas medidas? |
||
- ¿Han resultado eficaces, hasta ahora, los mecanismos de seguimiento de residentes? ¿Se utilizan los resultados obtenidos para la discusión interna en el programa? |
||
- ¿El programa analiza y retroalimenta su desempeño a partir de información estadística o a través de una comunicación efectiva con las instancias institucionales superiores? |
||
- ¿Se realiza un seguimiento de los titulados? ¿Cuáles son los principales mecanismos de seguimiento? ¿El programa es retroalimentado a partir de la información proveniente de sus titulados? ¿Cuál es la situación académica y/o laboral de sus titulados? |
4. Cuerpo académico
4.1 Características generales
Tema a desarrollar: Calificaciones, experiencia y dedicación del cuerpo académico; constitución y criterios del equipo de profesores para la asignación de categorías (permanentes y colaboradores)
Dimensión |
Aspectos a evaluar |
Indicador o evidencia |
Características generales |
- Cuerpo académico calificado (especialidad, subespecialidad, grado académico) con trayectoria adecuada y pertinente al área. |
- N° profesores de acuerdo a funciones realizadas. |
- Cuerpo académico diferenciado de acuerdo : - Profesores permanentes - Profesores colaboradores. |
- Asignación (horas-porcentaje) de dedicación a cada responsabilidad de los profesores. |
|
|
- Responsabilidades asociadas al programa (semestral/anual). |
|
|
- Categoría en la carrera académica. |
|
|
- Identificación de profesores permanentes y su jornada en la institución en horas semanales. |
|
|
- Identificación de profesores colaboradores. |
|
Preguntas orientadoras: |
||
- ¿Es adecuada la planta académica y su dedicación al programa en relación con la naturaleza y las características de éste? |
||
- ¿Es adecuado el número de profesores permanentes para las actividades del programa? |
||
- ¿Cómo se evalúa la pertinencia de los profesores colaboradores? |
||
- ¿Se cuenta con masa crítica en especialidades significativas para el programa? |
||
- ¿Existe una distribución adecuada de las responsabilidades del programa a nivel del cuerpo de profesores? |
4.2 Trayectoria, productividad y sustentabilidad
Tema a desarrollar: Formación, especialidad o subespecialidad y grados académicos, trayectoria de investigación o experiencia relevante, productividad, formación de residentes; consistencia entre el cuerpo académico y la disciplina propia del programa en evaluación.
Dimensión |
Aspectos a evaluar |
Indicador o evidencia |
Trayectoria, productividad y sustentabilidad |
- La trayectoria del cuerpo académico considera el nivel de publicaciones científicas, participación en proyectos de investigación con fondos concursables y experiencia en diversas instancias de difusión de la especialidad o subespecialidad. |
- Documentos, normas. |
|
|
- Antecedentes del Currículum Vitae. |
|
|
- Certificaciones. |
|
|
- Productividad del cuerpo académico en términos de presentaciones en congresos (nacionales e internacionales), conferencias dictadas (nacionales e internacionales), distinciones en su especialidad, publicaciones, libros y/o capítulos de libros, así como también proyectos con fondos concursables. |
Preguntas orientadoras: |
||
- ¿Los niveles de productividad del cuerpo académico son adecuados para el programa de Especialidades Médicas? |
||
- ¿Qué criterios se consideran para asegurar la congruencia de la trayectoria de los profesores con los los objetivos del programa? |
4.3 Definiciones reglamentarias
Tema a desarrollar: Normativa aplicada para la incorporación de profesores al programa; jerarquía académica; políticas y procedimientos para la evaluación y renovación de los profesores del programa; normativa respecto a la dedicación de los profesores, su vínculo con la institución e incorporación de profesores externos.
Dimensión |
Aspectos a evaluar |
Indicador o evidencia |
Definiciones reglamentarias |
- Normativa formal y conocida sobre los criterios y procedimientos para la incorporación de los profesores al cuerpo académico (permanentes y colaboradores). |
- Reglamentos. |
|
- Consideración del sistema de jerarquización para la asignación de profesores. |
- Documentos |
|
- Normativa clara para la renovación del cuerpo académico. |
- Normas. |
|
- Evaluación de desempeño docente que considere la opinión de los residentes. |
- Políticas y procedimientos de renovación del cuerpo académico. |
|
- Normativa clara respecto de la dedicación de sus profesores, su vinculación con la institución e incorporación de profesores externos. |
|
Preguntas orientadoras: |
||
- ¿Están claramente establecidos los requisitos para formar parte del cuerpo académico del programa? |
||
- ¿Está claramente establecida la normativa para la renovación del cuerpo académico? |
||
- ¿Se respeta adecuadamente la normativa? |
||
- ¿Existen instancias establecidas y procedimientos de evaluación de desempeño académico? ¿Participan los residentes? |
||
- ¿Cómo impacta la normativa en la gestión del programa en referencia a su cuerpo académico? ¿Favorece una mejor gestión del programa? |
5. Recursos de apoyo
5.1 Apoyo institucional e infraestructura
Tema a desarrollar: Recursos y servicios disponibles para residentes y profesores del programa, tales como biblioteca, laboratorios, salas, conexión a redes u otros; recursos financieros disponibles para apoyar las actividades de los residentes en el programa.
Dimensión |
Aspectos a evaluar |
Indicador o evidencia |
Apoyo institucional e infraestructura |
- Existencia y acceso a laboratorios, equipamientos e instalaciones disponibles (espacios adecuados para la residencia en los campos clínicos donde se realizan turnos). |
- Descripción del equipamiento de las salas y laboratorios a disposición de los residentes. |
|
- Equipamiento y material propio de la especialidad para desarrollar el programa en cada campo clínico. |
- Cantidad de títulos de libros. |
|
- Acceso a recursos bibliográficos actualizados, además de recursos tecnológicos adecuados. |
- Monto de recursos destinados a la adquisición de bibliografía actualizada. |
|
|
- Listado de suscripciones vigentes. |
|
|
- Listado de laboratorios disponibles para los residentes. |
|
|
- Número de residentes que han recibido ayuda para realizar pasantías, asistir a congresos, etc., en el país y en el extranjero, en los últimos 6 años. |
Preguntas orientadoras: |
||
- ¿El programa cuenta con los laboratorios que requiere para el cumplimiento de sus objetivos? ¿Son operados por personal capacitado? ¿Reciben la atención requerida para su mantención? |
||
- ¿Los recursos bibliográficos son pertinentes y suficientes para un programa del nivel y carácter del que se presenta? ¿Existe un acceso adecuado a redes a través de convenios? |
||
- ¿Las salas de lectura y estudio permiten el adecuado cumplimiento de su objetivo? |
||
- ¿Se dispone de un presupuesto institucional para la operación del programa? ¿En qué se aplican, principalmente, estos recursos? |
||
- ¿Existen beneficios estudiantiles tales como apoyos a pasantías, congresos u otros, a los que se pueda acceder a través de los recursos disponibles u otros que se logren captar? |
||
- ¿Los servicios estudiantiles que se ofrecen son coherentes con el perfil de los residentes, la modalidad y jornada en que se imparte el programa? |
5.2 Vinculación con el medio
Tema a desarrollar: Actividades nacionales e internacionales de la especialidad en que han participado residentes del programa.
Dimensión |
Aspectos a evaluar |
Indicador o evidencia |
Vinculación con el medio |
- Política de vinculación externa en los ámbitos nacional e internacional, para incentivar y promover la vinculación de los residentes y profesores con el medio académico laboral y social, así como con las políticas del sistema nacional de salud. |
- Listado de convenios vigentes con instituciones colaboradoras. |
|
- Políticas, mecanismos y su efectividad en la incorporación de los residentes y profesores del programa en actividades de carácter internacional (congresos, pasantías, u otros), de manera de facilitar el cumplimiento de sus objetivos y la inserción en la actividad científica internacional. |
- Número de residentes y profesores que han participado en actividades externas en los últimos 5 años. |
Preguntas orientadoras: |
||
- ¿El programa cuenta con políticas y proyectos específicamente orientados a potenciar convenios con entidades externas que favorezcan su desarrollo y la formación de sus residentes? |
||
- ¿Han sido evaluados los convenios vigentes? ¿Qué criterios se priorizan para evaluar su efectividad? |
6. Capacidad de autorregulación
Dimensión |
Aspectos a evaluar |
Indicador o evidencia |
Capacidad de autorregulación |
- Equilibrio entre el número de residentes y el total de recursos disponibles. |
- Plan de desarrollo y grado de avance. |
|
- Claridad en la difusión del programa y expresión fiel respecto a su realidad. |
- Documentación de respaldo de lineamientos y orientaciones, políticas y mecanismos para el desarrollo futuro del programa |
|
- Entrega a los residentes de los servicios ofrecidos y respeto a las condiciones esenciales de enseñanza bajo las cuales éstos ingresaron. |
|
|
- Organización y conducción de los procesos de toma de decisiones de acuerdo a la ley y a los respectivos reglamentos. |
|
|
- Reglamentación clara y difundida, en donde se establezcan los derechos y deberes de los residentes. |
|
|
- Políticas y procedimientos que fomenten la elaboración de un diagnóstico participativo respecto de su desempeño actual y la planificación de acciones futuras que faciliten su desarrollo. |
|
|
- Plan de desarrollo realista y verificable, que considere acciones de mejoramiento derivadas de su autoevaluación, responsables, plazos, recursos e indicadores de efectividad asociados. |
|
|
- Existencia y aplicación sistemática de mecanismos de mejoramiento continuo a través de procesos sistemáticos de autoevaluación y evaluación. Orientación al mejoramiento de la formación impartida y a la sustentabilidad del programa. |
|
|
- Mecanismos sistemáticos que le permitan utilizar los diagnósticos realizados para definir e implementar acciones de mejoramiento. |
|
|
- Uso de antecedentes recogidos como fruto de los anteriores procesos de acreditación para actualizar y perfeccionar los planes y programas de estudios e impulsar diversas actividades de mejoramiento. |
|
|
- Lineamientos y orientaciones que proyectan el desarrollo futuro del programa y mecanismos y acciones para su alcance. |
|
B. SÍNTESIS DEL PROCESO DE AUTOEVALUACIÓN
Considerando el análisis de los criterios precedentes, el programa debe referirse a las principales fortalezas y debilidades (priorizadas) de cada uno de ellos, las acciones a aplicar en el futuro con el fin de superar las debilidades detectadas y una breve síntesis del análisis realizado en cada criterio de evaluación.
C. PLAN DE DESARROLLO
A partir de las debilidades y amenazas detectadas en el diagnóstico y autoevaluación que debe realizar el programa, éste ha de presentar un plan de desarrollo que grafique las acciones asociadas a su superación, indicando responsables, plazos y recursos asociados. Adicionalmente, el programa podrá identificar fortalezas que desee potenciar. Cada acción de mejoramiento debe identificar los indicadores de seguimiento y verificación de logro pertinentes, con el objetivo de contar con un instrumento de gestión que permita al programa monitorear su nivel de mejoramiento en relación a las conclusiones de la autoevaluación.
Cuadro Plan de desarrollo
Fortalezas |
Acciones de mejoramiento |
Indicadores o verificadores de logro |
Plazos |
Responsables |
Recursos asociados |
|
|
|
|
|
|
|
|
|
|
|
|
Debilidades |
Acciones de mejoramiento |
Indicadores o verificadores de logro |
Plazos |
Responsables |
Recursos asociados |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
D. AVANCES DEL PROCESO DE ACREDITACIÓN (SI CORRESPONDE)
Si el programa se ha sometido a algún proceso de acreditación anterior, debe realizar un análisis que distinga las principales observaciones realizadas en el proceso previo. A partir de las observaciones y debilidades detectadas, deberá referirse a los procesos y acciones efectuadas para subsanarlas, identificando los estados de avance de cada uno de los puntos, indicando las acciones, indicadores, plazos, recursos y encargados involucrados.