Recolección de la Información
Diciembre 2018
La recolección de la Información
La información se considera como el insumo principal del proceso de autoevaluación. La información orientada a estos procesos contempla un uso instrumental, está netamente orientada a responder acerca del estado de la carrera en función de ciertos criterios. Asimismo, posee un carácter selectivo de acuerdo a los instrumentos desarrollados para su recolección, y finalmente, se concibe como estratégica, en términos de que el resultado de su análisis debe producir resultados de valor para la toma de decisiones (CNAP, 2001:110-138).
El proceso de recolección de información posee varias etapas con instrumentos previamente definidos para el levantamiento de los datos requeridos para el análisis. Este proceso implica tres etapas principales que implican un diagnóstico del entorno regional y nacional, la recolección de información de opinión de distintos actores, y finalmente la construcción de la Guía de Formularios para la acreditación. Para cada una de estas etapas se han desarrollado procedimientos, estrategias e instrumentos que permiten guiar el proceso en cada paso, y existe un soporte técnico desde la Vicerrectoría de Aseguramiento de la Calidad para apoyar el proceso.
2.1. El diagnóstico del entorno regional y nacional
El objetivo de una evaluación del entorno es la obtención de información para conocer cuál es la posición de la Carrera-Sede en su entorno regional y a nivel nacional. Esta perspectiva es un excelente insumo para establecen un análisis comparativo y la posición de la carrera en el escenario de su disciplina a nivel regional y nacional. Esta información permite además matizar las fortalezas y debilidades detectadas, en función de los avances y resultados que obtienen otras carreras en la misma área. Asimismo, esta información permite orientar el Plan de Mejoramiento, permitiendo ver los avances de otras instituciones en resolver posibles debilidades que pudieran afectar a la carrera.
La posición no está reducida a un estado futuro de la carrera frente a otras o a una “demanda” esperada. Tampoco es sólo considerar un escenario que contenga las posiciones de otras Carreras de la disciplina desde un determinado conjunto de variables. Si bien saber esto es muy importante para tomar buenas decisiones, lo que aquí se necesita es un estudio en perspectiva del entorno que incluya el desarrollo disciplinario y las nuevas tendencias que afectan la factibilidad del proyecto de la carrera.
El análisis estratégico y la creación del “plan estratégico operacional”, que son requerimientos de la gestión de la carrera, contribuyen al estudio que aquí se propone. Los objetivos específicos del estudio son :
Conocer la realidad de otras carreras símiles, que permita observar y comparar la propia carrera.
Disponer de información que explique el potencial retraso o los avances de una unidad frente al desarrollo disciplinario y las nuevas tendencias.
Organizar la información del escenario o entorno de un modo coherente, de modo que permita tomar decisiones con una base sólida.
Detectar en el entorno posibles Amenazas u Oportunidades para el análisis FODA.
Fundar el aprendizaje desde correcciones y afinamientos sistemáticos realizados en el pasado.
Una vez que se han revisado las bases de datos, es necesario hacer un análisis comparativo entre la carrera y los programas de la misma área de competencia que se dictan en la región y el país. De este modo, comparando los resultados e indicadores, se puede establecer una posición dentro del grupo de carreras similares. Para realizar este estudio, el equipo debe poseer una versión actualizada del “Plan estratégico de la carrera”, o en su defecto confeccionarlo. Una unidad debe contar con un plan, en su nivel operacional, este insumo es un requerimiento básico para la gestión de la Carrera.
Es importante reflejar cuál es la realidad de la carrera en la región, en términos del número de postulantes por año, la cobertura de vacantes, y la empleabilidad de la carrera. Finalmente, se debe generar un informe del “Estudio del entorno regional y nacional de la Carrera”, el cual debe ser derivado a la DGAC. El equipo debe realizar copias para ser entregadas a los participantes de las Jornadas del análisis FODA.
El análisis del entorno es una tarea que requiere ser realizada periódicamente y forma parte del mejoramiento continuo. Esto nos permite conocer una realidad comparativa, anticipar amenazas y realizar mejoras. Cada dirección de Escuela debe coordinar esta tarea, considerando que se trata de un insumo necesario para sus directivos y la gestión de la Carrera. Su beneficio principal es que crea una base objetiva que permite orientar o corregir un rumbo hacia una posición, cuyos atributos estarán dados por elementos disciplinarios, profesionales, y económicos. Además, un análisis del entorno genera proyectos cuyos objetivos e indicadores de avance son materia de acuerdo y compromiso de los miembros de la carrera. Desde categorías compartidas la unidad puede tomarmejores decisiones.
Una fuente importante desde la cual aportar información a este tipo de estudio son las bases de datos nacionales y públicas. A continuación se presentan algunas de las mas utilizadas, sin limitar la posibilidad de que la carrera pueda incluir que estime necesarias para este análisis :
Servicio de Información de la Educación Superior (SIES)
www.mifuturo.cl
El sistema SIES surge a partir de la ley 20.129 y encomienda al Ministerio de Educación desarrollar y mantener un sistema de información integrado para la toma de decisiones de los diversos actores de la educación superior. Allí se encuentran disponibles distintos tipos de estudios: retención, duración de carreras, deserción, académicos, instituciones, etc. Esta es considerada una de las bases de datos mas importantes para su uso en procesos de autoevaluación (Ministerio de Educación de Chile, 2014).
Comisión Nacional de Acreditación
www.cnachile.cl
Contiene la información acerca de todas las carreras acreditadas a la fecha tanto por CNA-Chile y las Agencias privadas. Se puede encontrar además en este sitio información relativa a la acreditación institucional y de postgrado. Se encuentran publicados los acuerdos legales que formalizan cada uno de los procesos CNA-Chile, 2014b).
Anuarios Estadísticos del Consejo de Rectores
www.consejoderectores.cl
Esta base incluye los Anuarios Estadísticos de las universidades integrantes del Consejo de Rectores, en base a la información proporcionada por dichas instituciones. Esta información ha sido publicada anualmente, con datos detallados y cuadros de resumen (Consejo de Rectores de las Universidades Chilenas, 2014).
Consejo Nacional de Educación
www.cned.cl
En su sección Educación Superior, este sitio contiene información descriptiva y datos estadísticos sobre las instituciones y carreras de educación superior del país. Además, este sitio contiene la base de datos INDICES, donde se encuentran estadísticas de pregrado y posgrado a nivel nacional (Consejo Nacional de Educación, 2014).
Dado el avance en los procesos de autoevaluación y acreditación, la institución ha comenzado a utilizar nuevas metodologías que permitan simplificar y establecer prácticas que faciliten el análisis de estas variables en las carreras. Una de estas metodologías es el análisis PESTLE4 que permite comprender el ambiente externo y sus cambios en el tiempo. La DGAC ha creado un formato para desarrollar este análisis y generar documentación útil para el proceso. En este proceso se puede utilizar la información provista por las bases de datos mencionadas anteriormente. Este instrumento se entiende como de valor esencial para el proyecto académico de la Carrera, y por esto debería ser realizado por un equipo designado.
4 La sigla proviene del Inglés y representa cada uno de los factores analizados.
Los pasos para el desarrollo del análisis PESTLE son los siguientes :
Describir una lista de factores, influencias o presiones que identifique tengan implicaciones o impacto, ahora o en el futuro, para la institución :
Políticos: tendencias, cambio o eventos de tipo global, nacional, regional y/o local
Económicos: tendencias, cambio o eventos de tipo mundial, nacional y/o local
Sociales: composición, expectativas, comportamientos, etc., en el desarrollo social cultural que involucra a los alumnos actuales o potenciales, egresados o empleadores
Tecnológicos: desarrollos en equipos de computación, software, aplicaciones, materiales productos y procesos relativos al desarrollo de la docencia Legales: cambios y perspectivas de la legislación de tipo global, nacional y/o local
Ambientales: problemas, movimientos, presiones de tipo global, nacional y/o local
Para cada factor identificado, determinar las implicancias que tienen sobre :
La institución como entidad: misión, cultura y valores, actividades y programas, estructura, disponibilidad de personal y habilidades.
Clientes (alumnos actuales, potenciales, egresados)
Grupos de interés (empleadores, organismos de salud o educación)
Otros relevantes (sistema de salud, sistema educacional) (ver cuadro 2.1)
Por último, describir el impacto de las implicancias sobre los factores externos y realizar un análisis en términos del tiempo, tipo, dinámica e importancia para cada uno de ellos (ver cuadro 2.2).
Cuadro 2.1: Ejemplo del desarrollo del análisis PESTLE
Cuadro 2.2: Descripción de los tipos de impacto de las implicancias.
* Aspectos Claves
Productos esperados: Diagnóstico del entorno, compuesto por los documentos Análisis PESTLE y diagnóstico competitivo.
2.2. Recolección de Información de Opinión
Una vez firmada la carta de compromiso (que marca el inicio del proceso de autoevaluación de una carrera), realizado el taller de inducción y definido el comité de autoevaluación, un segundo hito que debe enfrentar la carrera es la preparación de los estudios de opinión.
El objetivo de ellos, es proveer a la unidad académica de información de opinión para determinar en qué medida responde a los criterios de CNA-Chile, desde el punto de vista de los diferentes grupos con que interactúa. A estos estudios se les denomina habitualmente “información proveniente de informantes clave”, y se ejecutan con muestras de estudiantes, académicos, empleadores y egresados. Una vez concluidos, sus resultados se resumen en el formulario B (se revisará en detalle mas adelante).
A su vez, cada uno de los informes de los estudios de opinión y el mencionado formulario (CNA-Chile, 2008), proveen información básica para la construcción y redacción del Informe de Autoevaluación de la unidad.
Este capítulo buscar realzar algunos elementos que la experiencia de la universidad San Sebastián ha ido mostrando como gravitantes para la óptima ejecución de los mismos y utilización de sus resultados.
En general, en la Universidad San Sebastián, la utilización de estudios de opinión de carácter cuantitativo5 aplicados de forma on-line ha sido positiva. Este trabajo se ha realizado siempre como una labor conjunta entre la carrera y la Vicerrectoría de Aseguramiento de la Calidad: los instrumentos son creados en conjunto, la aplicación es realizada por la carrera, los análisis y los respectivos informes son emitidos por la Dirección de Evaluación Institucional.
5 Para una clara comparación entre estudios cualitativos y cuantitativos revisar a Hernández, R., Fernández, C. & Baptista, P. (2006).
Los estudios de opinión cumplen un rol cargado de significado que debe ser entendido en toda su extensión y que al menos implica :
Reuniones formales de coordinación y preparación dematerial físico concreto (definición de las preguntas y las encuestas que se aplicarán).
Cuando la carrera aprueba un instrumento, está dando su visto bueno a cuestionarios que tienen “validez ecológica”, entendida como el nivel de correspondencia que se establece entre un test determinado y posibles situaciones reales con las que se puede encontrar una persona (Kvavilashvili y Ellis, cit. en Burgess et al., 2006: 194-209). Por ejemplo, asegurarse que el concepto “base de datos disponibles en biblioteca” que aparece en el instrumento, sea efectivamente entendido por los académicos como los recursos electrónicos de que dispone biblioteca y compuesto fundamentalmente de artículos de revista de corriente principal.
Son una ocasión de estudio, en la medida que sirven para revisar nuevamente las distintas dimensiones evaluadas en un proceso de autoevaluación.
Son una ocasión de participación, en el sentido de que el comité de autoevaluación en conjunto con el cuerpo directivo de la carrera, e incluso a veces con el Decano u otros académicos, pueden operar como jueces expertos acerca de los instrumentos propuestos. Además la difusión entre los diferentes grupos acerca del comienzo de los estudios, es a la vez una instancia de difusión del proceso de autoevaluación y acreditación en sí mismo.
Es muy importante que la Escuela dimensione en su real magnitud cada uno de estos significados, y no conceptualizando a la preparación de los instrumentos como un mero trámite administrativo, una “toma de conocimiento” de propuestas hechas por otras instituciones, por la DGAC, por CNA-Chile, etc. La primera señal a este respecto, es que la conformación del comité de autoevaluación sea realizada se forma reflexiva y estratégica, reconociendo plenamente las características del proceso que se lleva a cabo.
Las razones antes mencionadas inciden en que la etapa de construcción de instrumentos no sea una mera validación sino que una construcción, en el sentido de legitimar la correspondencia entre lo propuesto y los procesos que si bien se dan en cualquier universidad, pudiesen presentar terminología idiosincrática en la unidad académica.
En la práctica, la Dirección de Evaluación Institucional entrega al comité de autoevaluación de la escuela un dossier de información que servirá como insumo básico para la etapa. Dicho dossier va acompañado de una carta introductoria que además de mencionar los aspectos ya abordados, sugiere algunas estrategias en términos de extensión del instrumento dependiendo de la población con que se trabaja, plazos, etc. El dossier habitualmente contiene ejemplos de instrumentos basados en los criterios CNA-Chile, otros utilizados por otras instituciones (por ej. Universidad de Chile), y otros que han sido producto de los procesos de autoevaluación de las carreras de la USS. En el proceso de validación descrito se espera que participe no sólo el comité, sino que el Director de Carrera, el de Escuela y eventualmente el Decano.
Una vez definidos los instrumentos, se debe definir la muestra a partir de la base de datos total con los informantes clave de la carrera. El primer paso en este proceso, es obtener una base actualizada de datos de académicos, estudiantes y egresados con la Dirección de Análisis Institucional de la Universidad. La base de empleadores debe ser construida en la Carrera. El perfeccionamiento de los sistemas de información en la USS (Banner) sumado al constante desarrollo de la Dirección de Egresados ha permitido avanzar en la calidad de dichos insumos.
Una vez que dichos insumos son remitidos a la Dirección de Evaluación Institucional (DEI) desde otras unidades de la Universidad, son integrados en un solo archivo que es remitido a la Escuela y que en conjunto con la información de empleadores, constituirá la matriz oficial para la aplicación de los estudios de opinión. Esa base de datos contiene los nombres, sede, correos electrónicos e idealmente, teléfonos de contacto de los sujetos participantes en los estudios. Es responsabilidad de la Escuela revisar la actualidad de los datos, completando y corrigiendo cualquier error en la información. El no seguir esta recomendación, puede incidir gravemente en el éxito del estudio.
Una vez definida la base final, se debe determinar la muestra a utilizar (por ejemplo, aleatoria o no aleatoria). En cualquier caso, se debe tener en cuenta lo señalado en la literatura con respecto a los distintos tipos de muestreo. Por los tamaños de los universos en el caso del contexto universitario, es razonable trabajar en la modalidad censal o con estrategias de muestreo cualitativos. El muestreo aleatorio puede ser una opción para los estudios a nivel de estudiantes. Es gracias a esta base de datos integrada que se cargan las encuestas on-line en el sistema Surveymonkey para la aplicación por correo electrónico.
Si bien no está definido el tiempo de duración de la etapa de los estudios de opinión, se ha determinado que es necesario un mes para la preparación de los instrumentos, acompañado de la adecuada sensibilización y difusión del proceso. Una vez realizada esta etapa inicial -considerando un estándar de cuatro estudios por programa- la aplicación y preparación de los informes implican un mes cada una, respectivamente, de tal forma que el desarrollo de los estudios de opinión en su conjunto se extiende por tres meses.
La aplicación, en el caso de que sean estudios On-line se realiza por correo electrónico y es responsabilidad de la Dirección de Evaluación Institucional. En el caso de que sea realizada en papel o mediante entrevistas telefónicas o modalidades mixtas, se realiza mediante la colaboración de entrevistadores externos con la supervisión del coordinador de autoevaluación de la Escuela. El éxito de una aplicación por correo electrónico depende de que la fase anterior de construcción de la base de datos haya sido rigurosa y exhaustiva. Por ejemplo, el consignar adecuadamente los correos personales e institucionales de los sujetos permite hacer refuerzos a aquellos sujetos que no están contestando la encuesta o hacer aplicaciones a un correo alternativo.
Los momentos y pertinencia de realizar dichos refuerzos, así como los momentos de inicio y término del período de aplicación son decididos de común acuerdo entre la DEI y el coordinador del proceso en la carrera. A su vez, dichos momentos dependen del monitoreo del “trabajo de campo” que van realizando los directores en las diferentes sedes. Esto permite alcanzar los tamaños muestrales necesarios para obtener conclusiones a nivel nacional y de sedes, en la medida que sea posible. Dicha coordinación se ve facilitada por dos dispositivos implementados en los últimos años por la DGAC: un link de seguimiento, donde se puede ver en forma instantánea el número de respuestas recopiladas en un momento del tiempo, y el documento denominado “estado de avance estudios de opinión”, que resume el número de respuestas, los universos, los errores muestrales, el grado de avance de los estudios de opinión.
Una vez concluida la etapa de levantamiento de información, se procede a cerrar los recopiladores que han funcionado como acceso a las encuesta a través de los correos electrónicos, y se procede al análisis de datos y a la confección de los informes. La mayoría de los análisis de datos que se realizan en este punto son descriptivos, en términos de frecuencias y/o porcentajes. Se constatan en esta línea, los porcentajes de aprobación en las dimensiones evaluadas: biblioteca, perfil de greso, infraestructura, etc. En el caso de que los tamaños muestrales sean reducidos, se realiza el análisis en términos de frecuencias. En el caso de las respuestas a preguntas abiertas, se realiza un análisis mediante categorías emergentes.
Los informes consideran mínimamente: Introducción, Métodos, Resultados y Conclusiones. Sin ser extensos, buscan ser claros e ilustrativos de las tendencias de aprobación a cada aspecto evaluado.Habitualmente se entregan en el formato de una presentación en Powerpoint que pueda ser utilizada por la unidad académica en reuniones de trabajo, y principalmente, en las jornadas que se realicen para analizar los criterios CNA-Chile a la luz de la evidencia.
En necesario en este punto recordar que los resultados de los estudios y losmétodos en ellos utilizados, son insumos para completar el formulario B y para la redacción misma del Informe de Autoevaluación de la unidad.
* Aspectos Claves
Si el proceso actual es una Reacreditación: una Carrera puede utilizar los instrumentos utilizados en el ciclo anterior de autoevaluación. Para algunas de las escalas entregadas como modelo, existen antecedentes de validez y confiabilidad que respaldan su uso sin necesidad de un estudio piloto.
Producto esperado: Informes y Formulario B.
2.3. Construcción de guía de formularios
La Comisión Nacional de Acreditación ha desarrollado una “Guía de formularios” para la recolección de antecedentes de acreditación de carreras. Esta guía está estructurada sobre la base de los criterios de evaluación de CNA-Chile e identifica la información cualitativa, cuantitativa y de opinión, necesaria para pronunciarse respecto de cada uno de dichos criterios. Asimismo, los formularios recogen información general, comprendiendo todas las áreas de desarrollo de una carrera, en el entendido de que cada carrera deberá, posteriormente, analizar aquella que resulte de interés, de acuerdo a los objetivos del proceso de acreditación.
Es importante ser selectivos con la información. La gran cantidad de datos que maneja una institución y una carrera, pueden ser muy relevantes para el proceso, pero es importante sintetizar y sistematizar aquellos datos que apuntan directamente a responder aspectos contemplados en los criterios de evaluación. La Guía de formularios es un instrumento que pretende facilitar a las unidades académicas la síntesis de información que se considera necesaria para la evaluación.
La Carrera debe completar y responder de manera fidedigna todos los aspectos contemplados en la Guía de formularios. Esta guía se constituye en una base informativa para fases posteriores del proceso y la construcción del informe de autoevaluación. Además, es un documento que será entregado directamente a la Agencia acreditadora y que será directamente revisado por los evaluadores externos.
Una vez que se ha construido esta guía, la carrera se encontrará en condiciones de hacer variados análisis, pudiendo emitir juicios sobre su calidad, conocer concreta mente algunas de sus fortalezas y debilidades y establecer desde ya prioridades de mejoramiento.
Como ya fue mencionado en el punto correspondiente a la “capacitación en gestión de datos”, la Guía de formularios consta de tres secciones :
Sección A: es un documento de MS Word, compuesto por tablas que se distribuyen en capítulos correspondientes a cada criterio de evaluación. En este apartado se solicita información descriptiva de carácter cualitativo. En esta sección se responde a aquellos antecedentes que dan cuenta de los insumos, procesos y resultados a partir de una exposición válida de actores que se estiman relevantes. Como ejemplos podemos mencionar el perfil del estudiante que ingresa, la descripción del proceso de evaluación de académicos o las competencias demostradas por egresados, entre otros.
Sección B: este apartado es un documento de MS Word, donde se solicita un resumen de los resultados de la información proveniente de informantes clave por medio de estudios de opinión. Corresponde al juicio emitido por diversos actores de la comunidad respecto del desempeño y calidad de la carrera en sus diversas áreas de desarrollo; usualmente es recogida a través de instrumentos como encuestas, cuestionarios, grupos focales, etc.
Esta sección consigna información mínima que debe ser completada. Esta es :
Metodología de recolección de la información de opinión
Opinión de los académicos y directivos.
Opinión de los estudiantes.
Opinión de los egresados.
Opinión de los empleadores.
El formulario B es entregado por completo por la Dirección de Evaluación Institucional, junto a 4 informes separados por grupo de opinion: estudiantes, académicos, egresados y empleadores. A solicitud de las carreras se pueden realizar cruces de información para ampliar el análisis de los datos (p ej. separar las cohortes según plan de estudios, etc).
Sección C: se solicita información descriptiva de carácter cuantitativo. Corresponde a los datos cuantitativos que proporcionan evidencia del estado actual y la evolución de diversos indicadores vinculados a estudiantes (matrícula, retención, notas), académicos (número, dedicación horaria, títulos y grados), recursos e infraestructura (metros cuadrados, número de libros y revistas, relación estudiantes/recursos computacionales), etc. La sección C es un documento de MS Excel, cuyos campos que deben ser llenados en su totalidad. El formulario debe ser llenado de acuerdo a los últimos tres años consecutivos con información completa disponible. Este documento es completado en su totalidad por la Dirección de Análisis Institucional y es entregado a la carrera para ser agregado a la Guía de Formularios.
Un aspecto importante respecto a la Guía de formularios, es que a diferencia del Informe de autoevaluación, se debe entregar una Guía de formularios por cada sede, jornada o modalidad en la que se dicte la Carrera. Por ejemplo, si la Carrera se dicta en dos sedes en jornada diurna y vespertina, se deberán entregar 4 Guías de formularios junto al Informe.
* Aspectos Claves
Producto esperado: Guía de Formularios completada.