Análisis de la Información
Diciembre 2018
El Análisis de la Información
El análisis de la información es una de las principales etapas del proceso de autoevaluación, es el momento en que se da una mirada analítica a los datos y desde donde se extraerán los juicios críticos que formarán parte del resultado final del proceso. Asimismo, las conclusiones extraídas de este proceso permitirán crear los ejes de desarrollo que serán propuestos en el plan de mejoramiento.
Para la realización del análisis de la información es necesario comprender que esta etapa implica la definición de roles específicos entre los encargados del proceso, la programación del diferentes tareas específicas, la aplicación de una metodología de estudio, y el desarrollo de jornadas de análisis que implican la participación ampliada de los actores de la comunidad académica.
3.1. Aspectos previos al proceso de análisis de la información
Definición de Roles
El proceso de análisis de la información requiere el establecimiento de roles que permitan la administración del proceso, estos roles deben ser liderados por el comité de autoevaluación y aquellos colaboradores de la comunidad académica que sean designados para realizar algunas tareas específicas. La definición de estos roles tiene relación con el desarrollo de las Jornadas de Análisis de Información, estas consisten en jornadas que convocan a la comunidad académica donde se revisarán los criterios de evaluación.
En estas jornadas se crearán los juicios evaluativos a través de un análisis FODA, cuyos resultados serán parte del plan de mejoramiento y el cuerpo principal del informe de autoevaluación. Los roles deben ser definidos con anticipación y corresponden principalmente a los definidos en el cuadro 3.1.
Cuadro 3.1.- Roles definidos para las Jornadas
Programación de las Jornadas
El desarrollo de una jornada de evaluación puede durar hasta dos días. El propósito de presentar el programa en esta parte inicial tiene por objetivo entregar un marco ordenado de las diferentes actividades que serán desglosadas a lo largo del documento. La carrera puede alterar estos tiempos sugeridos de acuerdo a su propia planificación, eniendo en cuenta que éstas sean las actividades básicas que se llevarán a cabo. Como se puede verificar se incluyen breaks e intermedios, lo importante es que los encargados precisen las actividades de trabajo, sus tiempos y responsables. En el cuadro 3.2 se sugieren las principales actividades, sus tiempos y productos.
Cuadro 3.2.- FODA
Conceptos generales acerca del análisis FODA
El análisis FODA es una metodología que provee la información necesaria para el desarrollo de acciones y medidas correctivas de una estrategia determinada. Como su sigla lo sugiere, una determinada comunidad académica analiza las fortalezas, oportunidades, debilidades y amenazas de una carrera o programa académico desde diferentes ámbitos (sociodemográficos, culturales, económicos, políticos, etc) y explicita su influencia en el desempeño de una carrera.
Asimismo, podemos entender que se realiza un FODA para evidenciar las fuerzas potenciales que inciden favorablemente o arriesgan el cumplimiento de la misión de la carrera, y que al disponer de un diagnóstico anticipado es posible establecer estrategias correctivas que permitan reorientar su rumbo. El análisis FODA es considerada una de las metodologías mas utilizadas para establecer el diagnóstico de una organización y establecer la posición estratégica de ésta dentro de un determinado contexto.
¿ Qué es una fortaleza ?
Las fortalezas son las características y capacidades internas de la organización que le han permitido llegar al nivel actual de éxito y lo que le distingue de la competencia (ventaja competitiva). La organización tiene control sobre ellas y son relevantes. Algunos ejemplos son el posicionamiento en un escenario de educación superior; la participación en asociaciones u otros grupos de poder; exclusividad de un programa o una tecnología de punta; docentesmuy bien formados y con remuneraciones competitivas; estilo de gestión eficiente; poseer una gran infraestructura, laboratorios y otros.
Las fortalezas se detectan por medio de los resultados dados en las medidas de los indicadores. Así, por ejemplo, el prestigio de la institución deriva del impacto de la calidad profesional de sus egresados, de la ocupación de mejores empleos o su contribución en el campo de la investigación y el desarrollo de la tecnología. Es posible eue se puedan tener logros intermedios que den un sello especial a la institución. Este podría ser el caso de una excelente vinculación con el mundo productivo, lo que permite a los alumnos realizar buenas prácticas profesionales.
¿ Qué es una oportunidad ?
Las oportunidades son aquellos factores externos a la organización que pueden ser aprovechados para obtener una ventaja o beneficio sobre el impacto de sus indicadores. La organización no las controla y no dependen de esta, pero puede obtener ventajas de ellas. Algunos ejemplos son una ley que esté por aprobarse, un nuevo esquema tributario, el aumento de la demanda de profesionales en un área o sector determinado, el crecimiento acelerado de una población, la apertura de un mercado, etc. La oportunidad existe cuando uno tiene la posibilidad cierta de aprovecharla, sino no lo es.
¿ Qué es una amenaza ?
La amenaza está compuesta por fuerzas (sociodemográficas, culturales, económicas, políticas, etc.) del entorno que reducen la efectividad de una determinada estrategia o impide su implantación expresada en el cumplimiento de los indicadores planificados. Las amenazas tienen magnitudes e intensidades, y son probables de ocurrir en un tiempo y espacio en particular. Son aquellas situaciones que presenta el entorno a la organización, que no se pueden controlar teóricamente y que pueden afectar desfavorablemente.
Los mismos ejemplos citados como oportunidades pueden convertirse en amenazas si su efecto es negativo: por ejemplo, una ley puede perjudicar el número de matriculados; un mercado importante puede cerrarse y producir un éxodo masivo de una población; los alumnos pueden elegir otro proveedor competidor por haber logrado un reconocimiento o dar un nuevo beneficio. Frente a la amenaza, debemos tener en cuenta que todo peligro se reduce cuando se han descubierto sus causas. Por último, es importante considerar que los mayores progresos se logran cuando se experimentan inicialmente como amenazas.
¿ Qué es una debilidad ?
Las debilidades son las características y capacidades internas que no contribuyen al éxito de la Carrera, y más bien provocan situaciones desfavorables para el cumplimiento de un objetivo medido por un indicador. Al igual que las fortalezas, la organización tiene control sobre ellas y son relevantes. Las fortalezas pueden convertirse en debilidades, por ejemplo, si cambia la estructura de relaciones con los académicos, o si ocurre algo que provoque desmotivación importante en ellos, o si se pierde la exclusividad de un programa, o no se posee una tecnología de punta, si se reduce sustancialmente el posicionamiento en un escenario determinado, etc. Como hecho curioso: en un FODA, al exagerar la debilidad de otros actores, uno debería preguntarse si no estamos evidenciado nuestra propia debilidad.
Proceso de una Matriz FODA
En una primera instancia es necesario realizar una clasificación de los diferentes factores (fortalezas, debilidades, oportunidades, amenazas) identificados para cad criterio. En el cuadro 3.3 es posible apreciar la estructura de como debe hacerse esta clasificación de los factores detectados. Esta tarea es parte del análisis primario y será realizada por un encargado del comité, quién las presentará durante durante las jornadas ampliadas (análisis secundario) y se considerará como parte de los productos de la jornada.
Cuadro 3.3.- Lista de factores FODA identificados por criterio
Luego de identificados los factores por criterio, se realiza la construcción de una Matriz FODA donde se articulan los 4 factores en función de estrategias diseñadas para afrontar aquellos factores considerados negativos o potenciar aquellos factores considerados como positivos (cuadro 3.4). Esta tarea será parte de la tercera jornada y es la base para la construcción del Plan de Mejoramiento.
Cuadro 3.4.- Matriz FODA
3.2. Metodología para el Análisis de los Criterios de Evaluación
Para el análisis de la información se propone que este sea desarrollado siguiendo un modelo que contempla las etapas de análisis y las jornadas de evaluación. La primera etapa de este modelo consiste en un Análisis Primario que será encargado a uno o dos académicos. Durante este proceso, los encargados harán una revisión de todos los criterios de evaluación previamente a la primera y segunda jornada. Desde esta revisión deberán crear una presentación con una propuesta de Juicios Evaluativos que será revisada durante las Jornadas.
La segunda etapa corresponde al Análisis Secundario. En esta instancia, el grupo ampliado de participantes de la jornada realizará el análisis FODA por dimensiones y criterios de evaluación desde las presentaciones y propuestas realizadas por los expositores. Este trabajo se desarrollará durante la Jornada 1 y 2 (esto será revisado en profundidad más adelante).
Finalmente, la tercera etapa del modelo corresponde a la Tercera Jornada, donde se revisarán algunos aspectos básicos para la creación del Plan de Mejoramiento. El modelo de análisis puede ser revisado en la figura 3.1:
Figura 3.1.- Modelo para análisis de la Información
El Análisis Primario
Como puede apreciarse en la primera etapa se hace una revisión de los distintos componentes de análisis de cada criterio, estos componentes contienen una descripción y están asociados a preguntas orientadoras que permiten guiar el análisis. Para responder lo anterior es necesario reunir los documentos trabajados en el capítulo 2 y determinar las evidencias que permiten establecer un determinado juicio evaluativo en términos de fortalezas o debilidades. Como se puede apreciar, esta primera etapa se subdivide en las siguientes :
Aspectos a considerar para el análisis de cada criterio
Preguntas guía para el análisis
Documentos para responder las preguntas
Evidencias que respaldan las respuestas
Creación del Juicio Evaluativo
Para efectuar este análisis primario es necesario revisar los Anexos 1 al 12 de éste libro, donde se presenta por cada criterio los aspectos a considerar, las preguntas asociadas a cada uno de estos aspectos y los documentos sugeridos para revisar y responder a éstas preguntas.Desde esta revisión de documentos los encargados deberán determinar qué evidencias logran respaldar las respuestas a cada una de las preguntas y crear un juicio evaluativo según el modelo mostrado anteriormente en la figura 1.2.
Como ejemplo, veamos algunos aspectos del Criterio Perfil de Egreso. Para evaluar el perfil de egreso es necesario identificar ocho aspectos principales que permiten ir respondiendo paso a paso a los requerimientos de la evaluación. Como se puede apreciar en el Anexo 3, cada aspecto del criterio tiene asociado un grupo de preguntas específicas que orientan el proceso evaluativo, estas preguntas deben ser respondidas a través de la documentación reunida en el Capítulo 2, los datos reunidos en los formularios B y C, y en general por todos aquellos documentos sugeridos en el anexo.
Consideremos como ejemplo el aspecto 3.e. relacionado con la “Explicitación precisa y completa del Perfil de Egreso”. En relación a la pregunta: ¿ La opinión del cuerpo docente indica que la definición del perfil es completa, clara y precisa de los desempeños esperados del egresado de la carrera ?
En relación con los resultados de los estudios de opinión, nos encontramos que muestran consistentemente una confusión de los académicos y egresados respecto a las habilidades definidas en el perfil. Aún más, dichos resultados muestran que los alumnos no tienen conocimiento respecto a las competencias específicas que provee el plan de estudios, lo que se cruza de alguna manera con el componente de difusión. Este cruce de información, a la vez podría mostrar ciertas debilidades en relación con la estructura curricular definida desde el perfil. A la vez como contraste, los empleadores y egresados parecen tener claro los aspectos relacionados con las habilidades proporcionadas por la carrera y su perfil de egreso. Si se onsidera que recientemente hubo cambios en el perfil de egreso de la carrera, esta situación podría estar demostrando que los cambios recientes en el perfil fueron trabajados técnicamente por el equipo central de la unidad omitiendo el proceso de difusión interna correspondiente.
Cuando el juicio crítico señala una debilidad determinada, es importante identificar que tipo de debilidad es y cuán profunda es su incidencia, de forma de asignarle un determinado nivel de importancia en el contexto de otras debilidades resultantes del proceso. Asimismo, es importante ver como esta debilidad está relacionada a otras resultantes del proceso.
En relación a esto, la experiencia ha demostrado que determinado tipo de evidencias señalan también determinados tipos de debilidades :
Evidencias Internas: Debilidades de Contenido (necesidad de planificación, establecimiento de procesos, desarrollo de la información, formalización de documentos, etc).
Evidencias Externas: Debilidades de Validación (necesidad de mejorar los resultados, difusión, participación e impacto en el medio externo, etc).
Evidencias de Opinión:Debilidades de Comunicación o Difusión (necesidad de establecer estrategias comunicacionales y difusión de información en el medio interno o externo).
En relación al ejemplo, puesto que la información provista nos muestra que fueron los académicos y estudiantes quiénes manifestaron un desconocimiento en relación al perfil podemos identificar que las evidencias son internas, por lo que se está mostrando una debilidad de contenido. Asimismo, por provenir de los estudios de opinión, la debilidad también se muestra con un alto componente comunicacional implícito (susceptible de ser resuelta por ejemplo, a través de una campaña de difusión).
Particularmente, en relación con la identificación de las debilidades, es siempre importante tener una mirada amplia que nos permita identificar todos aquellos aspectos que pudieran estar incidiendo en su aparición. Por otro lado, es importante también definir la debilidad en su justa medida, basándose en los datos disponibles y evitando exagerar los impactos que ésta tiene en el criterio en su conjunto.
* Aspectos Claves
Producto esperado: Presentación de los juicios evaluativos para ser expuestos en las Jornadas 1 y 2. Considerando que dichas jornadas son masivas, es recomendable realizar la presentación en Powerpoint separada por criterios, con los juicios evaluativos correspondientes por cada uno de ellos.
El Análisis Secundario: realización del análisis FODA
Para la realización del análisis FODA se contempla la ejecución de dos jornadas que convocan a diversos actores de la comunidad académica comprometidos con el mejoramiento de la carrera. Esta instancia constituye lo que llamaremos el Análisis Secundario. Para estas jornadas, el Comité de autoevaluación debe preparar y entregar a todos los participantes la documentación de base para el análisis, la que deberá ser leída para favorecer la discusión.
Considerando la naturaleza multi-sede de la Universidad y las distancias geográficas, estos encuentros deben ser preparados con mucho detalle de forma de sacar el máximo provecho por lo que es necesario revisar en detalle los pasos mencionados en el apartado 3.1.
Como se puede ver en el cuadro 3.2 en relación al programa de trabajo de las jornadas, es posible apreciar que existen tiempos destinados para la discusión de los criterios, con espacio para la exposición, la discusión y el desarrollo de conclusiones. Los criterios que serán expuestos en cada jornada han sido predefinidos para cada día en relación al número de aspectos a revisar para cada uno de ellos (ver cuadro 3.5). Es importante considerar esto en relación a los tiempos que se asignaran a cada uno de ellos en el programa de las jornadas.
Cuadro 3.5.
Después de la exposición de cada criterio se realizará una discusión acerca de los juicios críticos propuestos, con el fin de identificar aquellas Fortalezas y Debilidades que sean consideradas mas importantes y consensuar un juicio en conjunto que permita construir la Matriz FODA por cada criterio. Asimismo, durante las jornadas el coordinador del proceso irá recogiendo aquellos aspectos que se constituyen como Oportunidades y Amenazas para establecer una síntesis que será presentada en la tercera jornada. Para este efecto la VRAC ha desarrollado un documento que está incluido dentro de los materiales de trabajo, donde se pueden escribir las Oportunidades y Amenazas detectadas por criterio para su uso como documento de trabajo.
Durante cada jornada es importante promover que la discusión de los criterios de acreditación se realice en base a evidencias y datos que permitan dar consistencia a los juicios respecto a las fortalezas y debilidades. Asimismo, la jornada de autoevaluación debe ser un espacio participativo donde se logre realizar un diagnóstico en profundidad de los distintos aspectos que intervienen en la calidad de la formación que imparte la Carrera.
* Aspectos Claves
Productos esperados: Matriz FODA que será expuesta en la Jornada 3. Documento Síntesis de Oportunidades y Amenazas.
Jornada 3 : Plan deMejoramiento
Durante la Jornada 3 se desarrollan los proyectos de mejora que serán incluidos dentro del Plan de Mejoramiento.
El plan de mejora (PM) es un instrumento de planificación donde se programan acciones para resolver asuntos concretos identificados en la autoevaluación de la Carrera, en particular para cerrar brechas en las debilidades. Todo lo anterior en un marco de mejoramiento continuo.
El horizonte temporal del plan son 24 meses. Esto implica que en dicho plazo deben lograrse los objetivos. Para ello se establecen indicadores, metas, responsables y plazos específicos. La dirección de Escuela es la responsable de implementar el plan y la Dirección General de Aseguramiento de la Calidad de monitorear su estado de avance.
En una primera etapa se realizará una presentación de las fortalezas y debilidades identificadas en cada una de los criterios, con el fin de proyectar las áreas de mejora, así como una síntesis de las Oportunidades y Amenazas recogidas durante las jornadas anteriores. El programa de la jornada puede verse en el cuadro 3.6.
Cuadro 3.6
Con la Matriz FODA completa se identifican áreas de mejora que permitirán a su vez la definición de proyectos de mejora. Luego de identificados y acordados los proyectos de mejora se generan grupos de trabajo para cada uno de ellos. Cada grupo es el encargado de estructurar el proyecto definiendo objetivos, acciones e indicadores que serán representados en el documento final del Plan deMejoramiento incluido en el Informe de Autoevaluación.
* Aspectos Claves
Producto esperado: Proyectos demejora terminados.
3.3. La construcción del Plan de Mejoramiento
Posteriormente a la tercera Jornada, el comité de autoevaluación debe estructurar los proyectos de mejora presentados en la jornada en una matriz desarrollada por la VRAC, que se constituirá en el documento final del Plan deMejoramiento. El Plan de Mejoramiento es una instancia de planificación donde deberán participar principalmente el Director de Escuela, el Decano y el coordinador del Comité de Autoevaluación.
La matriz está constituida por un grupo de tablas donde se incluirán las definiciones principales de cada proyecto y los aspectos esenciales para su evaluación de logro posterior (ver cuadro 3.7).
Cuadro 3.7
El Nombre del Proyecto es una definición resumida del proyecto que permite identificarlo y difundirlo en términos comunicacionales. Los Objetivos representan las acciones a realizar para corregir la debilidad detectada y para qué o quiénes (impacto esperado). Se estructuran basados en dos principales aspectos: la definición del “qué” es lo que se va a realizar y “para qué” se desarrolla el proyecto. Esta estructura permite la mejor identificación del impacto y de las acciones relevantes a ejecutar.
Los Indicadores y/o verificadores permiten monitorear y evaluar el cumplimiento del objetivo. En el caso de esta matriz, se deben definir alrededor de tres indicadores como un modo de ser precisos y simplificar la tarea de la evaluación en relación al alcance del logro esperado. Para cada uno de estos resulta necesario especificar elmétodo o fórmula de cálculo, de tal modo que un posterior monitoreo permita evaluar adecuadamente su nivel de logro. En función del resultado de ésta fórmula se deben generarMetas Anuales para los años siguientes en término de valores esperados para cada año. Sobre el logro de estos resultados se hace la evaluación.
En relación con las Acciones Relevantes, se determinan aquellas que sean claves para cumplir el objetivo y se asignarán los responsables para el cumplimiento de cada acción y las correspondientes fechas de logro. Sobre esta planificación se realizará el seguimiento de los proyectos. En relación al financiamiento, se definirán los Items que requieran ser financiados y su valor total estimado. Cada item puede consistir en jornadas,materiales, equipamiento, honorarios profesionales, etc.
El Plan de Mejora final debe ser validado a su término por la Vicerrectoría de Aseguramiento de la Calidad en términos de que incluya todos los elementos descritos anteriormente y en un nivel acorde con los requerimientos de la evaluación para la acreditación.
* Aspectos Claves
Si el proceso actual es una Reacreditación: es necesario evaluar los avances del Plan de Mejoramiento anterior, hacer un análisis respecto de los aspectos logrados como de aquellos que no se consiguieron. Asimismo es necesario ver si proyectos anteriores serán retomados o si tienen un sentido en el contexto y la evaluación actual.
Producto esperado: Plan deMejoramiento terminado.
