Self-evaluation
AUTOAVALIAÇÃO NO PPGC
O planejamento estratégico do PPGC 2020-2024, alinhado com o Plano de Desenvolvimento Institucional (PDI) da UFSC 2020-2024, figura como instrumento essencial da definição do plano de autoavaliação do PPGC. O mecanismo da autoavaliação se pauta principalmente na coerência com a visão, a missão, os valores, os objetivos da proposta do programa e o perfil do egresso pretendido, ao mesmo tempo que possibilita revisão destes elementos a partir do resultado das discussões e avaliação participativa.
Alinhado com o exposto nestes documentos, a metodologia de autoavaliação do PPGC desenvolve-se a partir dos itens propostos no Documento Norteador da Autoavaliação da Pós-graduação Stricto Sensu da UFSC.
1. Sensibilização e Equipe
A sensibilização da comunidade para realizar a autoavaliação do PPGC deu-se em duas direções: (i) importância de estabelecer diretrizes para aperfeiçoar os processos pedagógicos e administrativos do Programa; e (ii) autoavaliação como componente da avaliação quadrienal pela CAPES no presente quadriênio (2017-2020). Assim, uma comissão para elaboração da proposta de metodologia de autoavaliação do PPGC foi designada, composta de representantes docentes, representantes discentes, representante dos egressos, representante dos servidores técnico-administrativos e representante da sociedade civil organizada.
2. Política de Autoavaliação
A partir da sensibilização da comunidade para a relevância da autoavaliação com vistas no aperfeiçoamento da gestão acadêmica e administrativa, o PPGC pretende desenvolver uma cultura de avaliação interna. Isso requer o compromisso de todos os envolvidos, desde a coleta dos dados, a análise quantitativa e qualitativa dos mesmos, até o repensar da proposta do programa. Sobretudo, implica vincular e contemplar nas estratégias e ações estabelecidas no planejamento estratégico do programa os pontos fortes e fracos observados na autoavaliação, de modo que com a avaliação e o debate se possa contribuir para a busca da excelência.
A política de autoavaliação que se pretende no programa é a que possa fornecer diretrizes para aperfeiçoar os processos pedagógicos e administrativos, o que implica um processo que compreende diversas etapas interligadas e com abordagem cíclica, que envolve: definição dos princípios; definição de qualidade para fins de avaliação; definição das abordagens de autoavaliação; definição dos indicadores e critérios; definição dos usos dos resultados; e definição da periodicidade da coleta de dados.
2.1. Definição dos princípios
O PPGC tem como principal objetivo da autoavaliação o seu desenvolvimento por meio da avaliação e monitoramento de indicadores relacionados ao desempenho. Em consonância com este objetivo, a autoavaliação no programa pauta-se nos seguintes princípios:
Participação – manter a atual prática de construir coletivamente os instrumentos e formas de avaliação com a comunidade acadêmica;
Legitimidade – sustentar uma metodologia participativa capaz de garantir a construção coletiva de indicadores adequados;
Identidade institucional – respeitar a cultura construída ao longo de sua existência;
Continuidade – tornar a autoavaliação um processo permanente, uma vez que seus resultados implicam mudanças de médio e longo prazos; e
Devolução – socializar os resultados da autoavaliação a toda comunidade, mantendo a privacidade e sigilo de informações que dizem respeito aos sujeitos envolvidos.
2.2. Definição de qualidade para fins de avaliação
A qualidade a ser aferida pelo processo de autoavaliação está ancorada no Documento de Área, da Área 27: Administração Pública e de Empresas, Ciências Contábeis e Turismo, publicado em 2019 pela Diretoria de Avaliação da CAPES, tendo especial atenção aos aspectos que se referem aos programas de natureza acadêmica.
No referido documento consta que “o foco da avaliação será a qualidade da formação de mestres e doutores, valorizando itens e quesitos que verdadeiramente discriminem a qualidade dos programas quanto à formação discente e à produção de conhecimento”. Isso implica em compromissos com a “qualidade da formação, geração de conhecimento e de articulação com a sociedade”, em linha com o contexto de atuação e especificidades da modalidade do Programa.
2.3. Definição das abordagens de autoavaliação
O PPGC concebe a autoavaliação como um processo contínuo de autoconhecimento, de reflexão, visando aprimorar a qualidade de ensino, pesquisa e gestão administrativa. Não se trata de uma avaliação para fins de dominação, classificação, punição ou premiação, mas de uma avaliação diagnóstica para fins de planejamento, revisão e orientação.
Importa que a avaliação seja um movimento articulado a paradigmas, de modo que possua uma estrutura simbólica capaz de integrá-la a cultura avaliativa da instituição, ampliando as possibilidades de compreensão sobre o mérito e o valor de um determinado elemento. Isso permite que os fundamentos da avaliação orientem os métodos, técnicas e a própria utilização dos resultados, de maneira que o processo seja compreendido de uma forma orgânica, organizada e, sobretudo, relevante.
A autoavaliação no PPGC deve proporcionar subsídios para que as escolhas institucionais sejam conscientes, de maneira que seja possível planejar e conduzir o projeto institucional, considerando a autoavaliação como um paradigma que permite compreender os objetivos do projeto institucional, as formas de ensino diferenciadas, as decisões, o comportamento do usuário, as responsabilidades da instituição e com a regulação, tal como a intervenção institucional no contexto econômico e de desenvolvimento sustentável.
Por sua natureza, a autoavaliação deve ter caráter multi-metodológico, utilizando diversos recursos para a coleta e tratamento de dados que permite a criação de oportunidades para ampliação da visão sobre a autoavaliação.
2.4. Definição dos indicadores e critérios
Visando manter a eficiência e eficácia dos serviços disponibilizados pelo PPGC, por intermédio de um sistema de avaliação multidimensional busca-se analisar e monitorar continuamente cinco dimensões e dez indicadores que considera-se essenciais para alcançar um programa de excelência. São eles:
Dimensão 1: Ensino e Aprendizagem. Indicadores: 1-EA-1 Adequação do conteúdo; 1-EA-2 Método de avaliação aplicado.
Dimensão 2: Internacionalização. Indicadores: 2-IN-1 Inserção local, regional e nacional do Programa; 2-IN-2 Política e iniciativas de internacionalização do Programa.
Dimensão 3: Produção científica. Indicadores: 3-PC-1 Qualidade das dissertações e teses; 3-PC-2 Publicações qualificadas do Programa.
Dimensão 4: Inovação e transferência de conhecimento. Indicadores: 4-IC-1 Repercussão da produção intelectual do Programa; 4-IC-2 Aderência da transferência de conhecimento à proposta do Programa.
Dimensão 5: Impacto e relevância econômica e social. Indicadores: 5-IR-1 Impacto econômico e social do Programa; 5-IR-2 Consistência das contribuições do Programa.
2.5. Definição dos usos dos resultados
Os resultados da autoavaliação servirão de referência para o aprimoramento do processo formativo, ou seja, servirão de suporte para o processo de melhoria contínua da qualidade do Programa.
As dimensões e os indicadores serão analisados e monitorados continuamente na condição de mecanismos de gestão, de maneira que mantenham os resultados positivos apontados e solucionem ou mitiguem os problemas encontrados nas avaliações negativas.
Os resultados da autoavaliação também servirão de insumo para o Plano de Desenvolvimento Institucional e o Plano Estratégico do Programa, tanto na sua construção quanto no seu acompanhamento periódico. Além disso, servirão de base para a completude do ciclo autoavaliativo, com o intuito da melhoria contínua do próprio mecanismo de aferição.
O instrumento de autoavaliação proporciona espaço para recepção de críticas e sugestões para o aperfeiçoamento do Programa, que serão levadas em consideração no processo de gestão. Além disso, a avaliação do docente pelo discente já está prevista no Regulamento Geral da Pós-Graduação Stricto Sensu e é um dos requisitos para recredenciamento docente.
Importante destacar que, apesar dos resultados da autoavaliação serem uma base relevante para a gestão, não devem ser usados para classificação, punição ou premiação, mas sim servir como suporte ao processo de tomada de decisão dos gestores, com vistas na melhoria contínua do programa.
2.6. Definição da periodicidade da coleta de dados
O PPGC definiu que anualmente seja realizada a coleta de dados relativa à Dimensão 1: Ensino e Aprendizagem e Indicadores: 1-EA-1 Adequação do conteúdo; 1-EA-2 Método de avaliação aplicado. Para as demais dimensões e respectivos indicadores a coleta de dados será realizada no final do segundo ano e no final do último ano do quadriênio de avaliação da CAPES. Dessa maneira, os anos de coleta geral e relatório serão 2020, 2022 e 2024. Após esse primeiro relato, se a comunidade do PPGC considerar necessário revisar o período de avaliação estabelecido, alterações podem ser realizadas na periodicidade de coleta de dados.
3. Implementação e Procedimentos
A implementação segue o proposto na política de autoavaliação do PPGC e vem sendo monitorada de forma que possam ser adotadas medidas que assegurem que, mesmo com mudanças, a autoavaliação consiga contribuir para a melhoria do Programa.
A percepção dos sujeitos participantes do PPGC quanto às dimensões e respectivos indicadores é aferida por meio de questionários. Esses são respondidos pelos discentes, docentes, gestores e técnicos-administrativos. Os questionários diferem para cada um dos segmentos do Programa e os formulários são enviados a toda a população por meio de plataforma eletrônica.
Os questionários são apresentados em escala Likert de cinco pontos, mensurados em termos de frequência de respostas e as duas últimas opções sem pontuação correspondente, nas opções Inexistente, Insuficiente, Suficiente, Muito Boa, Excelente, Desconheço e Não se Aplica. Além disso, campos abertos nos formulários são destinados para o caso de manifestações dos respondentes.
Além dos dados coletados via questionários e consulta informal à comunidade do PPGC, considera-se a pesquisa documental relativa ao programa, como o relatório Sucupira, e à instituição, como o PDI da UFSC, e o aproveitamento de dados já existentes, como avaliações passadas.
Com auxílio da secretaria do programa é construído um banco de dados contendo os descritores para as dimensões e respectivos indicadores. As questões fechadas são tabuladas com base na frequência das respostas. Para as questões abertas é realizada a categorização após sua transcrição.
A partir da análise dos dados é confeccionado um relatório preliminar que destaca os pontos fortes e fracos do Programa. Em reunião do colegiado são discutidas suas potencialidades e fragilidades e, em seguida, propostas melhorias e soluções para cada uma das dimensões analisadas. A partir desta caracterização são encaminhadas ações futuras e um relatório para divulgação.
4. Divulgação de Resultados
Atenção especial é dedicada à divulgação dos resultados da autoavaliação, principalmente quanto à tempestividade/ perecibilidade da informação e adoção de linguagem clara, objetiva e acessível ao público-alvo.
O coordenador tem acesso à avaliação de todos os docentes e esses tem acesso à sua própria avaliação referente a Dimensão 1: Ensino e Aprendizagem e Indicadores: 1-EA-1 Adequação do conteúdo; 1-EA-2 Método de avaliação aplicado. Já os resultados da avaliação do curso serão divulgados na reunião do colegiado PPGC.
Após a coleta e análise dos dados, para todos os segmentos será enviada mensagem com a devolutiva dos resultados. Além disso, com o propósito de feedback e feedforward pretende-se organizar a cada ciclo avaliativo um seminário em forma de evento com convidados internos e externos ao Programa.
5. Uso dos Resultados
O uso dos resultados é incentivado e monitorado. Visto que é participativo o processo avaliativo, parece ser natural a tendência de apropriação dos resultados, mas para isso os resultados efetivamente precisam ser úteis. Nesta perspectiva, a partir dos dados coletados é realizada a busca do sentido e do significado do que representam.
Após a concretização de cada período de avaliação participativa, será realizado um seminário com a participação de toda a comunidade do Programa para discussão dos resultados, uma autoanálise crítica e proposições. Esse processo favorece a realização de mudanças e da busca de alternativas para os pontos fracos observados, a partir do compromisso coletivo com as proposições para a melhoria do Programa.
Além de mudanças e alternativas interessantes que podem advir desse processo, a autoavaliação assim concebida pode fornecer importantes subsídios ao planejamento estratégico do Programa.
6. Meta-avaliação
A meta-avaliação é a etapa destinada para a comunidade avaliar a sistemática adotada pelo Programa em um determinado ciclo avaliativo, ajustando-a, caso necessário. A meta-avaliação no PPGC será adotada considerando a possibilidade de julgar o processo avaliativo, com elementos de natureza sistemática, a partir das condições de utilidade, viabilidade, adequação e precisão do processo.
Nesta etapa é fundamental contar com descritores. Isso se reflete em uma construção pautada na identificação dos interessados, na credibilidade do avaliador, no alcance e seleção das informações, na identificação dos valores, na agilidade da produção e disseminação das informações e no impacto da autoavaliação.
Para fins da meta-avaliação os descritores (sensibilização e equipe, política de autoavaliação, implementação e procedimentos, divulgação de resultados e uso dos resultados) serão agrupados em três etapas, como proposto pelo Grupo de Trabalho Autoavaliação de Programas de Pós-graduação, divulgado no site da CAPES, a saber: políticas e preparação; implementação; disseminação e uso dos resultados.
Ancorado nestas etapas que se completa o ciclo do processo avaliativo. A autoavaliação permite reflexões sobre as práticas utilizadas para alcançar os objetivos propostos, bem como a análise do cumprimento das metas definidas no planejamento estratégico. Por consequência, a cada novo ciclo de avaliação serão considerados os acertos e os equívocos do processo anterior.
