-
1
AVALIAO INSTITUCIONAL &
O desafio da implantao da cultura da autoavaliao
(Autoavaliao e CPA)
Temas: Criao de estratgias e metodologias para o trabalho das
CPA e a
Autonomia e influncias sobre o modo de atuao.
CLEVERSON TABAJARA VIANNA (Instituto Federal de Educao, Cincia
e
Tecnologia de Santa Catarina IFSC Mestre em Adminitrao)
[email protected]
RESUMO
Avaliar e julgar fazem parte do cotidiano. O processo de
avaliar, no ingnuo,
permeado no apenas por teorias, mas tambm por ideologias,
implicitamente uma
demonstrao de poder, com diversas variveis subjetivas, muitas
das quais incontrolveis no
processo de avaliao. O modelo brasileiro de avaliao
institucional no ensino superior, um
universo robusto e complexo de instituies, onde h colees de
exames intrincados e
classificaes transformadas em grandes eventos da mdia.
Envolvendo milhares e milhares de
estudantes, centenas e Instituies de Ensino Superior (IES), a
avaliao em cursos de
graduao no Brasil regulamentada pelo governo, e conduzida pelo
Conselho Nacional de
Avaliao Superior CONAES.O objetivo deste trabalho analisar e
detalhar a implantao do
processo de autoavaliao das Instituies de Ensino Superior no
Brasil, contribuindo
teoricamente na reviso do tema, evidenciando a cultura da
autoavaliao e trazendo tona as
principais dificuldades para a implantao das Comisses Prprias de
Avaliao e apresentando
os possveis pontos de contorno destas dificuldades, servindo
assim de subsdio sua instalao
e formao (contribuio prtica). Percorrendo a histria da avaliao e
trazendo o pensamento
de muitos autores, este trabalho revisita o campo e os fins da
avaliao institucional em suas
funes regulatrias e de aperfeioamento; valendo-se de uma
pesquisa bibliogrfica, descritiva
e qualitativa, utilizando o mtodo de levantamento de fontes
primrias e secundrias, como
relatrios, relatos, entrevistas e constataes do autor
(participante de CPA). Ainda com base
em experincias documentadas em artigos cientficos e ao direta do
autor na CPA, este
trabalho destaca os desafios e solues para a constituio das
comisses, fornecendo uma
contribuio prtica para a autoavaliao e CPAs. um tema fascinante
que gera mltiplas
discusses, e que adequadamente conduzido fornece informaes teis
para as instituies que
buscam a excelncia.
Palavras Chave: Desafios do Sistema Nacional de Avaliao do
Ensino Superior SINAES: Autoavaliao Institucional; Comisso Prpria
de Avaliao CPA.
-
2
1 INTRODUO
Contemplando aspectos formativos, punitivos, polticos e
repercusses sociais, a
avaliao institucional, percorreu um longo caminho at os dias de
hoje, perpassando
diversos conceitos apropriados das mais diversas reas
cientficas.
A avaliao do Ensino Superior no Brasil e o credenciamento das
Instituies de
Ensino Superior IES atribuio do Estado, atravs do Sistema
Nacional de Avaliao do Ensino Superior SINAES. A autoavaliao
entendida no SINAES como um processo cclico, criativo e renovador
de anlise e sntese das dimenses que
definem a instituio. O processo contnuo de auto-avaliao ser um
instrumento de construo e
ou consolidao da cultura de avaliao na instituio, em que a
comunidade
interna se identificar e se comprometer. O carter formativo
deve
possibilitar o aperfeioamento tanto pessoal dos membros da
comunidade
acadmica, quanto institucional, pelo fato de fazer com que todos
os
envolvidos se coloquem em um processo de reflexo e
autoconscincia
institucional (SINAES, 2004).
Formar uma cultura da autoavaliao nas Instituies de Ensino
Superior (IES)
um dos desafios do SINAES, pois o contexto geral da Avaliao deve
ser formativa e no apenas punitiva (descredenciamento). Assim
autoavaliao institucional, a qual faz parte do processo avaliativo,
deve preceder a avaliao externa (avaliadores do
MEC) e deve ser desenvolvida internamente atravs das Comisses
Prprias de
Avaliao CPAs envolvendo toda a comunidade escolar. No Brasil, o
ensino superior tem suas regras estabelecidas no Sistema
Nacional
de Avaliao do Ensino Superior (SINAES), onde os diversos
stakeholders1 atuam em
contnua interao: A comunidade acadmica com os discentes,
docentes e tcnicos,
clamando por seus espaos e a busca e manuteno do poder. A
sociedade, procurando a
integrao entre mercado de trabalho e academia, e tendo um
sistema gigantesco e
complexo como o ensino superior no Brasil, procura fazer a
distino entre as boas
IES e as de desempenho abaixo do conceito definido como mdia
quando surgem os diversos rankings cuja publicao pela imprensa um
grande evento. O Governo,
regulador e credenciador, estabelecendo megaeventos como o Exame
Nacional do
Ensino Mdio (ENEM)..
Iremos nesse trabalho detalhar e analisar a implantao do
processo de
autoavaliao das Instituies de Ensino Superior no Brasil
apresentando: a trajetria
histrica do processo de avaliao; evidenciar o desafio da cultura
da autoavaliao
entre os principais desafios iniciais
do SINAES (Quadro 1), includa
a a implantao da Comisso
Prpria de Avaliao CPA, apresentando dificuldades e
contornos da sua implementao.
A contribuio terica ser
evidenciada pela reviso das
principais literaturas no que tange
avaliao institucional e no
aspecto prtico o estudo contribui
com a descrio e anlise de
diversos fatores encontrados no
cotidiano da CPA, servindo assim
como preparo para esses desafios,
QUADRO 1 Desafios iniciais do SINAES
Ter como centro, a avaliao institucional.
Construir e integrar os instrumentos avaliativos nos diversos
nveis (Federal, Estadual e Municipal)
capacitando permanentemente os avaliadores.
Consolidar a CTA e as CPAS buscando uma integrao da comunidade
acadmica.
Buscar maior intercmbio e integrao com organismos internacionais
e o prprio Mercosul.
Administrar, controlar e regular cursos e instituies e observar
os princpios da democratizao do acesso e
permanncia do aluno na IES e as necessidades atuais
e futuras da nao.
Estabelecer um processo amplo, aberto e racional de avaliar a
avaliao.
Fonte: Adaptado do Manual SINAES-MEC (2008)
-
3
bem como podendo se servir das possveis solues adotadas em
outras IES que o texto
apresenta, sem perder de vista a relevncia do tema ao remeter o
estudo para os milhares
de alunos concluintes, nas centenas de IES do Pas.
Em Lima et al (2011,p.18) apresentado no III Seminrio de
Pesquisa
Interdisciplinar UNISUL, temos um ponto de vista a ser
considerado: Por entender que as IES so de natureza complexa,
ambgua e anrquica, e
que, em decorrncia deste contexto complexo, que se sugere a
realizao de
estudos que estejam voltados para o desenvolvimento metodologias
para
processo de construo da autoavaliao, de tal forma que, este
processo represente de forma alinhada os anseios e os desejos de
sua comunidade
acadmica e institucional.
A abordagem aqui apresentada do processo de autoavaliao
institucional, visa
no apenas atender ao paradigma funcionalista dominante, mas
trazer atravs da
vivncia e experimentao ao participar das CPAs, um novo paradigma
emergente, que
conecta-se ao pensamento complexo, mostrando as diversas nuances
que envolvem a
avaliao, que vo alm de uma simples classificao de
desempenho.
2 OBJETIVOS Este trabalho busca uma contribuio terica e prtica
para todos aqueles que
passam a se envolver com a Avaliao Institucional, especialmente
no que tange
autoavaliao. Apresenta uma rpida reviso terica sobre o tema,
apresentando um
histrico fora e dentro do Brasil, indicando suas origens e
principais focos de discusso.
A seguir apresenta a viso pratica da formao da CPA, seus
desafios e conquistas.
Tem como objetivo principal, evidenciar a importncia formativa
da CPA dentro
do contexto da avaliao institucional. Para tanto, apresenta trs
objetivos menores de:
Trazer discusso o referencial terico que trata da avaliao e seus
aspectos doutrinrios e histricos;
Evidenciar os aspectos conceituais na construo do processo de
avaliao institucional e da autoavaliao no Brasil;
Apresentar dificuldades e indicar possveis caminhos de contorno
na formao, atuao e resultados das CPAs.
3 METODOLOGIA Trata-se de uma pesquisa de natureza aplicada na
medida que indica processos e
caminhos que possam ser utilizada no dia a dia, com objetivos
descritivos e
explicativos, valendo-se do mtodo observacional comumente
utilizado pelas cincias
sociais: Por um lado, pode ser considerado como o mais primitivo
e, consequentemente, o mais impreciso. Mas, por outro lado, pode
ser tido como
um dos mais modernos, visto ser o que possibilita o mais elevado
grau de
preciso nas cincias sociais. (GIL, 2008, p. 16).
Vale-se do mtodo explicativo, na medida que aprofunda o
conhecimento da realidade porque explica a razo, o porqu das
coisas. (GIL, 2010, p. 28). Ainda em Gil (2008) vale-se do mtodo
documental, com dados primrios sem tratamento
(documentos oficiais) e secundrios que j foram pesquisados
(relatrios de pesquisas,
tabelas). tambm bibliogrfica na medida que se vale de materiais
existentes (livros,
revistas, artigos) e utiliza um pequeno questionrio
semiestruturado.
Ao valer-se de estudos anteriores, utiliza-se mtodo comparativo
ao ocupar-se da
explicao dos fenmenos e permite analisar o dado concreto,
deduzindo desse os elementos constantes, abstratos e gerais.
(LAKATOS; MARCONI, 2003, p. 107).
um estudo de caso, com a participao do autor na CPA, coleta e
analisa
informaes sobre o grupo, com o fim de estudar aspectos variados
que sejam objeto da
-
4
pesquisa. Yin (2005, p.28), ressalta que a utilizao do estudo de
caso torna-se adequada quando se pretende investigar o como e o
porqu de um conjunto de eventos
contemporneos. Sobre a forma de anlise dos dados, Godoy (1995,
p.33) afirma que com a
abordagem qualitativa possvel obter dados descritivos sobre
pessoas, processos
interativos, atravs do contato direto do pesquisador com a
situao a ser estudada; ainda afirma Godoy: Os pesquisadores
qualitativos esto preocupados com o processo e no simplesmente com
os resultados ou produto. (1995, p.63)
4 AVALIAO E AVALIAO INSTITUCIONAL (brevssima reviso)
4.1 Consideraes sobre o campo e sua abrangncia A avaliao ir
expressar as aes, atitudes e valores e tanto de indivduos,
quanto comunidades, ou a prpria cincia em si; se possvel dever
contemplar as suas
mltiplas dimenses e inter-relaes. Sempre produzir efeitos ao
longo do tempo,
sejam eles polticos ou pedaggicos. Uma parte importante da
avaliao se refere aos
testes aplicados, questionrios a responder e os resultados
obtidos esta o que chama-se de parte tcnica da avaliao; logo, medir
faz parte da avaliao, mas a avaliao no
se esgota na medio. Isto significa que no basta atribuir-se
notas, pesos e conceitos.
Sendo fruto da complexidade crescente da Sociedade, a avaliao
passou a partir
do sculo XVIII a ser estruturada visando estabelecer requisitos
de objetividade,
transparncia, legitimidade e seleo, apresentando muitos
significados polticos e
sociais; surge em 1808, o DIPLOME DU BACCALAUREAT GENERAL2. Com
a era da administrao cientfica surgiram os testes que atravs do
rigor e transparncia, deveriam legitimar saberes, profisses e
indivduos e definindo hierarquias de poder e
privilgios. (REED, 2012, p.61-97) e (CHIAVENATTO, 2008, Parte
1). Iniciada com
Tyler e Merton (1940-1950) a avaliao adquire aspectos
quantificveis e no final dos
anos 90 torna-se uma indstria profissionalizada com revistas,
prmios, convenes e padres. A qualidade da avaliao geral tambm
aperfeioada atravs da contribuio das demais cincias como
psicologia, filosofia, etnografia, fenomenologia,
antropologia social, etc. ; docimologia3, psicometria4,
edumetria
5, bibliometria
6, passam
a fazer parte das medies.
Em 1965 o presidente americano Lyndon Johnson e o Senador Robert
Kennedy,
estabelecem nos Estados Unidos a Lei sobre Educao primria e
secundria
formalizando a avaliao. Os anos de 60 marcaram pela crena de que
os conflitos
sociais, a pobreza e outras mazelas, seriam resolvidos com
investimentos macios nas
polticas sociais. A crise mundial do petrleo (1973) acelera a
emergncia do
neoliberalismo tendo seus expoentes em Reagan e Tatcher e,
surgem os profundos
cortes nos programas sociais e na educao7. A partir da o mercado
o rei,
valorizando a competncia, as habilidades, a eficincia e provendo
a accountability8;
prolifera a padronizao de testes e mesmo de currculos,
permitindo a imediata
comparao e exames de abrangncia nacional e facilitando o aspecto
regulatrio do
Estado (accreditation9).
O financiamento de programas sociais, associados aos organismos
estrangeiros
de fomento, estavam todos impregnados pelas demandas de mercado,
da
empregabilidade e da competitividade mundial, representando
certamente o interesse
dos pases frente destas entidades, gerando a dominao
econmica-ideolgica e o
Estado Avaliador. Foram surgindo ento as fundaes, os cursos de
curta durao, a
terceirizao e estabelecidos dezenas de indicadores relacionando
despesas/PIB, crdito
por nvel de ensino, taxas de acesso, despesas por aluno, relao
alunos/professor, etc. A
-
5
avaliao de um modo geral, se especializa e passa a ser
importante instrumento que
valida (ou no) as transformaes (e medidas impopulares)
promovidas pelo governo,
quase sempre aplicadas, produzidas e interpretadas pela
tecnocracia de planto. Ao recolher e sintetizar evidncias, o
processo avaliativo uma investigao
aplicada visando coletar e sintetizar as evidncias e provendo
concluses sobre a
situao em que se encontram os assuntos, o valor, o mrito, o
significado, ou qualidade
de um programa, produto, pessoa, poltica, proposta, ou plano. o
aspecto de valor que distingue a avaliao de outros tipos de
investigao, tais como a pesquisa cientfica
bsica, epidemiologia clnica, jornalismo investigativo, ou mesmo
pesquisas.
(Fournier10
, 2005, p.140) apud (Patton, 2008, p.4).
Neste perodo, praticamente desaparece a avaliao formativa,
construtora de
relaes e ilaes e que gera a autonomia do pensar; em seu lugar se
estabelece o
controle pela avaliao e atende-se ao modelo produtivo de
mercado, o qual passa a
dominar o pensamento da academia e sua pedagogia.
4.2 A linha do tempo A seguir apresenta-se um resumo
histrico-bibliogrfica:
QUADRO 2 - Autores e os seus conceitos centrais relativos
avaliao.
Autor Temas centrais 1950 - Ralph Tyler
A avaliao est sempre associada a objetivos.
Avaliao um processo para determinar at que ponto os objetivos
educacionais
foram realmente alcanados.
1963 - Cronbach
A avaliao deve produzir dados que servem Gesto
O juzo a ser emitido est intrinsecamente ligado aos indicadores
selecionados.
Avaliao a coleta de informaes com vistas tomada de decises
1969 - Stake
Tem como objetivo identificar no Objeto: Substncia; Funo e
Valor
Tem como propsitos: Descrever, mritos e demritos
Tem como consequencias: Identificar causas/efeitos; Tirar
concluses; Prever o
futuro
1981 Join Comitee on
Standards for
Evaluation
Definio predominante comit (conjunto de Univ. americanas):
Carter investigativo
Natureza sistemtica
Objetos tem valor intrnseco e de mercado
Investigao sistemtica do valor e do mrito de algum objeto
1983 Evaluations Models
Daniel Stufflebeam
OBJETIVOS:
Julgar o valor (que mutvel) e est no domnio do prprio objeto e
de quem o
estuda.
Estudo orientativo para decises.
USO: Proativo (aperfeioar) e retroativo (julgar) ; Deve servir
de prestao contas e
atribuio de responsabilidades
UTILIDADE: Formativa (interfere no processo) e somativa
(resultado)
Avaliao educacional o estudo concebido e conduzido para ajudar o
publico a julgar e aperfeioar o valor de algum objeto
educacional
1986 Stephen Kemmis
um processo de legitimao poltica na medida que no estabelece
verdade e sim
abre a participao do grupo no debate.
Avaliao o processo de reorganizao de informaes e argumentos que
permitam aos indivduos ou grupos participarem do debate critico
sobre programas
especficos.
1989 Guba e Lincoln: Fourth Generation Evaluation
No existe maneira correta de definir, pois isto impor um cenrio
(compreenso
da realidade) o que congela procedimentos e objetivos.
uma construo mental no havendo importncia se corresponde ou
no
realidade.
1991 Michael Sriven
Avaliao: O processo avaliativo determina o valor ao invs de
estud-lo.
avaliado pelo que se constri a partir do que encontrado.
Ao Avaliar, ajusta ao molde aquilo que encontra e difere da
Mensurao que tem apenas natureza descritiva
-
6
CONCEITOS EM DESTAQUE
DAVID NEVO
Joint Comitee
Investigao sistemtica do valor e do mrito de um objeto
Avaliador deve emitir juzos, no existe uma neutralidade deste. H
um valor intrnseco da organizao.
CRONBACH
Stanford Evaluation
Consortium
Conduzir um estudo sistemtico do que ocorre com a instituio com
o objetivo de
melhorar e instrumentalizar outros programas e instituies.
O avaliador no tem o papel de Juiz.
Michael Quinn
Patton
Utilization-Focused Evaluation
Caractersticas: Mtodos qualitativos; Avaliao formativa; Promover
discusso
com os interessados (stakeholders)
Como definimos avaliao e que nome dar a uma avaliao especfica so
questes que precisam ser discutidas, classificadas e negociadas. O
que no
negocivel que a avaliao esteja baseada em fatos, intencional e
sistemtica
NO BRASIL
Jos Dias Sobrinho
Um empreendimento sistemtico que busca a compreenso global da
universidade, pelo reconhecimento e pela integrao de suas diversas
dimenses
Isaura Belloni a) Preocupao com o processo educacional da
avaliao como meio para o
despertar da conscincia.
b) Processo constante de negociao em todas as fases (deciso,
implementao e
uso dos resultados).
Avaliao institucional... um empreendimento que busca a promoo da
tomada de conscincia sobre a instituio Ver artigo em EDUCACIN
SUPERIOR y SOCIEDAD - VOL 5 N 1 y 2: 51-70,
1994 - Proposta de avaliao institucional da Universidade de
Braslia
Fonte: Jos Dias Sobrinho e Dilvo Ristoff (2002, p.21 -31)
As universidades, ao longo dos anos perdem seu conceito como
centro de
pesquisa, cincia e saber, assumidos pelo mercado. O
enriquecimento cultural da humanidade: Ao lado das duas finalidades
bsicas11 a reforma da universidade brasileira
no pode perder de vista a finalidade complementar de ser
instrumento do
enriquecimento cultural de toda humanidade. (BUARQUE, 2005,
p.24) Boaventura de Sousa Santos (2004) nos recorda do papel da
Universidade e de
como ela se colocou a servio da injustia social. ... Ou seja, a
injustia social, contem no seu mago uma injustia cognitiva.
Isto particularmente bvio escala global j que os pases
perifricos, rico
em saberes no cientficos, mas pobres em conhecimento cientfico,
viram este
ltimo, sob a forma da cincia econmica, destruir suas formas
de
sociabilidade, as suas economias, as suas sociedades indgenas e
camponesas,
o seu meio ambiente12
. (SANTOS, 2004, p.76)
O neoliberalismo conduziu a universidade diretamente para o
mercado e
produo, onde o sucesso pessoal, a formao tcnica, a busca da
eficincia funcional, e
dos resultados imediatos fortaleceu ainda mais o paradigma
dominante. Deve a
universidade apenas produzir indivduos especialistas para o
mercado, ou tem algo mais
substantivo a ser considerado? Ao voltar-se para a sociedade e
para o indivduo, a
universidade deixa de olhar apenas a tcnica e a cincia e, passa
a apreciar toda a vida
humana em sua forma substantiva: Uma teoria da vida humana
associada substantiva quando a razo, no sentido substantivo, sua
principal categoria de anlise Ramos (1989, p.26). Mas a
universidade pblica, submissa e dependente dos aspectos
econmicos se curva fora das ideologias e paradigmas: Assim, os
indivduos conhecem, pensam e agem segundo os paradigmas inscritos
culturalmente neles. Os
sistemas de ideias so radicalmente organizados em virtude dos
paradigmas. (MORIN, 1991:188).
4.3 Avaliao no Brasil A avaliao apresenta incontveis nuances e
vrios caminhos, mas a aparente
nobreza deste processo est no fato de transform-la em algo til
ao aperfeioamento;
quando colocada neste contexto, ela deixa de ser punitiva,
classificatria ou um premio,
-
7
para ser formativa, fornecendo subsdios
para a evoluo da IES. Ao servir a
comunidade, a universidade tende a
buscar a excelncia na produo,
sistematizao e democratizao do saber,
e neste caso o papel principal da
avaliao institucional deve ser o de
conduzir ao aperfeioamento constante
dos empreendimentos humanos. Para
Merion Bordas (1994) a universidade,
deve gerar respostas efetivas aos
problemas mais concretos que sufocam a
sociedade.
Quatro aspectos envolvem a
avaliao: a preocupao com a tomada
de conscincia sobre a instituio; o seu papel como instrumento
aos tomadores de
deciso; o carter formativo e de aperfeioamento individual e
institucional;
participao coletiva em todo o processo avaliativo (Isaura
Belloni, 1980, 1995). Neste
processo avaliativo, coletar dados, para Dborah Founier (1995)
papel fundamental do
avaliador.
H em toda avaliao uma evidente demonstrao de poder e cada
pergunta formulada no ser jamais inocente; de se supor que sempre
tenha a intencionalidade
de fixar valores.
4.4 SINAES Neste inicio da apreciao do tema, apresentam-se
algumas das mais importantes
caractersticas, pois as discusses sobre avaliao no Brasil
passaram por diversas
etapas e culminaram (2003) com o SINAES, o qual representava o
modelo conceitual
dos debates da poca (Quadro 2), sobre o tema avaliao, embora a
partir da sofra a
influncia forte dos preceitos utilitaristas afirmados com a
legislao. Sua gesto pela
Comisso Nacional de Avaliao da Educao Superior CONAES constituda
por 13 membros, dos quais cinco representantes de rgos
governamentais (INEP, CAPES,
MEC), cinco indicados pelo ministro da Educao e trs
representantes da comunidade
acadmica.
Alm da avaliao externa o sistema prev a avaliao interna ou
autoavaliao
que dever anteceder externa. Estas avaliaes so conduzidas
internamente por uma
comisso autnoma em relao aos conselhos e colegiados internos,
chamada CPA
(Comisso Permanente de Avaliao).
4.5 Indicadores Educacionais Algumas siglas muito conhecidas,
representam os indicadores entre os quais,
trazemos alguns ligados diretamente ao tema:
Enade - leva em conta a nota dos ingressantes e concluintes nos
cursos de graduao. Composto de prova dos alunos e os questionrios:
a) de impresses
dos estudantes sobre a prova; b) socioeconmico; c) do
coordenador do curso.
Veio a substituir o Provo que existiu de 1996 a 2003.
O Enade aplicado todos os anos a parte das graduaes do pas e os
cursos so
avaliados a cada trs anos.
IDD (Indicador de Diferena entre os Desempenhos) procura mostrar
o quanto a IES contribuiu para a formao do aluno, buscando isolar o
efeito ingresso.
FIGURA 1 - Avaliao das IES
Fonte: Adaptada dos Instrumentos de Avaliao
do Roteiro de Avaliao do MEC-INEP-
CONAES (publicado a partir de 2004)
-
8
CPC (Conceito Preliminar de Curso) um indicador que
considera diversos aspectos:
alunos, docentes, a infraestrutura
e prticas pedaggicas.
H que observar que os
ranqueamentos produzidos pelo
ENADE, embora tenham seus efeitos
pirotcnicos fascinantes, no trazem
fidelidade aos preceitos avaliativos
bsicos, neles includos o orientativo e
formativo; a nota do ENADE deve ser
sempre parte de um sistema global.
4.6 Autoavaliao e CPAs Um dos primeiros passos para o
interessado inteirar-se no tema
especfico da autoavaliao ler o Roteiro de Avaliao do
MEC-INEP-SINAES, o
qual inicia com a autoavaliao dirigindo-se aos professores,
estudantes e tcnicos,
encontraremos as diversas consideraes, recomendaes e normativas
relativas ao
tema. Roteiro e Diretrizes: Inicia o documento, recordando os
princpios do SINAES
(RISTOFF, 1994) e os seus instrumentos (Figura 2). A seguir o
manual, considera as
caractersticas do processo avaliativo o qual deve ter o carter
formativo, visando
sempre o aperfeioamento dos agentes. Naturalmente para que isto
possa ocorrer
fundamental a participao efetiva da comunidade interna gerando a
autoavaliao e
avaliao externa, produzida pelos avaliadores externos.
A incorporao destes processos e mtodos de Avaliao vida da IES
tende a
produzir conhecimentos, identificando pontos fortes e fracos e
servido para questionar
as causas dos problemas. Enquanto as dificuldades so vencidas,
aumenta a capacidade
tanto dos docentes como os tcnicos e proporciona um aumento da
conscincia
pedaggica. Presta contas sociedade a qual em conjunto julga a
relevncia social das
atividades e produtos daquela instituio de ensino superior. Essa
instituio, enfrenta
uma crise de legitimidade, porque a prpria condio do
conhecimento como bem social
questionada, pela incorporao da lgica de mercado a mltiplos
aspectos da vida
social (Barreyro, 2003).
H que destacar o conceito de avaliao interna, explicitado no
documento, para
o qual cabe leitura, releitura e reflexes: A avaliao interna um
processo contnuo por meio do qual uma
instituio constri conhecimento sobre sua prpria realidade,
buscando
compreender os significados do conjunto de suas atividades para
melhorar
a qualidade educativa e alcanar maior relevncia social.[...]
um processo cclico, criativo e renovador de anlise, interpretao
e sntese
das dimenses que definem a IES. (SINAES, 2008)
Para empreendimento de tal monta, muito empenho, constncia e
esforos sero
necessrios, tanto na PREPARAO, DESENVOLVIMENTO e CONSOLIDAO
do
processo; neste aspecto alguns requisitos so fundamentais como:
A Coordenao; a
participao efetiva da comunidade; o compromisso dos Dirigentes;
validade e
confiabilidade de mtodos e o uso efetivo dos resultados.
A avaliao interna composta de quatro dimenses e dividida em
ncleos
representativos, que permeiam estes eixos; assim cada eixo
Ensino, Pesquisa, Extenso
e Ps Graduao apresentam ncleos bsicos, optativos e documentos a
serem gerados.
FIGURA 2 - Objetivos da Autoavaliao
Fonte: Adaptado do Roteiro de Avaliao do
MEC-INEP-CONAES (SINAES, 2004)
-
9
5 RESULTADOS E DISCUSSOES
5.1 Comisso Prpria de Avaliao Fases de ao O primeiro passo a
criao da CPA a qual cabe ao dirigente mximo da
Instituio (Reitor) estabelecer a relevncia do tema e promover o
esprito de
necessidade e urgncia. Criar a massa crtica, promover, apoiar e
nomear a comisso
fundamental. Seu interesse deve ser manifestado no apenas na
criao da CPA, mas no
acompanhamento de suas atividades e no provimento dos meios para
sua efetiva atuao
local fsico, atribuio de tarefas, suporte tcnico, capacitao,
etc. Os objetivos das CPAs so decorrentes dos objetivos da
autoavaliao: Avaliar a
sua Instituio de forma Global e Integral, estabelecendo todo o
seu cronograma de
eventos e atravs deles verificar a aderncia das atividades
exercidas com a misso e as
polticas institucionais estabelecidas; promover a prtica
institucional da avaliao
como um mecanismo de melhoria de qualidade da instituio fazendo
com que se tenha
a participao efetiva da comunidade acadmica. Uma de suas tarefas
iniciais
regulamentar seu funcionamento, aprovando este regulamento nas
instancias superiores
(na internet voc vai encontrar diversos regimentos internos de
CPAs).
Recorda-se neste momento um dos princpios basilares da avaliao,
que a
autoavaliao, quando em PRINCPIOS do PAIUB13 (RISTOFF, 1994): O
que se busca,
repito, a instalao da cultura da avaliao para que se perceba
diuturnamente a
importncia da preocupao com processos e resultados. (grifo
nosso). Para atingir estes objetivos maiores, necessria uma
preparao, pois contar
com o acaso bastante temerrio, desta forma a fase preparatria
envolve inmeras
tarefas, entre as quais o conhecimento de todo este processo,
como descrito neste artigo.
Outro fator a capacitao tcnica no que se refere aos requisitos
tcnicos para
elaborao de questionrios, disponibilizao, tabulao e interpretao
de dados. Quase
sempre o conhecimento estatstico importante, o uso de
ferramentas para gerao de
grficos e uso de softwares para elaborao de questionrios.
Outra fase organizar os materiais disponveis, planejar e
divulgar os eventos e
promover todos os meios de sensibilizao da comunidade acadmica
(folders,
apresentaes, jornais internos, manuais, etc.). Os cuidados na
elaborao dos
questionrios so extremamente relevantes, visto que no podem ser
excessivamente
longos a ponto de cansar o pesquisado, nem curtos em demasia,
deixando lacunas nos
objetivos a serem alcanados.
Chega-se ao momento de pico das atividades externas, onde todo o
planejado
colocado em ao para a comunidade coleta dos dados. Depois dos
ensaios, da preparao, do samba enredo necessrio colocar a escola na
avenida, e so momentos cruciais, onde no se pode atravessar o
samba, nem perder o ritmo e o timing; ou seja, os formulrios
eletrnicos vo ser acessados ou os em papel sero preenchidos. Cada
local, cada curso, cada sala de aula dever ser acompanhada e as
dvidas devem ser dissipadas pela comisso em tempo real,
significando que tudo esteja
bem planejado e em cada local se possa ter pessoal capacitado
para apoiar os eventos.
coleta de dados seguir-se- a analise e consistncia de dados
procedendo-se
aos relatrios parciais e relatrios de fechamento. Dados
interpretados e unidos aos
demais instrumentos vo gerar as informaes a serem analisadas.
Chega-se assim ao
detalhamento do processo avaliativo interno com a elaborao dos
manuais,
apresentaes e demais documentos, inclusive os relatrios finais
que serviro para
alimentar o site do MEC (com vistas avaliao externa).
-
10
Para que atinja seus objetivos temos a sua consolidao, o debate
a ser
promovido, ou seja o processo crtico interno a cada campus, cada
curso, cada funo,
cada local, com vistas a melhoria de qualidade, apropriando este
conhecimento para a
cultura da organizao.
5.2 CPAs Formao e Estruturao
5.2.1 Constituio e Autonomia No aspecto inicial, da constituio
da CPA, o principio da autonomia da
comisso, pode esbarrar em algumas dificuldades polticas e
disputas de poder, uma vez
que a comisso avalia aspectos docentes-pedaggicos e tambm a
gesto; atuar com
autonomia, no necessariamente significa independncia, pois
depender sempre a CPA
de toda uma infraestrutura proporcionada pela alta administrao.
Isto poder
transparecer em alguns momentos como uma troca de favores,
prejudicando
sobremaneira os objetivos maiores.
O outro aspecto constitutivo se refere representatividade (e
legitimidade) da
comisso, o que significa que no basta uma indicao inicial dos
membros, preciso um processo aberto que permita sensibilizar e
trazer tona o processo poltico que
venha a estabelecer os representantes (docentes, tcnicos e
estudantes). A sensibilizao
ir se valer dos diversos meios disponveis, mas todos aqueles que
convivem no
ambiente acadmico sabem das dificuldades para a alocao de
eventos que no sejam
diretamente ligados ao ensino; desta forma, professores
interessados e com
disponibilidade de tempo, tcnicos capacitados e disponveis e
mesmo alunos, tero
muita resistncia em deixar sua zona de conforto se no existir um
real envolvimento de
todos.
As discusses em reunies e o contraditrio que iro gerar o
volume
motivacional, devendo-se abrir espao para que elas existam e
procurando a
conciliao, com uma agenda mnima consensual.
5.2.2 Aspectos formativos O conhecimento conceitual sobre
Avaliao da comisso, com a leitura dos
diversos materiais (tal como este trabalho), condio sine quae
non para que seja vista
como um eficaz instrumento para o aperfeioamento
institucional.
Alm do cenrio interno na Instituio, outros estudos14
se referem, o
distanciamento do CONAES e outros organismos das comisses
prprias de avaliao
das instituies, ou seja, os avaliadores externos, so formados,
capacitados, avaliados e
remunerados externamente, o que no ocorre com os avaliadores
internos.
Ao final do processo interno de autoavaliao, os relatrios finais
produzidos
so encaminhados ao rgos externos competentes (postados via
upload), mas
permanece o distanciamento, no existindo qualquer feedback sobre
o documento. Em
resumo h evidencias de um dilogo insuficiente entre CPAs e
CONAES-INEP, no
apenas com o feedback final, mas inclusive sobre as diversas
publicaes, notas
tcnicas, normativas, etc. Ou seja, da parte do governo, a
implementao de
mecanismos de comunicao tais como redes sociais, emails,
comunicaes para as
CPAs inexistente, embora fcil de ser implementada, especialmente
considerando os
recursos proporcionados pelo sistema BASis15
.
Outro ponto de fragilidade o aspecto formativo-tcnico dos
membros da CPA
que deve iniciar com a familiaridade dos princpios e conceitos
do SINAES, e a seguir
com o apoio tcnico das TICs (Tecnologias de Informao e
Comunicao) para a
elaborao de questionrios, documentos, tabelas, grficos,
relatrios, etc. onde
geralmente falta gente habilitada tanto na captao, publicao,
anlise, estatstica e
-
11
produo de materiais internos ou mesmo no caso de existncia
destas pessoas, elas
esto sem disponibilidade adequada.
5.2.3 Inexistncia da Cultura de autoavaliao institucional Tambm
h que ressaltar que a inexistncia da cultura de avaliao nas IES
deixa uma grande lacuna, quando se trata de documentos relativos
ao processo,
inclusive a precariedade dos disponveis (inclusive PDI e PPI)
gerando um ciclo
vicioso.
Decorrente de obrigatoriedade legal, dos conflitos de poder, ou
de
incompetncia tcnica e formativa da comisso, inexiste muitas
vezes as condies
mnimas de trabalho, envolvendo espao fsico, logstica, estrutura
e materiais,
equipamentos e condies de trabalho. Observe que embora os
membros da CPA
possam ser transitrios, importante que estas condies de
funcionamento persistam
ao longo do tempo, criando as condies para a transmisso do
conhecimento e
incorporao cultura da empresa; ou seja, preciso que tenham
mesas, cadeiras,
computadores, arquivos onde possam permanentemente se
reunir.
Alie estes fatores resistncia a mudanas e inrcia para movimentar
as IES
devido aos entraves legais, e ento teremos um grande
desafio.
5.3 Autoavaliao um grande desafio Para se chegar autoavaliao
preciso ter a clareza do que a avaliao e do
que avaliao externa: Como visto anteriormente a avaliao consiste
num processo
sistemtico e estruturado de revisar o existente determinando seu
valor e decidindo o
que deve ser mudado ou melhorado. Neste caso, temos dois grupos
de processos, os
externos e os internos ou autoavaliao.
A avaliao externa independente e feita por algum externo
instituio,
normalmente uma comisso de avaliadores, e que avalia todo o
conjunto institucional de
acordo com parmetros e objetivos estabelecidos externamente (de
conhecimento do
avaliado) e que quase sempre tem carter coercitivo. A
autoavaliao um processo reflexivo interno, onde um grupo
avaliativo
interno define os propsitos (imediatos, mdio e longo prazo) do
trabalho, definem
como o trabalho ser feito, quem estar envolvido e como utilizar
os resultados obtidos.
Quase sempre tem um carter formativo. Segundo A Guide to
Self-Evaluation, surgem as perguntas bsicas devem ser respondidas:
O que estamos fazendo? Estamos de acordo com aquilo que nos
propomos fazer? Como melhorar o que
fazemos? (Clarke, 1996, p.1) Traduo nossa.
No fluxo (Figura 3) a avaliao
externa dever ser precedida pela
interna e a CPA que efetiva o
processo avaliativo interno; mas acatar,
analisar e melhorar o que se faz, deve
ser um esforo constante e repetido da
instituio como um todo.
5.4 Desafios passo a passo.
5.4.1 Passo 1 - Planejar No passo que o planejamento
natural que quando voc saiba o
porque est sendo feita a avaliao
FIGURA 3 - O processo de autoavaliao
Fonte: Adaptado de MEC/INEP e Clarke
(1996, p.5)
-
12
seja muito mais fcil concordar sobre o que deve ser avaliado.
Mas na realidade o que
acontece que muitas vezes o objetivo, o porque no claro, uma vez
que o conflito de interesses dos diversos stakeholders usual.
Embora avaliar seja parte de nossa rotina, autoavaliar incomum
pois significa refletir sobre as prprias aes, reconhecer as
limitaes e quase sempre isto
doloroso; ento a primeira dificuldade reconhecer as limitaes e a
segunda e maior
ainda estabelecer o que deve ser mudado, pois isto requer esforo
e honestidade.
improvvel que se possa conquistar uma posio melhor e perene,
fortuitamente, quase sempre necessrio empenho, esforo e
constncia.
Observa-se que o planejamento e especialmente o cronograma que
no
contempla algumas folgas, ou um coeficiente de segurana,
comumente fadado ao insucesso, porque durante o processo, os
membros da equipe so solicitados a tarefas
fora da CPA e que fazem parte do dia a dia da instituio. Como a
funo na CPA no
perene, do conhecimento do participante que poder atrasar suas
obrigaes na CPA
toda vez que for solicitado para atuar em outra atividade que
faz parte da rotina da IES.
Outro ponto desafiador a natural resistncia s mudanas e neste
caso, uma das fontes importantes para orientar as organizaes nas
mudanas, Harvard, com os 8
passos de Koter (2012) conforme observa-se no Quadro 3.
Para colocar em movimento toda a estrutura organizacional em
torno da avaliao quase sempre requerido um esforo, para deixar
claros os valores e objetivos
e compartilh-los com a instituio, visando minimizar situaes
pontencialmente
problemticas como:
Alm dos processos institucionais regulares da IES, outro fator
que drena o potencial humano disposio da CPA, so as necessidades
particulares de cada
membro que devem ser atendidas, tais como capacitaes, cursos
internos e externos,
programas de ps-graduao (especializao, mestrado e doutorado) que
comumente
requerem dedicao e tempo e que muitas das vezes representam uma
retribuio
financeira futura da qual o servidor/colaborador no ir abrir mo.
Divulgar e tornar
pblico estes cronogramas, datas limite, recursos envolvidos pode
ser um bom fator
para desencadear o processo de forma clara e evitar desculpas
como desconhecimento e/ou no fui avisado disso.
Olhando para aos aspectos organizacionais, temos a estrutura da
gesto da IES,
papis e atribuies, responsabilidades, processos de tomada de
deciso, eficincia e
eficcia, comunicao, uso de recursos, planejamento participativo
e efetividade das
decises tomadas e, todos so tpicos que podem vir tona, toda a
vez que se fala em
avaliao pois esto ligados
diretamente ao poder, da que pode surgir o conflito entre
a administrao da instituio e
a equipe que implementar o
processo avaliativo interno.
Dentre estes conflitos pode ser
citado:
A equipe ajudar a mostrar os pontos fracos da gesto
atual o que pode no ser
adequado especialmente se
tratando de cargos diretivos
eletivos.
QUADRO 3 - Passos de Kotter para liderar as mudanas
Em seu livro liderando a mudana, Kotter enumera oito pontos,
apresentados aqui de forma sucinta:
1. Estabelea um "senso de urgncia" (crise sinal de
oportunidade);
2. Crie uma coalizo administrativa forte; 3. Desenvolva uma Viso
de Futuro e Estratgia; 4. Comunique-se exaustivamente apresentando
uma Viso
das Mudanas (exemplifique); 5. D poder aos envolvidos (remova
obstculos); 6. Realize conquistas a curto-prazo (vitrias
imediatas); 7. Consolide os ganhos e vitrias e divulgue-os;
8. Estabelea novas metodologias na organizao (integrar cultura
organizacional)
Fonte: Kotter (1997, 2012)
-
13
Decorrente do temor ocasionado pelo item anterior poder
inexistir qualquer apoio
logstico ao processo e equipe; lgico que o escalo superior no
queira dar
munio a quem vai deton-los. So comuns:
No ter apoio logstico: Sala, materiais, equipamentos;
No liberar os componentes das tarefas pr-existentes, fazendo com
que a participao no processo seja um encargo adicional e
desgastante, prejudicando o
desempenho regular do envolvido.
No proporcionar suporte tcnico adequado: Tecnologia da informao
e Comunicaes, estatstica, softwares, etc.
Desinformao o que produz conflitos entre as diversas reas da
instituio (cursos, departamentos) e a CPA e muitas vezes gerando
conflitos internos na prpria
equipe.
Embora a conduo do processo seja pela CPA (interna), esta poder
necessitar
de recursos externos, e pessoas, tais como especialistas no
preparo de formulrios,
questionrios, tabulao de resultados e estatstica, editorao e
impresso, etc. A no
liberao destes recursos implica na prtica na fragilidade da
equipe, falta de
confiabilidade dos resultados e na aniquilao do processo.
Falta de habilidade do presidente da comisso em apresentar os
dados de forma isenta e imparcial. Apresentar os dados comprovados
fundamental; a avaliao no
pode prescindir de dados fidedignos.
Falta de interesse dos componentes da equipe uma vez que foram
designados arbitrariamente para tal.
Falta de habilidade da CPA e transmitir os valores e objetivos
da Instituio e de como os resultados da avaliao podem conduzir a
IES a patamares mais elevados.
Maior interesse da administrao no ranking representado pelo
provo que na evoluo da IES; o que significa: Do ponto de vista
interno, investir o mnimo
suficiente para manter o credenciamento da instituio e do curso
e investir apenas
no preparo da grande prova dos alunos, a qual detm toda a ateno
da mdia o marketing. Dir-se-ia mais que isso, o TER sobrepujando o
SER, quando os dois poderiam estar aliados; a aparncia vencendo o
real. No caso das IES pblicas
governamentais e especialmente as Federais, esta situao adquire
outras
conotaes, uma vez que o descredenciamento quase que impraticvel.
Neste caso a comisso de avaliao interna (CPA) tem apenas papel
Figurativo.
Felizmente esta ideia de apenas aparncia praticamente
inexistente nas IES pblicas.
Falta de clareza por parte da CPA dos valores, objetivos e da
metodologia a ser aplicada e que estes possam refletir a tica
organizacional.
Existe aqui o pressuposto de que os objetivos maiores da avaliao
interna
dentro da IES sejam formativos, proporcionando um aperfeioamento
institucional
servindo de base para a tomada de decises que impliquem em
evoluo da instituio;
claro que se o objetivo for apenas maquiar a Instituio para que
obtenha uma boa pontuao junto aos avaliadores externos, isto ter
outra conotao e outra abrangncia.
Embora abordados cada um dos pontos de forma isolada, cabe
ressaltar que
todos estes tpicos atuam de forma concorrente e muitas vezes
simultnea cada um dos
componentes da CPA, o que evidencia que a natureza desta forma
de pensar e agir no
simples, e sim bastante complexa requerendo da coordenao esforos
para manter o
foco nos aspectos relevantes e/ou substantivos da
autoavaliao.
Novamente cabe recordar Ramos (1989) e Morin (2000), o primeiro
quando
evidencia a racionalidade substantiva e o paradigma
multidimensional, ao invs de um
-
14
nico paradigma (econmico) voltado para o mercado e produo; j
Morin nos
apresenta que a realidade o pensamento complexo e no o
pensamento simplista, que
ora funde, ora separa (unir sem fundir, distinguir sem separar).
Para Patton (2008) a avaliao deve estar voltada apara os objetivos
da
organizao e toda avaliao que no tenha como foco sua utilizao
futura deve ser
abandonada nem deve ser feita. Cabe observar que no modelo
americano, o processo avaliativo para a acreditao
16 por adeso voluntria e no obrigatrio como no
Brasil17
.
5.4.2 Passo 2: Implementar (executar o processo de autoavaliao)
Nesta parte, no que tange s perguntas a serem conduzidas,
questionrios,
entrevistas, no SINAES, h uma srie de sugestes em cada uma das
dimenses; no
entanto alm dos objetivos explcitos h outra srie de perguntas
implcitas no tema
central, cuja formulao ir depender da experincia dos membros da
CPA nas
atividades de avaliao institucional.
Ao conduzir o processo avaliativo, tenha claro como e quanto a
equipe ir
atingir seus objetivos e quais os critrios podem ser utilizados
para saber se os
resultados foram satisfatrios. Ao estabelecer estes critrios,
voc est estabelecendo os
indicadores. H tambm a necessidade da definio de quais informaes
devem ser
coletadas e como sero coletadas fundamental e deve estar
completamente entendida
por todos os membros da comisso, sabendo ainda que meios sero
utilizados para obt-
los e/ou elucid-los: questionrios, observaes, entrevistas,
visitas.
recomendvel que cada atividade realizada fora do mbito da
comisso e que
tenha a participao de outros envolvidos ou interessados, seja
precedida de uma clara
exposio de seus objetivos e tenha ao final, uma avaliao forma de
como foi o
encontro. Isto pode ser muito til para a readequao de reunies,
estabelecimento de
novos encontros ou mesmo como documentao do processo para
futuras auditorias e
necessidades de justificativas.
Todas as concluses e sugestes devem ser registradas para anlise
e avaliao
posterior.
5.4.3 Passo 3: Resultados Antes de chegar aos resultados
(coleta, tabulao e anlise) importante que
saber de antemo como chegaremos a eles e como sero apresentados;
ou seja se voc
no pensou previamente em como apresent-los poder se deparar com
informaes
incompletas, incongruentes e inconclusivas, que no podero mais
ser obtidas, a no ser
com grande esforo adicional e certamente custos elevados. Como
os recursos
disponibilizados s CPAs, no so ilimitados, importante estar
preparado; com o
passar do tempo, a CPA ter aprendido com os erros do passado e
este item ser
minimizado em sua importncia.
A divulgao dos resultados algo, fundamental e tambm deve ser
planejado
minuciosamente. O uso de arquivos digitais ou a mdia impressa
necessria que
significa que alm dos pontos tcnicos que iremos discutir, alguns
aspectos de
diagramao, padres da instituio, layout deve ser obedecido para
que torne sua
leitura agradvel e til.
Os relatrios podem ter classificaes conforme sua destinao:
INTERNO CPA: Completos contendo todos os dados.
CIRCULAO INTERNA: Apresentando os resultados importantes
CIRCULAO EXTERNA: Obedecendo aos critrios de regulao
-
15
Observando os relatrios das IES publicados e que so considerados
adequados,
pode-se destacar alguns requisitos que parecem ser comuns a
todos; esta a estrutura
comum de relatrio final:
Introduo conceitual com arrazoado legal, histrico organizacional
e descries gerais. Nesta etapa comum ser apresentada a
estrutura
organizacional da IES, os responsveis e a estrutura da CPA.
Propsitos e objetivos, indicando dimenses, cronograma de execuo
e a abrangncia do processo. Uso de diagramas esquemticos, e
cronogramas.
Foco, misso, viso (PDI, etc.) geralmente so abordados neste item
ou no
item anterior.
As informaes coletadas, normalmente apresentadas atravs de
tabelas e grficos indicativos e comentrios. A metodologia
empregada.
Resultados e concluses e/ou comentrios.
Recomendaes: interessante observar que este item no ocorre em
todos, pois h uma suposio de que estas recomendaes devem ser feitas
nas
reas envolvidas, onde cada curso, cada departamento, cada
instituto, a partir
dos resultados evidenciados no item anterior.
H uma grande diversidade e alguns muito singelos sem qualquer
contedo
relevante (observado nos sites); aparentemente pelo que se
observa h sempre uma
reunio formal onde um resumo deste relatrio apresentado alta
administrao.
De forma predominante, estes relatrios so publicados no site da
IES em
formato digital e (muito provavelmente) sua verso impressa deve
estar disponvel na
biblioteca central da instituio (pesquisadas apenas 3 instituies
e no foram
encontradas) ou na prpria CPA.
possvel observar que o trabalho no encerra com uma apresentao
para a alta
administrao, mas sim deveria promover encontros com a comunidade
atravs de
seminrios e outras apresentaes e a promoo de workshops com as
diversas reas
(cursos, departamentos, campi) com vistas a planejar e
estabelecer metas de superao,
que deveriam ser acompanhadas periodicamente. O trabalho real
comea agora e no termina aqui, como comum acontecer.
5.4.4 Passo 4: Uso dos resultados Para Patton (2008), o uso dos
resultados obtidos fundamental e neste quesito,
entre os inmeros questionamentos surgidos, parece que temos
alguns pontos comuns e
velhos conhecidos nossos: O que aprendemos ou podemos aprender a
partir dos resultados apresentados?
Onde a Instituio est melhor ou pior? Quais nossos pontos fortes
e fracos?
Temos a possibilidade de um benchmark?
Posso estabelecer um plano de ao? O que deve ser mudado; como;
quando;
quem est envolvido e quem so os responsveis? Como acompanhar as
aes definidas
para o melhoramento da instituio?
Em princpio, este tempo dedicado ao aperfeioamento institucional
um tempo
nobre do processo; pois apenas indicar os pontos a serem
melhorados no deve bastar; a
preservar as conquistas j alcanadas, e fazer novas conquistas o
fundamental.
Isto pode nos levar a concluir que a CPA no deveria ser uma
comisso eventual
de vida efmera, nas deveria fazer parte da instituio de modo
permanente.
5.4.5 Passo 5: Avaliando a autoavaliao. Em minha experincia
pessoal, esta uma fase muito subjetiva, superficial e
quase sempre dispensada; e porque isto ocorre?
-
16
Se observa que ao final do processo de coleta, tabulao e
apresentao dos
dados alta, esto os membros da CPA exauridos em suas energias,
pois para a maioria
dos membros, a CPA foi um encargo adicional. Todos querem voltar
rotina.
Prosseguir o trabalho, com workshops, viagens, deslocamentos
diversos e enfrentar os
diversos envolvidos, coordenaes, diretorias e chefias pode ser
algo penoso e
geralmente impensvel; mas observe que encerrar o trabalho por
aqui, garante um
sucesso parcial, sem estar comprometido com os resultados.
Existem coisas simples que podem ser feitas para que possa
aperfeioar o
processo de autoavaliao e facilitar os trabalhos das CPA
subsequentes, e que devem
estar documentadas: 1. Quais dificuldades e facilidades
encontradas e que solues foram
adotadas.
2. O que/quem contribuiu para que chegssemos ao resultado
atual?
3. O que no pudemos observar e que deveramos observar
futuramente?
4. Nossa estrutura foi adequada? 5. A comunidade foi envolvida e
participou
satisfatoriamente?
6. Quando reiniciaremos este ciclo novamente?
7. Os resultados podero ser usados com eficcia? Os resultados
foram utilizados?
8. O que recomendaremos para as futuras atuaes, relativos a:
Encontros, workshops e seminrios.
Capacitao e treinamento da equipe e dos envolvidos
Cronogramas, divulgao e apresentao de resultados.
Logstica e suporte.
Processo decisrio interno
Estruturao: Comisses, subcomisses, representatividade, etc.
Papeis e responsabilidades
Uma forma simples de avaliar a efetividade da CPA observar a
reincidncia
dos pontos de um ano para outro; isto significa que pontos so
abordados e apontados
todos os anos, mas no existiu ao eficaz para modificar o status
quo. Aparentemente esta autoavaliao da CPA deve ser feita
periodicamente e no
apenas ao final (quando j esquecemos muita coisa), desta forma
parece lgico que ao
final de cada um dos 5 passos apresentados, se faa uma reunio de
avaliao da
atuao da comisso.
6 CONSIDERAES FINAIS
6.1 O Fundamental: Pessoas, pessoas, pessoas ... Na epgrafe
deste trabalho, d-se o destaque seguinte frase de Halcolm:
H cinco variveis que so absolutamente crticas no uso da avaliao.
So
elas, em ordem de importncia: pessoas, pessoas, pessoas,
pessoas, e pessoas.
- Halcolm (in Patton, 2012, p.61 - traduo nossa)
Sendo pessoas o elemento realmente fundamental, apresenta-se
neste final o comentrio da entrevista que foi feita com elementos
componentes de CPA (anexo B)
onde cabe destacar os aspectos positivos de que proporcionou aos
participantes a oportunidade de um amplo conhecimento da instituio
e novos vnculos profissionais.
Igual destaque cabe ao apoio institucional presente, situao
atual18 e que diverge dos diversos estudos anteriores em outras
instituies, a qual pode ser reflexo
da instalao desta cultura, e da importncia da CPA. Interessante
observar que no caso
do IFSC, no apenas os cursos de graduao foram avaliados, mas
todos os cursos
tcnicos regulares, o que demonstra o interesse em conhecer a si
mesmo. De uma lado o
apoio institucional, de outro o individual dos membros, com
forte disposio e conciliando a CPA com outras tarefas. Neste caso,
h que ressaltar que muito do sucesso fruto da disposio e
desprendimento individuais, pois mesmo com suas
-
17
atividades cotidianas, o servidor pblico comprometido busca
conciliar tarefas e atender
prioridades.
Como pontos que merecem ateno surge no questionrio a questo
do
envolvimento discente, pois para os alunos (interessados
diretos), se observa em
conversas informais com dezenas deles, esta apenas mais uma
obrigao que no traz
resultados prticos. A participao fundamental e a razo simplista
nos diz que
podemos convidar a participar, mas no obrig-los; embora
verdadeira esta afirmativa,
falaciosa na medida em que cabe ao administrador pblico
sensibilizar todas as partes
interessadas para que participem e contribuam no processo. A
administrao estratgica
(top-down19
), no cabe ao administrador pblico, pois efetivamente no se
trata apenas
de um negcio, com reas sistmicas, reas de negcios, clientes e
fornecedores. No apenas uma boa prtica de governana e
responsabilidade social da instituio; trata-se
de uma instituio pblica, mantida com o dinheiro pblico e cujas
polticas pblicas
devem ser implementadas, dentro de uma gesto social
(bottom-up20
) na busca de uma
cidadania deliberativa. O processo da poltica deliberativa no
fica restrito as corporaes
parlamentares, mas orienta-se atravs da esfera pblica poltica
fundada
numa teoria de discurso, de pressupostos comunicativos e
procedimentais, sob
a qual o processo deliberativo surge por meio do melhor
argumento, da ao
comunicativa. (TENRIO, 1999, p.158)
Outro ponto a ser aprimorado se reporta ao fator financeiro,
onde a CPA reclama
Condies oramentrias independentes para que o contingenciamento
de recursos no comprometa o funcionamento da CPA. Pessoas
envolvidas nestas tarefas necessitam deslocar-se, alimentar-se,
matrias de trabalho, etc. tudo isto precisa ser negociado, cada
item individualmente, gerando desgastes desnecessrios e gerando
por vezes a perda do
foco principal o processo avaliativo.
6.2 E agora ? Identidade, a organizao racional e burocrtica,
seus objetivos so parte
fundamental dos estudos organizacionais (REED, 2012) e refletem
sua cultura organizacional e o principio de que a organizao social
atribui racionalmente a cada
indivduo sua funo tcnica cai por terra. Observa-se desta forma
nas organizaes o que diz REED (2012, p.112): um emaranhado de
atividades, delegaes e responsabilidades desconexas.
Nas organizaes pblicas no seria diferente e por consequncia,
tambm no
nas Instituies de Ensino. Em Vianna (2011), dentre os desafios
para o gestor da nova
administrao pblica, encontramos Desenvolver a cultura da
qualidade, a qual baseada na premissas de:
Apontar as caractersticas e valores das organizaes no Sculo
21
Distinguir cultura organizacional e cultura de servio
Identificar os fundamentos constitucionais e gerenciais da
cultura de
qualidade no servio pblico. (VIANNA, 2011, p.108)
No h como ter qualidade, desenvolver valores se no possui uma
avaliao
crtica e permanente de sua atuao, eis a o fundamental numa
Instituio de Ensino:
No olharmos para a avaliao apenas do ponto da acreditao, mas do
ponto de vista
de aperfeioamento interno e da superao.
Neste desiderato, percorremos os principais conceitos de
avaliao,
evidenciando os pensadores expoentes no tema. Ao aportarmos no
Brasil, no adotamos
o simples conceito reducionista e sim, trouxemos junto com os
tericos a experincia
prtica da CPA, servindo-nos de artigos anteriormente publicados
sobre a atuao destas
comisses. Vimos que a aplicao e a necessidade de um processo
avaliativo, nunca
inocente e est impregnado de poder; ou seja o avaliador dar
maior peso aos pontos
-
18
que considera mais importantes, fazendo com que o avaliado
responda (e atue) de
acordo com seus pontos de vista. Vimos tambm que a despeito de
evidenciar este
poder, deve sempre estar apoiado em dados e fatos e seu ponto
mais vulnervel o ser
humano.
Apresentamos a gnese do SINAES e os principais princpios
observamos a sociedade, seu clamor para o ranqueamento e como este
processo deixa de ser
substantivo, na medida que no contempla as idiossincrasias de
cada instituio;
abordamos o antigo provo, o ENEM, e no que tange autoavaliao nos
concentramos no aspecto conceitual do processo, na cultura
organizacional da
autoavaliao e na atuao cotidiana das CPAs. Com a autoavaliao, o
processo
avaliativo permite que o avaliado olhe para si mesmo, avalie sua
real situao, melhore
seus resultados e evolua, de modo que a avaliao externa seja um
complementar ao que
j feito.
Cabe-nos constatar que a despeito de no estar incorporada
cultura da
instituio, a autoavaliao deixou de ser uma mera coleo de dados,
e j supera a fase
da informao transformando-se em conhecimento. No Instituto
Federal de Santa
Catarina (IFSC), a comparao dos resultados atuais, com
experincias anteriores j
demonstra que se est trilhando um novo caminho, inclusive
avaliando no apenas os
cursos de graduao, mas tambm os cursos tcnicos (alm da
obrigatoriedade legal).
Embora timidamente e ainda sem utilizar os resultados de forma
rotineira, se percebe
sua necessidade e possvel contribuio na busca da excelncia.
Embora citada, a
dificuldade da inexistncia de um oramento prprio pode ser
superada, mas
aparentemente o problema maior que no permite dar o grande passo
e buscar a
superao, reside no fato de que a CPA no uma estrutura perene
como em algumas
instituies, com maior tradio a equipe circunstancial e a fora
tarefa, uma vez montada, executa a coleta de dados, tabulao e
divulgao, sem dar o aporte necessrio
para o acompanhamento das possveis correes de rumo como
analisar, fazer recomendaes, acompanhar solues e a partir do
sucesso de algumas destas
alternativas, indicar para outros.
Nossa sugesto para futuras pesquisas no sentido de avaliar os
resultados
efetivamente conquistados a partir dos relatrios da CPA,
comparando-se os relatrios
ano a ano e verificando os pontos de reincidncia em vrias
instituies. Outro tema de
grande praticidade observar os padres, formatos, profundidade e
extenso dos
relatrios das CPAs, buscando os tpicos mais comumente abordados
e indicados para
melhoria.
Nesta pesquisa foram apresentados os aspectos tericos, prticos e
a constatao
de que na instituio da qual o pesquisador participou, a
expectativa futura promissora
a despeito das dificuldades at o momento encontradas. Apoiada no
desempenho
individual, na disposio de seus elementos, nos multiplicadores e
na capilaridade de
sua atuao em cada campus, floresce uma nova cultura
organizacional, tendo como
ponto central a excelncia do ensino e a formao no apenas de
tcnicos, mas tambm
de cidados onde floresce a cultura da autoavaliao.
7 REFERNCIAS Barreyro, G. B. Do Provo ao SINAES: o processo de
construo de um novo modelo
de avaliao da educao superior. Avaliao: revista da Rede de
Avaliao Institucional da
Educao Superior - RAIES, Campinas, SP, v. 8, n. 4, p. 37-49,
2003.
Belloni, Isaura. A Funo Social da Avaliao Institucional. In:
Dias Sobrinho, Jos;
Ristoff, Dilvo I. Universidade desconstruda: avaliao
institucional e resistncia. Florianpolis:
Insular, 2000.
___________. Avaliao do Ensino de Graduao. Braslia: UNB, 1980.
(1995).
-
19
Bordas, M. C. ; Leite, D. C. Avaliao da Universidade Federal do
Rio Grande do
Sul: a qualidade da diferena e a diferena de qualidade. Revista
Educacin Superior y
Sociedad, Caracas- Venezuela, v. 5, n. 1 e 2, p. 109-123,
1994.
BRASIL. Decreto n. 2.026, de 10 de outubro de 1996. Estabelece
procedimentos para o
processo de avaliao dos cursos e instituies de ensino
superior.
BRASIL. Lei n.10.861, de 14 de abril de 2004. Institui o Sistema
Nacional de
Avaliao da Educao Superior SINAES. BRASIL. Ministrio da Educao.
Instituto Nacional de Estudos e Pesquisas
Educacionais Ansio Teixeira. Diversas publicaes no site
inep.gov.br - acesso em
10/11/2012.
BRASIL. Portaria n. 249, de 18 de maro de 1996. Institui a
sistemtica para a
realizao do Exame Nacional de Cursos.
Buarque, Cristovam. A REFUNDAO DA UNIVERSIDADE. Associao
Brasileira de Mantenedoras de Ensino Superior. Braslia: ABMES
Editora, 2005.
Chiavenato, Idalberto. Histria da Administrao: Entendendo a
Administrao e sua
Poderosa Influncia no Mundo Moderno - 1 edio - 2008 - Editora
Saraiva
Clarke, Jane. Managing Better - A guide to self-evaluation.
Combat Poverty Agency -
1996 - ISNB 1-87164359 7
Dias Sobrinho, Jos . CAMPO E CAMINHOS DA AVALIAO: A avaliao
da
educao superior no Brasil; Insular, 2002.
_______________. AVALIAO DA EDUCAO SUPERIOR. REGULACAO E
EMANCIPAO, Avaliao Revista da Rede de Avaliao Institucional do
Ensino Superior, Vol 8, 2003
_______________ . AVALIAO E TRANSFORMAES DA EDUCAO
SUPERIOR BRASILEIRA (1995-2009): DO PROVO AO SINAES, Avaliao,
Campinas;
Sorocaba, SP, v. 15, n. 1, p. 195-224, mar. 2010
Dias Sobrinho, Jos; Ristoff, Dilvo. Avaliao Democrtica para uma
Universidade
Cidad. Insular. 2002
_______________. Acreditao da Educao Superior e C&T:
polticas e ideologia.
Revista Avaliao (Campinas). 2006, vol.11, n.04
FOURNIER, Deborah M. APUD PATTON, Michael Quinn,
Utilization-focused
evaluation - SAGE, 2008 - 4TH ED
__________, Deborah M. New directions for evaluation. Reasoning
in Evaluation:
Inferential Links and Leaps, American Evaluation Association,
Jossey-Bass Pub., 1995,ed 68
GIL, Antnio Carlos. Como elaborar projetos de pesquisa. So
Paulo: Atlas, 2009.
GODOY, Arilda Schmidt. Introduo Pesquisa Qualitativa e suas
Possibilidades.
Revista de Administrao de Empresas (RAE), So Paulo, v.35, n. 2,
mar./abr. 1995.
______. Pesquisa qualitativa: tipos fundamentais. Revista de
Administrao de
Empresas (RAE). So Paulo, v. .35, n. 03, p. 20-29,
mai./jun.1995b.
______. A PESQUISA QUALITATIVA E SUA UTILIZAO EM
ADMINISTRAO DE EMPRESAS. RAE. So Paulo, v. 35, n. 4, p. 65-71
Jul./Ago. 1995
Instituto Nacional de Estudos e Pesquisas Educacionais Anisio
Teixeira INEP, Sistema Nacional de Avaliao Superior SINAES,
Braslia, 5.Ed, INEP, 2009
Kotter, John P. Liderando Mudanas. So Paulo. Ed. Campus.
1997
LAKATOS, Eva Maria. Metodologia do trabalho cientifico:
procedimentos bsicos,
pesquisa bibliogrfica, projeto e relatrio, publicaes e trabalhos
cientficos. 5a ed. So
Paulo: Atlas, 2003.
Lima, Mauricio Andrade de; Meyer Jr., Victor; Lima, Marcus
Vinicius Andrade
de; Lima, Carlos Rogrio Montenegro de, SINAES: UM ALERTA SOBRE
A
AUTOAVALIAO EM IES, III Seminrio de Pesquisa Interdisciplinar -
A primeira dcada
novo milnio: sociedade, instituies e inovaes. UNISUL, SC,
Brasil, maio 2011
MORIN, Edgar. O mtodo. Vol IV. As idias: sua natureza, vida,
habitat e organizao.
Publicaes Europa-Amrica, Lisboa, 1991
_______, Edgar; LE MOIGNE, Jean-Louis. A Inteligncia da
Complexidade. So
Paulo: Petrpolis, 2000
-
20
Patton, Michael Quinn, Utilization-focused evaluation - SAGE,
2008 - 4TH ED
_____________, Essentials of Utilization-Focused Evaluation,
SAGE, Londres, 2012
RAMOS,Alberto Guerreiro. A nova cincia das organizaes: uma
reconceituao da
riqueza das naes . Editora da Fundao Getlio Vargas,Rio, 1989
REED, Michael. Teorizao organizacional: um campo historicamente
contestado. In:
CLEGG, Stewart R.; HARDY, Cynthia; NORD, Walter R (Orgs.).
Handbook de estudos
organizacionais. So Paulo: Atlas, 2012, p.61-98.
RISTOFF, Dilvo I. Algumas definies de avaliao. Avaliao
(Campinas), Jun
2003, vol.08, no.02, p.19-30.
_______________. O EXAME NACIONAL DE CURSO E A AVALIAO
INSTITUCIONAL, Avaliao democrtica p.17-35 Avaliao - vol.6, n.3,
Campinas. 2001 _________________. AVALIAO INSTITUCIONAL: Pensando
Princpios,
EDUCAIN SUPERIOR y SOCIEDAD - VOL 5 N 1 y 2: 87-97, 1994
SANTOS, Boaventura Sousa. A universidade no sculo XXI: para uma
reforma
democrtica e emancipatria da universidade, Editora Cortez, So
Paulo, 2004
SINAES-CONAES, Roteiro de Autoavaliao Institucional e as
Diretrizes para
Avaliao das Instituies de Educao Superior, Brasilia, MEC SINAES,
2004 - 2008 TENRIO, Fernando G. INOVANDO COM DEMOCRACIA, AINDA
UMA
UTOPIA, Novos Cadernos NAEA vol. 2, n 1 1999 The Guardian
Education, Towards a national debate: The following is the full
text of the
speech by Prime Minister James Callaghan, at a foundation
stone-laying ceremony at Ruskin
College, Oxford, on October. 18 1976.
http://education.guardian.co.uk/thegreatdebate/story/0,9860,574645,00.html
acesso em
4/11/2012
VIANNA, Cleverson Tabajara; Lino, Sonia R. Lamego. Novos
paradigmas na gesto
pblica. 2. ed. rev. atual Florianpolis : Publicaes do IF-SC,
2011. YIN, Robert. Case study research: design and methods. Newbury
Part: Sage
Publications, 1989.
NOTAS DE FINAL DE TEXTO
1 Stakeholder: Termo utilizado em administrao para indicar
partes interessadas, tais como fornecedores,
clientes, scios, colaboradores, proprietrios, governo, etc. 2
Criado em 1808, o bacharelado um diploma do sistema educativo
Frances que apresenta uma dupla
particularidade de sancionar o fim dos estudos secundrios e abre
o acesso ao ensino superior. Ele
constitui primeiro diploma universitrio. (Ministrio da Educao do
Governo Frances, 2012) traduo do autor. 3 Docimologia: Estudo
sistemtico dos exames, em particular da atribuio de notas e dos
comportamentos de examinadores e examinados. 4 Psicometria:
Testes padres e objetivos para medir inteligncia e desempenho.
5 Edumetria: a cincia da medida aplicada s cincias da
educao.
6 Bibliometria: Um conjunto de leis e princpios empricos que
contribuem para estabelecer os
fundamentos tericos da Cincia da Informao. O termo statistical
bibliography hoje Bibliometria foi usado pela primeira vez em 1922
por E. Wyndham Hulme. 7 Discurso Ruskin Oxford: Em outubro de 1976,
James Callaghan, eleito primeiro-ministro trabalhista
da Inglaterra, pronuncia seu famoso discurso no College Ruskin
de Oxford, lanando suspeitas em
relao ao baixo padro de ensino, gerando grande repercusso. Logo
a seguir, no mesmo ms, numa
conferncia do Partido Trabalhista, preocupava-se com as despesas
muito elevadas em educao. Surge
ento o Yellow Book, elaborado pelos conselheiros de Callaghan,
que era um documento com 60 pginas fazendo um balano da educao. 8
Accountability: Termo em ingls utilizado na administrao que
corresponde prestao de contas.
9 Acreditation: Termo em ingls, utilizado pelos autores em
avaliao e que significa que a Instituio foi
oficialmente reconhecida como satisfazendo os requisitos
essenciais de excelncia acadmica. No Brasil
os principais autores a traduziram como acreditao. 10
Fournier, Deborah M. Evaluation. In S. Mathison,(ed.)
Encyclopedia of Evaluation. Thousand Oaks,
CA: Sage Publications, 2005, p. 139140
-
21
11
Finalidades bsicas: 1. O sucesso pessoal 2. A construo da nao e
a transformao social), 12
A vinculao recproca entre injustia social e injustia cognitiva
ser uma das idias que mais
resistncia encontrar no seio da universidade uma vez que esta
foi historicamente o grande agente do
epistemicdio cometido contra os saberes locais, leigos,
indgenas, populares em nome da cincia
moderna. No Brasil, a resistncia ser qui maior uma vez que a
elite universitria se deixou facilmente
iludir pela a idia auto-congratulatria do pas novo, pas sem
histria, como se no Brasil s houvesse
descendentes de imigrantes europeus dos sculos XIX e XX e no,
portanto, tambm povos ancestrais,
indgenas e descendentes de escravos. 13
PAIUB - iniciado em 1993 se estende at 2004, pois com a LDB em
96 (Art. 9) a Unio deve assegurar
processo nacional de avaliao do rendimento; surge ento a
necessidade de definir o padro e tem
origem o Sistema Nacional de Avaliao Educao Superior
(SINAES).
- Lei de Diretrizes e Bases da Educao Nacional. Lei n 9.394 -
20/12/1996
- Lei Federal n 10.861 14/04/2004 -Institui o Sistema Nacional
de Avaliao da Educao Superior SINAES 14
Revista Avaliao (Campinas), Sorocaba, v. 16, n. 3, nov. 2011 -
Avaliao institucional no contexto
do SINAES: a CPA em questo. 15
INEP - Banco de Avaliadores dos Sistema Nacional de Avaliao da
Educao Superior - BASis 16
Acreditao termo que vem sendo utilizado pelos especialista nas
rea da avaliao, que derivado do
termo accreditation (ingls), significa o credenciamento para
funcionamento de uma instituio de ensino
superior. 17
No que se refere ao marco legal, sugere-se o estudo da Lei n
10.861/04 (SINAES). 18
2011 - Talvez neste caso considerar que o maior apoio CPA,
decorre de que a autoridade mxima,
recm constituda na instituio (Reitora) era membro efetivo do
CONAES e participou diretamente do
SINAES. 19
Top-down: Termo em administrao que indica que as decises partem
do nvel hierrquico superior,
sempre de carter mandatrio. 20
Bottom-up: Termo em administrao que indica que as decises so
participativas, tomadas sempre
com a interlocuo de todos (de baixo para cima).