Efetividade da Avaliação

De que modo as informações produzidas na avaliação influenciam* as práticas dos atores, favorecendo o controle das endemias?

Como documentar essas consequências ou evidências em diferentes contextos?

Efetividade da Avaliação

*“Uso/influência” têm sido utilizados como equivalentes no campo da avaliação mas o termo “influência” é mais amplo que “uso” e está mais relacionado a um ‘uso’ multi-direcional, incremental e involuntário do que meramente instrumental.

Knowledge into action: challenges and opportunities for increasing the use of evaluation in health promotion policies and practices.Hartz ZMA; Denis J-L; Santos, EM; Matida A*

Programação e avaliação em promoção da saúde. Louise Potvin,L & Silvie Gendron. (Seminário Avançado ACDI/GEAS/IMIP; ENSP/Fiocruz e ISC/UFB).

Promovendo e analisando o uso e a influência das pesquisas avaliativas: desafios e oportunidades ao se institucionalizar a avaliação em saúde.Hartz, ZMA, Santos EM e Matida A**

Do Quê ao Pra Quê da Meta-Avaliação em SaúdeZulmira Maria de Araujo Hartz e André-Pierre Contandriopoulos**

*David V. McQueen & Potvin L (eds) Health Promotion Evaluation Practice in the Americas: Values and Research. New York: Springer (no prelo-2008).

**Hartz ZMA, Vieira da Silva LM e Felisberto (orgs) .Meta-avaliação da atenção básica em Saúde: teoria e prática. Rio de Janeiro:Ed. Fiocruz (no prelo-2008)

Plano da apresentação1- Utilidade e contextos na (meta) avaliação: abordagem normativa x reflexiva

2- Modelo ‘traduzido’ das conseqüências da avaliação na aprendizagem organizacional (circuito das inovações) 3- Da teoria à prática: monitoramento e pesquisa da avaliação que possam dar visibilidade a influência

PressupostoAvaliação, como qualquer política ou intervenção social, visa através de suas práticas (Auditoria, Monitoramento,Pesquisa), modificar um problema (ex.‘util’ para aumentar a ‘efetividade dos programas’ nas melhorias da saúde), devendo portanto ser questionada em relação aos seus objetivos, institucionalidade, custos e conseqüências (positivas e negativas) .

Programas

(Inter)Nacional-Local

Meta-avaliação

Avaliação

Contextos

Para ser útil, a avaliação deve ter foco no contexto (i.e. “on the texts”), nos “textos” produzidos pelos diversos atores e seus significados.Bezzi, 2006 “Evaluation Pragmatics”

Tempo

A meta-avaliação, refere-se ao questionamento reflexivo do processo da avaliação, e de seus resultados, enquanto inovações implementadas no “espaço social dos programas” (Potvin, 2006), através das operações de tradução/interpretação na aprendizagem política e organizacional.

Os itens discutidos pelos avaliadores (o avaliando, sua eficácia, teoria do programa, etc.) são apenas textos. O programa e sua lógica... técnicas de todos os tipos; as descobertas da avaliação (sejam tabelas numéricas ou conjuntos de recomendações) estão condicionados pela maneira como foram compreendidos e interpretados por cada ator (incluindo o avaliador), de acordo com suas restrições formais, morais e normativas. Bezzi,2006

“...o governo central estará interessado em dados

agregados para descobrir tendências e resultados globais... Avaliações que são mais válidas do ponto de vista de governos descentralizados podem ser vistas como sendo de pouco valor em nível central... nem todos os atores entenderão determinada avaliação como igualmente relevante e utilizável. Para que os atores aprendam com a avaliação, a análise deve fazer sentido da perspectiva dos atores envolvidos. Interpretações e interações de atores desempenham um papel não somente na produção de resultados, mas também na geração de procedimentos de aprendizado como conseqüência da avaliação.

Van der Meer&Edelenbos,2006

Como conciliar as demandas (muitas vezes contraditórias) do (inter)nacional-local-comunitário?

Embora os problemas de tradução ou aplicação da pesquisa na formulação das políticas sejam inúmeros as soluções são raras…pontes deveriam ser construidas…mas está sempre faltando conhecimento sobre onde…como, ou por quem. (Trostle, 1999 p.103;112).

“Os cientistas estão sempre a arengar sobre a necessidade de ‘lançar uma ponte entre as duas culturas’ mas quando os leigos começam de fato a construir esta ponte eles recuam horrorizados e tentam impor a maior das censuras à livre expressão, desde Sócrates: só cientistas podem falar de ciência” Latour 2001, p.31.

Utilidade e influência da avaliação em Sáude

FontesProcessos

Resultados

IntençãoPrevista

Inesperada

MomentoImediato

Ciclos

Longo prazo

IndividualAtitudes

Habilidades

Condutas

InterpessoalPersuasão

Lideranças

Opiniões

Normas sociais

ColetivoPolíticas

Organizações

Melhorias em Saúde

Historicidade (Contexto-Tempo)

Teoria da Tradução

Problematiza Mobiliza

Interessa Envolve

F

oco

n

a

Util

ida

de

Latour,2001

Inst

ituci

onal

izaç

ão

Politização

“A ação intencional e a intencionalidade ...não são propriedades de humanos. São propriedades de instituições, de aparatos, daquilo que Foucault chama de dispositifs. Somente pessoas jurídicas estão aptas a observar a proliferação de mediadores, a regular sua expressão, a redistribuir habilidades... a obscurecer-se e fechar-se”. Latour, 2001 (Caixa de PandoraPag. 211

...“a literatura empírica sobre a influência da avaliação é escassa, sendo limitado o número de pesquisas acerca da influência da avaliação sobre o aprimoramento do programa, da política e dos participantes” (Christie, 2007).

As operações de translação/tradução, transformando as questões políticas em questões de técnica e vice-versa, juntamente com a metáfora de um sistema circulatório capaz de “manter vivos os fatos científicos”, permitem repensar e potencializar o uso ou influência da (meta)avaliação como ‘prática científica’ multiplicando os mediadores que a produzem coletivamente e orientar seus projetos de pesquisa

MUITO OBRIGADA

Zulmira M. A. Hartz- Pesq. titular do depto de Epidemiologia da Ensp-Fiocruz (aposentada); Grupos de pesquisa do CNPq: “Avaliação da situação de processos endêmicos e programas de contrôle” (LASER/Ensp-Fiocruz) e “Estudos de Gestão e Avaliação em Saúde”(GEAS- IMIP); Pesquisadora associada à CACIS- Cátedra em Abordagens Comunitárias e Iniqüidades em Saúde/Univ. de Montréal. [email protected]