-
Desenvolvimento em Questoeditora uniju ano 11 n. 22 jan./abr.
2013
artigo
p. 35-61
as tcnicas de avaliao da eficincia, eficcia e efetividade na
gesto Pblica e sua relevncia para o Desenvolvimento social e das
aes Pblicas
Hironobu Sano1 Mrio Jorge Frana Montenegro Filho2
resumo
A necessidade crucial de mais eficincia, eficcia e efetividade
(3Es) das aes governamentais est intrinsecamente relacionada questo
do desenvolvimento, pois suas possibilidades so, muitas vezes,
cerceadas devido aos limites que surgem quando os atores envolvidos
na gesto pblica no esto comprometidos com estes conceitos,
resultando em impactos negativos na vida de todos os cidados. Da a
demanda por uma avaliao sistemtica, contnua e eficaz que esbarra na
falta de clareza quanto a indicadores de desempenho no setor
pblico. Assim, o presente artigo tem por objetivo apresentar sete
propostas de utilizao dos citados indicadores (3Es) na gesto
pblica, visando o desenvolvimento das polticas sociais. As
principais concluses deste estudo so sobre a relevncia dos
conceitos apresentados (3Es) para o desenvolvimento social, a
importncia da comparao de desempenhos, a necessidade de adoo de
mais de um mtodo que seja eficiente, eficaz e efetivo e o
carecimento de convencer e capacitar os envolvidos.
Palavras-chave: Avaliao. Polticas pblicas. Eficincia. Eficcia.
Efetividade.
1 Doutor em Administrao Pblica e governo pela Fundao Getlio
Vargas/SP. [email protected]
2 Mestrando do Programa de Ps-Graduao em Administrao (PPGA) da
Universidade Federal do Rio Grande do Norte (UFRN).
[email protected]
-
the evaluation techniQues of efficiency, efficacy anD
effecti-veness in Public management anD its relevance for the
social
DeveloPment anD Public action
abstract
The crucial need for more effectiveness, efficiency and efficacy
(3Es) of the governmental actions is inextricably related to
development, because its chances are often curtailed when the
actors involved in public administration are not committed to 3Es
concepts, resulting in limitations and negative impacts on all
citizens lives. Hence, the demand for a systematic, continuous and
effective evaluation that is hindered by a lack of clarity on
performance indicators in the public sector. Thus, this paper
presents seven proposals of 3Es indicators use in public
administration to develop social policies. The main conclusions of
this study are: a) the relevance of the concepts presented (3Es)
for social development; b) the importance of perform evaluation
benchmarking; c) the need to adopt more than one efficient,
effective and efficacious method and d) convince and empower those
involved.
Keywords: Evaluation. Public policy. Efficiency. Effectiveness.
Efficacy.
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA
GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs
Aes PblicAs
37desenvolvimento em Questo
A necessidade crucial de mais eficincia, eficcia e
efetividade
(3Es) das aes governamentais est intrinsecamente relacionada
ques-
to do desenvolvimento social, pois suas possibilidades so,
muitas vezes,
cerceadas, devido aos limites que surgem quando os atores
envolvidos na
gesto pblica no esto comprometidos com estes conceitos,
resultando
em impactos negativos na vida de todos os cidados. Da a demanda
por
uma avaliao sistemtica, contnua e eficaz que esbarra na falta de
clareza
quanto a indicadores de desempenho no setor pblico. Surge, ento,
um
dilema sobre qual deve ser o foco e qual metodologia utilizar,
problema que
persiste apesar dos diversos estudos e discusses. Este aspecto
destacado
por vrios autores, entre eles Costa e Castanhar (2003), ao
referirem-se ao
emaranhado conceitual que ainda prevalece.
Devido diversidade de indicadores de resultados, sero
abordados
aqueles relacionados aos trs principais critrios de desempenho:
3Es. Sua
relevncia destacada por vrios autores, dentre eles Antico e
Jannuzzi
([2006?], p. 19), ao afirmarem que a avaliao de um programa
pblico
requer indicadores que possam dimensionar o grau de cumprimento
dos
objetivos dos mesmos (eficcia), o nvel de utilizao de recursos
frente aos
custos em disponibiliz-los (eficincia) e a efetividade social.
Tambm
observvel que a maior parte dos dez desafios para uma reinveno
da gesto
pblica, destacados por Marini (2008), est implicitamente
relacionada com
os conceitos dos 3Es, sendo quatro explicitamente: o da
contratualizao
de resultados, o da melhoria da eficincia operacional, o da
reinveno do
controle e o do comprometimento das pessoas.
Diante do exposto, o presente artigo tem por objetivo
apresentar
propostas de utilizao dos 3Es na gesto pblica. Considerando que
o
assunto tratado bastante vasto e dinmico, a pretenso deste
texto
contribuir para a melhoria da gesto pblica, apresentando mais
detalha-
damente apenas uma dentre as vrias propostas pesquisadas, das
quais seis
so sumariamente apresentadas, destacando alguns importantes
conceitos
relacionados temtica. Assim, no campo das iniciativas ser
abordada a
-
Hironobu sano mrio Jorge frana montenegro filho
38 Ano 11 n. 22 jan./abr. 2013
adaptao do Balanced Scorecard, metodologia de medio e avaliao
do
desempenho empresarial para a rea pblica proposta por Ghelman
(2006), o
Quadro Lgico apresentado por Pfeiffer (2006), a construo de um
sistema
de indicadores introduzido por Jannuzzi e Patarra (2006), os
indicadores de
eficincia para rgos pblicos propostos por Garcia (2008), as
auditorias de
desempenho realizadas pelos Tribunais de Contas estudadas por
Oliveira
(2008), o modelo de gesto orientada para resultados de Minas
Gerais es-
tudado por Lemos (2009) e a Transparncia Oramentria Municipal
via
Internet sugerida por Pires (2010).
A importncia deste artigo observvel em constataes como a de
Frey (2000, p. 229), ao afirmar que a fase da avaliao
imprescindvel para
o desenvolvimento e a adaptao contnua das formas e instrumentos
de ao
pblica. Alm de ser respaldada por pesquisas como a de Ghelman
(2006),
ao concluir que, apesar de a questo da eficincia fazer parte do
discurso de
melhora da gesto pblica, sendo inclusive um princpio
constitucional que
rege a administrao pblica, a quase totalidade das organizaes
pesquisadas
no possuam indicadores que tratassem desta questo.
O artigo divide-se em quatro partes. Inicia abordando a
avaliao
focada nos 3Es, como primeiro tpico do referencial terico
utilizado. A se-
gunda parte contm uma breve apresentao de alguns conceitos
relevantes
sobre indicadores, como suas propriedades, tcnicas, crticas,
relevncia e
desafios. A terceira parte est subdividida em dois tpicos, sendo
no primeiro
exemplificadas, resumidamente, em razo das limitaes de tamanho
do
artigo, seis propostas de utilizao dos indicadores de desempenho
(3Es) na
gesto pblica, enquanto no segundo tpico foi analisada uma stima
pro-
posta, com mais profundidade que as anteriores, por ser a mais
abrangente
dentre as pesquisadas. Por fim, conclui-se sobre a relevncia dos
conceitos
apresentados para o desenvolvimento social, a importncia da
comparao
de desempenhos, a necessidade de adoo de mais de um mtodo que
sejam
eficientes, eficazes e efetivos, e o carecimento de convencer e
capacitar os
envolvidos alm de sugerir futuros trabalhos.
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA
GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs
Aes PblicAs
39desenvolvimento em Questo
avaliao: eficincia, eficcia e efetividade (3es)
A temtica da avaliao bastante ampla, da a necessidade de
deli-
mitao dos principais critrios que se deseja estudar diante dos
infindveis
questionamentos que podem ser elaborados na etapa de avaliao.
Optou-se,
assim, pelos trs mais tradicionais, usados e fundamentais: os
3Es, segundo
autores como Carvalho (2001) e Harmon e Mayer (1999) ao versarem
sobre a
eficincia e eficcia na administrao pblica. Sua relevncia tambm
pode
ser observada quando Sulbrandt (1993) agrupa as experincias
avaliativas de
programas em trs metodologias bsicas: a) avaliao de metas
(eficcia); b)
avaliao de impacto (efetividade); e c) avaliao do processo
(eficincia).
Por seu turno, Jannuzzi e Patarra (2006) destacam a importncia
do moni-
toramento dos programas segundo o raciocnio
insumo-processo-resultado-
impacto, que pode ser realizado com os 3Es, conforme ilustrado
na Figura
a seguir, inclusive para os insumos envolvidos, avaliando sua
influncia em
cada uma das trs etapas:
Figura 1 Fluxograma da avaliao
Fonte: Elaborado pelos autores, 2012.
A Lei n 11.653/2008 corrobora as perspectivas anteriormente
apre-
sentadas ao estabelecer que a gesto do Plano Plurianual de 2008
a 2011
observar os princpios de eficincia, eficcia e efetividade na
avaliao dos
seus programas (Brasil, 2008).
Diante das vrias definies existentes dos 3Es, algumas delas
inclusive contraditrias entre si, faz-se necessrio explicitar
que os concei-
tos adotados neste artigo so os de Washington Souza (2008), nos
quais a
efetividade percebida mediante a avaliao das transformaes
ocorridas
a partir da ao; a eficcia resulta da relao entre metas alcanadas
versus
metas pretendidas e a eficincia significa fazer mais com menos
recursos.
-
Hironobu sano mrio Jorge frana montenegro filho
40 Ano 11 n. 22 jan./abr. 2013
Estas definies esto alinhadas a vrias outras largamente
utilizadas, entre
elas as do manual Guide for monitoring and evaluation do Unicef,
apresentadas
no texto de Costa e Castanhar (2003), e do Tribunal de Contas da
Unio
(TCU), presentes no texto de Ghelman (2006).
Vale ressaltar que a efetividade est relacionada ao impacto
social que
procura identificar os efeitos produzidos sobre uma populao-alvo
de um
programa social. Por seu turno, avaliar o impacto social
mensurar o real
valor de um investimento social. O que torna sua avaliao
indispensvel
o fato de que, caso o impacto social no seja o esperado,
poder-se- repla-
nejar a atuao (Fontes, 2005). A principal dificuldade, porm,
garantir a
vinculao entre as aes do programa e as mudanas percebidas. A
eficcia,
por sua vez, propicia que as instituies avaliadas respondam s
presses por
transparncia, demonstrando que resultados esto sendo
alcanados.
A mensurao da eficincia de uma ao social pode ser realizada
de
vrias formas e a falta de parametrizao gera diversas dvidas
sobre quais
aes so mais eficientes. A eficincia tambm no pode ser avaliada
olhando-
se apenas para os aspectos internos da organizao, devendo-se
voltar para
a globalidade das demais organizaes (Arajo et al., 2008). Ou
seja, no
se deve apenas avaliar se houve desperdcios ou desvios dos
recursos, mas
tambm comparar a eficincia alcanada com a de outras organizaes
que
podem vir a se tornar benchmarkers. Segundo Marinho e Faanha
(2001, p.
6), avaliao pressupe comparao. Vale destacar, ainda, que a
busca
pela eficincia implica uma melhor utilizao dos recursos,
resultando no
combate corrupo.
Com relao ao aspecto histrico da eficincia, sua presena ob-
servada tanto no surgimento da teoria da administrao quanto na
teoria
da administrao pblica. , importante lembrar, todavia, que a sua
busca,
imbuda numa cultura racional burocrtica, desvinculada de
interferncias
morais, resultou no genocdio dos judeus e dos ciganos em
Auschwitz, sm-
bolo, poca da 2 Guerra, da modernidade e cientificamente
organizada,
que se utilizava das tcnicas mais eficazes (Lwy, 2011).
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA
GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs
Aes PblicAs
41desenvolvimento em Questo
Tambm se entende pertinente situar os 3Es nas trs fases de
um
processo avaliativo: a que antecede o incio do projeto
(ex-ante), estando
vinculada s clssicas etapas de diagnstico e formulao do programa
social;
a que ocorre durante a etapa de constituio (pari-pasu) e a que
se sucede
ao (ex-post), na etapa de avaliao propriamente dita (Jannuzzi,
2005).
Estas relaes so sintetizadas no Quadro a seguir.
Quadro 1 Os 3Es nas trs fases da avaliao
IndicadorFASEEx-ante Pari-pasu Ex-post
Eficincia Estimativa baseada em iniciativas com-parveis. Pouco
uti-lizada.
Comparao entre o que foi previsto e o que se est rea-lizando.
Utilizada principalmente no controle oramen-trio.
Comparao com iniciativas similares ou com o planejado. Mais
utilizada.
Eficcia Baseada em inicia-tivas comparveis. Pouco utilizada.
Acompanhamen-to da realizao das metas propos-tas.
Verificao se as me-tas propostas foram atingidas.
Efetividade Expectativa base-ada em iniciativas similares. Pouco
utilizada.
Avaliaes par-ciais ao trmino das etapas de um programa.
Vinculao das mu-danas, caso tenham ocorrido as aes empreendidas.
Mais utilizada e recomen-dada.
Fonte: Elaborado pelos autores, 2012.
Finalmente, preciso destacar que a avaliao sistemtica, contnua
e
eficaz uma ferramenta gerencial poderosa, fornecendo aos
formuladores e
gestores de polticas pblicas condies para aumentar a eficincia e
efetivi-
dade dos recursos aplicados. Faz-se necessrio, portanto, o
desenvolvimento
de um conjunto harmnico e sistemtico de indicadores que abranjam
os
3Es e suas inter-relaes, tema a ser tratado no prximo tpico.
-
Hironobu sano mrio Jorge frana montenegro filho
42 Ano 11 n. 22 jan./abr. 2013
indicadores
Lemos (2009) afirma haver um consenso de que todo monitoramento
e avaliao baseiam-se em indicadores que auxiliam nas tomadas de
deciso, permitindo um melhor desempenho, a formulao de um oramento
mais racional e uma prestao de contas mais clara e objetiva.
Costa e Castanhar (2003, p. 987) indicam que:
O grande desafio para a disseminao da prtica da avaliao de
projetos no setor pblico , sem dvida, encontrar formas prticas de
mensurar o desempenho e fornecer ao responsvel pela gesto dos
programas sociais, bem como para os demais atores envolvidos,
informaes teis para a avaliao sobre os efeitos de tais programas,
necessidade de correes, ou mesmo da inviabilidade do programa.
O desafio em questo esbarra na falta de consenso a respeito da
de-finio de indicadores sociais. Situao diferente a do setor
privado, em que seus indicadores j so consagrados, sendo, muitos
deles, inclusive, internacionalmente utilizados. Ocorre o mesmo em
outros setores menos preocupados com as questes sociais e mais
focados em suas respectivas especialidades e indicadores. Por
exemplo, o setor econmico elege o Pro-duto Interno Bruto (PIB) como
um indicador da gerao de riqueza, ao passo que o setor agrcola toma
como parmetro de produtividade as toneladas de gros por safra,
enquanto o judicirio baseia-se no nmero de processos por juiz para
alocar seus recursos, entre outros. Tentar-se- contribuir para a
superao deste desafio, destacando algumas informaes relevantes
sobre indicadores para polticas pblicas. Para um maior
aprofundamento, porm, faz-se necessria a consulta aos artigos
citados.
Antico e Jannuzzi (2006) detalham em seu artigo os tipos,
proprieda-des e fontes de indicadores para cada uma das quatro
etapas (diagnstico, formulao, instituio e avaliao) do ciclo de
avaliao de polticas pbli-cas. Alertam, tambm, sobre os bolses de
iniquidades escondidos pelos indicadores que refletem as mdias
municipais. Alm disso, demonstram as
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA
GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs
Aes PblicAs
43desenvolvimento em Questo
etapas de construo de indicadores multicritrios, que podem ser
utilizados
para programas intersetoriais. Exemplificam, igualmente, um
Painel de
Indicadores de Monitoramento, considerado como uma ferramenta
prag-
mtica. Por fim, escrevem brevemente (dois pargrafos) sobre a
Anlise
Envoltria de Dados (DEA), sendo necessria a leitura complementar
de
obras especficas para sua utilizao. Sobre a efetividade, sugerem
o em-
prego de indicadores de diferentes naturezas e propriedades, na
tentativa
de captar as mudanas ocorridas, alertando para a necessidade de
avaliaes
qualitativas e da lentido do impacto, quando o marco zero no
trgico ou
os recursos no so expressivos.
J Costa e Castanhar (2003) apresentam no seu texto informa-
es importantes para a elaborao de um sistema de avaliao,
inclusive
exemplificando-o.
Por seu turno, Guimares e Jannuzzi (2005) advertem, em sua
anlise
crtica, sobre os problemas decorrentes do emprego de indicadores
sintticos
(mdia de vrios indicadores simples). Eles afirmam que, por mais
abran-
gentes que esses indicadores tentem ser, alguns inclusive
compostos por 38
indicadores simples, como o ndice de Qualidade de Vida Urbana
(IQVU),3
no devem ser interpretados como um reflexo fiel e absoluto da
realidade.
mtodos de avaliao de desempenho na gesto pblica: os 3es como
indicadores
Exemplificando seis diferentes propostas
Por serem apresentados de forma bastante resumida, com
objetivos
meramente exemplificativos, torna-se indispensvel a leitura dos
seis textos
a seguir referenciados para o seu pleno entendimento.
3 Mais informaes sobre o IQVU disponveis em: .
-
Hironobu sano mrio Jorge frana montenegro filho
44 Ano 11 n. 22 jan./abr. 2013
1) Balanced Scorecard
Pelo j comentado fato do setor privado possuir mais
ferramentas,
conhecimentos e histrico na utilizao de indicadores, muitos
estudiosos
tentam adaptar ferramentas empresariais s necessidades pblicas.
parte
as crticas sobre estas adaptaes, Ghelman (2006) tambm apresenta
um
modelo adaptado do Balanced Scorecard aos preceitos de uma nova
gesto
pblica moderna e focada nos resultados, preservando, segundo o
autor, as
especificidades da rea pblica. Dentre as adaptaes, o autor
conclui pela
necessidade das medidas de desempenho nas dimenses da: a)
eficincia,
visando otimizao dos recursos dos contribuintes; b) eficcia, por
meio
da melhoria da qualidade dos servios; e c) efetividade, buscando
orientar
as aes pblicas para o atendimento ao cidado. Assim, facilmente
ob-
servvel o uso de todos os 3Es, alm da preocupao com o
monitoramento
sistemtico dos resultados.
O autor tambm justifica a utilizao conjunta dos 3Es ao afirmar
que
a busca isolada pela eficincia, reduzindo custos e/ou aumentando
a produ-
tividade, pode comprometer a qualidade do servio. Mesmo
ofertando um
servio com eficincia e eficcia no h garantias do alcance da
efetividade
com a conquista da transformao desejada, citando inclusive
exemplos.
Sobre a efetividade, o autor tambm conclui que, ao consider-la
como
um dos aspectos medidos pelo modelo proposto, permite-se um
aumento
do controle social decorrente da possibilidade de avaliao do
desempenho
organizacional. Para que o cidado seja um indutor da melhoria da
quali-
dade do servio pblico, porm, faz-se necessria a disponibilizao
destas
informaes de forma fcil e inteligvel, caso contrrio sua
participao ser
cerceada.
Partindo da premissa de que o Estado fator fundamental para
o
desenvolvimento, o autor estabelece a contribuio do seu modelo a
partir
do aperfeioamento dos instrumentos de gesto. So feitas, contudo,
algumas
ressalvas, como o fato de este modelo no poder ser aplicado
diretamente em
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA
GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs
Aes PblicAs
45desenvolvimento em Questo
todos os rgos pblicos, mas apenas naqueles que possuem um
planejamen-
to estratgico estruturado e uma forte cultura de medio do
desempenho
organizacional. Vale frisar que o modelo desconsidera as
especificidades
de cada rgo pblico e, por isso, deve ser adaptado s
especificidades de
cada instituio.
2) Quadro lgico
Pfeiffer (2006) apresenta a metodologia do Quadro Lgico (QL)
criada
para demonstrar a efetividade dos projetos de cooperao
internacional, ou
seja, ao contrrio da anteriormente apresentada na proposta
anterior, ela
no possui elementos da lgica empresarial. Sua matriz fornece
respostas a
questes intimamente associadas aos 3Es, tais como:
Qual o seu propsito e quais as mudanas a serem alcanadas?
Como se pretende produzir melhorias?
Como possvel identificar o alcance das melhorias e mudanas?
Logo, no se pode negar que o desafio na elaborao de um QL
selecionar e combinar, adequadamente, os processos que sero
capazes
de gerar os resultados desejados de forma eficiente. Esta relao
pode ser
visualizada na Figura 2.
Figura 2 Eficincia e efetividade no QL
Fonte: Pfeiffer, 2006.
-
Hironobu sano mrio Jorge frana montenegro filho
46 Ano 11 n. 22 jan./abr. 2013
Assim, define-se o xito do projeto j na fase do seu
planejamento,
suprindo a falta de clareza e unanimidade da literatura
especializada sobre
como defini-lo. O QL tambm permite um acompanhamento
sistemtico
e uma avaliao mais simples e objetiva, ao relacionar cada
resultado e
objetivo a um indicador vinculado a uma fonte de comprovao,
conforme
ilustrado a seguir.
Figura 3 Estrutura do QL
Fonte: Pfeiffer, 2006.
Sendo o QL apenas um instrumento de gerncia de projetos,
faz-se
necessria, para sua eficcia, sua integrao num sistema mais amplo
de
gerenciamento, adaptando-o s especificidades de cada projeto.
Constata-
se, ainda, ser ele um mapa que orienta as equipes e os gerentes,
alm de
tambm apresentar-se como um acordo entre os interessados sobre
os rumos
do projeto e os compromissos assumidos.
Ressalte-se que, por no ser de fcil domnio, recomendvel a
utiliza-
o de especialistas ou a capacitao terica e prtica para seu
emprego, tendo
em vista que ele evolui na mesma proporo da concretizao dos
projetos.
3) entidades de fiscalizao
Oliveira (2008) destaca que as Entidades de Fiscalizao
Superior,
como os Tribunais de Contas, esto sendo cada vez mais demandadas
para
realizar trabalhos qualitativos, abrangendo os 3Es. Estas
auditorias so de-
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA
GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs
Aes PblicAs
47desenvolvimento em Questo
nominadas operacionais ou de desempenho e buscam avaliar as
organizaes
pblicas em aspectos como eficincia, economicidade, eficcia e
efetividade.
O referido autor apresenta o impacto da incluso das auditorias
de efetividade
no rol das tradicionais atribuies destes tribunais em verificar
a regularidade
das contas pblicas, focando os aspectos legais, oramentrios,
contbeis,
financeiros e patrimoniais, realizadas via auditoria de
conformidade. Os
principais seriam a necessidade de diversificao dos seus
profissionais,
juntamente com novas rotinas, e sem esquecer o aspecto poltico,
uma vez
que os resultados podem suscitar questionamentos de natureza
poltica.
O trabalho apresenta os tipos de auditorias de desempenho,
dentre
as quais constam a de eficincia e a de efetividade de programas,
j pratica-
das em pases como Austrlia, Frana, Alemanha, Holanda, Sucia,
Reino
Unido e Estados Unidos. A primeira tem por objetivo examinar as
funes
organizacionais, os processos e os elementos de um programa para
avaliar se
os seus insumos esto sendo otimizados, focando principalmente os
custos.
Ela no implica reformulao radical da misso, do papel e da
estratgia
dos rgos de auditoria, alm do fato da eficincia ser considerada
um valor
fundamental por unanimidade (Oliveira, 2008, p. 40). J a de
efetividade
examina o impacto do programa, e sua realizao afetaria o papel,
a estratgia
e a misso, que se tornaria mais ampla e abstrata, das entidades
de fisca-
lizao. Estas mudanas ocorreriam pelo fato de esta modalidade ser
mais
complexa, no tendo um modelo rgido e padronizado como as
auditorias
de conformidade, exigindo, assim, um amplo domnio de
conhecimentos
multidisciplinares.
No se pode deixar de observar que, por mais significativos que
sejam
os achados identificados durante uma auditoria operacional, as
recomen-
daes para melhoria do desempenho da organizao auditada no
sero
completamente institudas, caso esta no disponha de recursos
suficientes
para o atendimento das sugestes realizadas. Como se pode ver, a
capacidade
contributiva das recomendaes para a melhoria da gesto pblica
pode ser
limitada pela ausncia de diversos recursos, tais como humanos,
financeiros,
-
Hironobu sano mrio Jorge frana montenegro filho
48 Ano 11 n. 22 jan./abr. 2013
polticos ou tcnicos. Sobre este ltimo, e diante da constatao do
autor a respeito da necessidade de emprego de modelos analticos na
etapa de planejamento das auditorias, artigos como o presente
buscam contribuir para a formao de um referencial terico
acessvel.
4) Planilhas
Garcia (2008) prope a adoo de duas planilhas para avaliao da
efi-cincia na gesto pblica. A apresentada na Figura 4 possui nove
indicadores relacionados gesto oramentria, financeira e
patrimonial, aos processos de aquisio, ao ndice de inovao, a
iniciativas sociais e aos servios prestados. Sendo o alcance a tais
informaes restrito, seu preenchimento s poderia ser realizado por
algum com amplo acesso, como o gestor do rgo.
Figura 4 Planilha para avaliao da eficincia na gesto
Fonte: Garcia, 2008.
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA
GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs
Aes PblicAs
49desenvolvimento em Questo
A segunda planilha, apresentada na Figura 5, empregada para
gerar o indicador Servios Prestados presente na primeira. Ela deve
ser preen-chida pelos cidados, usurios ou beneficirios dos servios
prestados pelo rgo pblico. composta por 32 indicadores relacionados
a servios pela Internet, ao atendimento prestado, s instalaes, ao
processo de solicitao do servio, resoluo do problema e ao
ps-atendimento.
Figura 5 Planilha para avaliao da eficincia nos servios
prestados
Fonte: Garcia, 2008.
-
Hironobu sano mrio Jorge frana montenegro filho
50 Ano 11 n. 22 jan./abr. 2013
O autor peca ao no explicitar como os indicadores propostos
so
elaborados e ao no distinguir outros conceitos relacionados a
eles, tais como
eficcia, efetividade e qualidade. Logo, vrios indicadores
referem-se mais ao
grau de qualidade da prestao do servio da entidade do que
propriamente
a sua eficincia (quantidade de servio x recursos).
5) estado para Resultados
O trabalho de Lemos (2009) investiga se o modelo de gesto do
Es-
tado de Minas Gerais, conduzido pelo programa Estado para
Resultados,
orientado para resultados, nos moldes do modelo de gesto
desenvolvido
pelo Banco Interamericano de Desenvolvimento (BID) juntamente
com
o Centro Latino-Americano de Administrao para o
Desenvolvimento
(Clad). A autora concluiu que a gesto estadual passou a ser
orientada para
resultados, caracterizando-se por uma cultura e um instrumental
de gesto
orientados a melhorar a eficcia, eficincia, produtividade e
efetividade no
uso dos recursos do Estado para melhorar os resultados de
desempenho
das organizaes e dos servidores pblicos (p. 34). Com isso, a
estratgia
adotada permitiria a reformulao da gesto estadual, com novos
valores e
princpios, obtendo, no longo prazo, uma nova cultura
comportamental do
setor pblico mineiro, voltado para o desenvolvimento da
sociedade com
critrios objetivos para se medir o desempenho dos resultados das
aes
governamentais (p. 47).
Ao introduzir a problemtica do seu estudo, a autora aponta
como
tendncia uma gesto pblica, provedora de servios, orientada para
o alcance
de resultados de desenvolvimento, sendo o seu garantidor, alm de
comentar
que nas ltimas dcadas o Estado vem desempenhando um
papel-chave
na criao de condies para o bem-estar social. Posteriormente,
cita a dis-
ciplina administrao para o desenvolvimento, surgida na dcada de
60,
com a finalidade de gerar uma administrao mais eficiente,
efetiva e eficaz,
capaz de criar os meios administrativos necessrios para o
desenvolvimento
poltico, econmico e social. Ademais, afirma que, para a
instituio de uma
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA
GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs
Aes PblicAs
51desenvolvimento em Questo
nova administrao para o desenvolvimento, faz-se necessrio o
estabeleci-
mento de relaes claras entre os resultados das polticas e seus
indicadores
de eficcia e efetividade. A concepo de estratgias efetivas, que
resultem
em desenvolvimento, tambm tida como central na governana da
Nova
Gesto Pblica.4
Por fim, a autora afirma ser fundamental, neste modelo de
gesto,
o fornecimento de informaes significativas e em tempo real
sociedade
sobre o desempenho do setor pblico, aspecto este que ser tratado
na
anlise seguinte.
6) Tom Web
Pires (2010) prope a adoo da Transparncia Oramentria Mu-
nicipal via Internet (TOM Web), que consiste na prestao de
contas
(accountability) pela Internet, disponibilizando em tempo real
informaes
pormenorizadas sobre sua execuo oramentria e financeira. Seu
foco so
os municpios, tendo em vista que os Estados e principalmente o
governo
federal j adotam ferramentas similares. O autor defende que a
transparncia
possibilitada por essa ferramenta um pr-requisito da eficincia
nas novas
formas de governar.
Ele introduz sua Monografia manifestando a expectativa de que,
com
a adoo do modelo proposto, haver mais transparncia nos
municpios
brasileiros devido reduo das assimetrias informacionais entre
governan-
tes e governados, ampliando assim as oportunidades para que a
cidadania
se constitua numa alavanca para governos locais mais eficientes,
efetivos,
eficazes e responsivos, necessrios ao desenvolvimento
socioeconmico e
reduo das desigualdades no pas (Pires, p. 4).
4 Originou-se das mudanas ocorridas nas administraes pblicas de
pases como a Inglaterra, em 1976. Focada em resultados, busca
aumentar a eficincia, a eficcia e a efetividade das aes
pblicas.
-
Hironobu sano mrio Jorge frana montenegro filho
52 Ano 11 n. 22 jan./abr. 2013
O TOM Web definido como um modo de gerir a arrecadao e sua
destinao, prestando contas, por meio de relatrios peridicos, via
websites,
deixando claros prazos, decises, resultados e riscos, nas fases
de planejamen-
to, aprovao, execuo e avaliao. Esta modalidade respaldada pela
Lei
Complementar 131/09, que cria a obrigatoriedade de publicao das
contas
pblicas em tempo real, via Internet, para todos os entes da
federao, com
prazo at 2013 para os municpios de at 50.000 habitantes.
Operacionalmente, o TOM Web seria um link no site de cada
prefei-
tura, contendo documentos, informaes e dados relevantes sobre o
plane-
jamento oramentrio, a sua execuo e as compras pblicas. O
aprofunda-
mento do contedo das informaes dar-se-ia de acordo com a
profundidade
da navegao empreendida pelo usurio, podendo manter-se
superficial,
atendendo assim tanto a demanda de especialistas quanto de
leigos. O seu
contedo deve ser consistente, completo e organizado,
apresentando docu-
mentos integrais e tecnicamente bem-elaborados, regularmente
atualizados
e que oferea condies de acesso fcil para qualquer usurio.
O autor relaciona os documentos considerados por ele bsicos e
ne-
cessrios como ponto de partida para elaborao do contedo e sugere
que
sejam disponibilizados canais de comunicao e materiais didticos,
como
glossrios e textos de fcil compreenso.
anlise da avaliao de programas sociais
O texto Indicadores para Diagnstico, Monitoramento e Avaliao
de Programas Sociais no Brasil, de Jannuzzi e Patarra (2006),
foi escolhido
como o principal objeto de estudo, entre todos os pesquisados,
pela sua
clareza na apresentao das ideias, facilidade de leitura e por
abranger os
mais relevantes conceitos relacionados temtica pesquisada.
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA
GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs
Aes PblicAs
53desenvolvimento em Questo
Os autores manualizaram as informaes e conceitos
fundamentais
para a avaliao de programas sociais, a seguir descritos, como o
processo
de construo de um sistema de indicadores, os quadros de avaliao
da
aderncia dos indicadores s propriedades desejveis e a taxonomia
dos
indicadores. Tambm destacam que os indicadores permitem a
operaciona-
lizao de conceitos abstratos, possibilitando, assim, seu
monitoramento e
aprofundamento da investigao acadmica, inclusive alertando para
os casos
de indicadores que adquirem o status de conceito e para as
desvantagens e
vantagens na utilizao de indicadores sintticos. Mostram quais
indicado-
res, e suas respectivas propriedades e fontes, so requeridos em
cada uma
das quatro etapas do ciclo de formulao e avaliao de programas
sociais.
Discorrem sobre a necessidade de combinao de indicadores em
programas
intersetoriais devido aos vrios objetivos envolvidos e
possibilidade de
utilizao da anlise multicritrio.
Ensinam que o processo de construo de um sistema de
indicado-
res sociais inicia-se com a determinao do objetivo do programa.
A seguir,
delineiam-se quais aes sero necessrias a sua realizao.
Posteriormente,
escolhem-se dados e estatsticas que possam acompanhar cada uma
das
aes, informando a eficincia no uso dos recursos, a eficcia no
cumpri-
mento das metas e a efetividade das mudanas. Defendem que a
escolha
dos indicadores deve ser pautada pela adeso s propriedades
desejadas (os
autores sugerem 12). Por fim, concluem ser necessrio, na etapa
de for-
mulao dos programas, prever a organizao de procedimentos de
coleta
e tratamento de informaes especficas e confiveis em todas as
fases do
ciclo de implementao, que possam permitir a construo dos
indicadores
de monitoramento desejados (Januzzi; Patarra, 2006, p. 52).
Assim, o importante que a escolha dos indicadores baseie-se em
uma
avaliao crtica das suas propriedades e no se paute simplesmente
pela
tradio de uso. Os indicadores devem ser especficos e sensveis.
Deve-se
-
Hironobu sano mrio Jorge frana montenegro filho
54 Ano 11 n. 22 jan./abr. 2013
buscar avaliar os impactos sobre os determinados grupos da
populao por
meio de indicadores subjetivos, empregando-se estratgias
metodolgicas
avaliativas de natureza qualitativa.
Sobre a eficincia, os autores sugerem analis-la a partir dos
recursos
alocados utilizando a tcnica da Anlise Envoltria de Dados (DEA).
Deriva-
da dos mtodos de pesquisa operacional, a DEA permitiria a
identificao das
unidades de operao mais eficientes. Considerando as condies
estruturais
de operao, ela leva em conta como os recursos, expressos pelos
indicado-
res de insumo, so usados para gerar os resultados finais,
representados por
indicadores de resultado como a eficcia e efetividade.
Acerca da eficcia, os citados autores destacam sua vinculao
aos
objetivos finais dos programas pblicos, sendo expressa pela
categoria de
indicadores-resultado, requeridos na ltima etapa do ciclo, que
se inicia com
o diagnstico, passa pela formulao e efetivao, findando com a
avaliao.
Ressaltam que suas propriedades permitem a identificao de boas
prticas
e dficits sociais e que as pesquisas amostrais e os registros
administrativos
so sua fonte de dados predominante.
Por fim, relativamente efetividade, destacada a dificuldade
de vinculao da poltica pblica mudana ocorrida. Por isso, o
grande
desafio relacionado a este indicador reside na obteno de dados
vlidos
que informem o alcance dos resultados e seu impacto social. Da
ser
desejvel a opinio da populao atendida pelo programa, por
fornecer
indcios da efetividade social. Alm disso, advertem ser
questionvel a
utilizao de indicadores sintticos na avaliao da efetividade
social,
posto que, por combinarem vrias medidas, no possvel vincular
uma transformao especfica como efeito direto de um
determinado
programa.
Visando a facilitar a compreenso pelos leitores do contedo
exposto,
elaborou-se o seguinte quadro comparativo com breves comentrios
acerca
dos modelos apresentados:
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA
GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs
Aes PblicAs
55desenvolvimento em Questo
Quadro 2 Comparativo entre os modelos
Modelo Vantagens Desvantagens Pode induzir o desen-volvimento
ao:
Sistema de indicadores
Possibi l idade de acompanhamento da eficincia no uso dos
recursos, a eficcia no cumprimento das metas e a efetividade das
mudanas.
Dificuldade de vincula-o da poltica pblica mudana ocorrida.
Fornecer informaes sobre o uso dos recursos pblicos, o
cumprimen-to dos compromissos governamentais e a mudana na vida dos
cidados.
B a l a n c e d Scorecard
Monitoramento sis-temtico dos resul-tados.
Dificuldades de moti-vao dos funcionrios pblicos para um
desem-penho por resultados.
Direcionar o foco de toda gesto pblica para a realizao de
efetivas mudanas sociais.
Quadro L-gico
Relaciona cada resul-tado e objetivo a um indicador.
Necessidade de especia-listas por no ser de fcil domnio.
Demonstrar com clareza quais so as mudanas desejadas.
Entidades de Fiscali-zao
Experincia em au-ditorias e indepen-dncia funcional.
Conflitos resultantes de possveis diferentes con-cluses sobre os
aspectos subjetivos da efetividade das aes.
Necessidade de um am-plo domnio de conhe-cimentos
multidiscipli-nares.
Ampliarem seu papel de fiscalizao introdu-zindo a efetividade no
rol de suas auditorias operacionais.
Planilhas Fcil estabelecimen-to e entendimento.
Desconsidera os aspectos da eficcia e efetividade.
Permitir que os cidados avaliem a qualidade e eficincia dos
servios pblicos prestados.
Estado para Resultados
Abrange os 3Es. Difcil aceitao pelos executantes (servidores
pblicos).
No avalia a coerncia dos indicadores entre si.
Mudar a cultura vigente de baixa eficincia, efe-tividade e
eficcia dos servios pblicos.
TOM Web Fomento a transpa-rncia e eficincia no uso dos recursos
municipais.
Desconsidera os aspectos da eficcia e efetividade.
Facilitar a fiscalizao da aplicao dos recur-sos municipais.
Fonte: Elaborado pelos autores, 2012.
-
Hironobu sano mrio Jorge frana montenegro filho
56 Ano 11 n. 22 jan./abr. 2013
Vale salientar que h dificuldade, especialmente nos pases da
Amrica Latina, de formar coalizes capazes de equacionar
minimamente
polticas pblicas capazes de impulsionar o desenvolvimento e
promover a
incluso social de grande parte da populao (Souza, 2006). Assim,
pode-se
deduzir que esta falta de equacionamento reflita-se em
dificuldade, obs-
curidade e desacordo quanto avaliao de tais polticas. Logo, em
relao
s informaes contidas na coluna, Pode induzir o desenvolvimento
ao,
estas derivam dos trabalhos aos quais se referem, sendo
sintetizadas para
manuteno da esttica do quadro anterior, e no confirmam a
existncia
de uma relao entre mudanas sociais e os modelos propostos. So
apenas
apresentadas possibilidades cuja comprovao carece de estudos
posteriores
e especficos para cada modelo. Esclarece-se tambm que o Estado
con-
siderado apenas um dos trs principais atores sociais, ao lado do
mercado e
da sociedade e, portanto, suas aes dependem dos demais segmentos
para
que o desenvolvimento social ocorra.
Considere-se ainda que nenhum dos modelos apresentados pode
ser
visto como uma panaceia, devendo ser consideradas as
caractersticas das
aes desenvolvidas e as peculiaridades da organizao executante,
buscan-
do sempre a mais apropriada metodologia avaliativa. Nesse
sentido alerta
Arretche (1998, p. 30), ao afirmar que o uso adequado dos
instrumentos
de anlise e avaliao so fundamentais para que no se confunda
opes
pessoais com resultados. Tambm deve ser levado em considerao o
alerta
de Lowi (1992, p. 1), que every regime tends to produce a
politics consonant
with itself 5, ou seja, os modelos de avaliao, seus indicadores
e a utilizao
dos seus resultados tende a variar de acordo com as
caractersticas da gesto
em vigor.
Por fim, quanto s trs fases da avaliao anteriormente
apresentadas
na discusso sobre Avaliao: eficincia, eficcia e efetividade
(3Es), cabe
situar os modelos apresentados em cada uma delas no quadro
seguinte.
5 Traduo livre dos autores: Cada regime tende a produzir sua
prpria poltica.
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA
GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs
Aes PblicAs
57desenvolvimento em Questo
Quadro 3 Os modelos nas trs fases da avaliao
MODELOFASEEx-ante Pari-pasu Ex-post
Sistema de indicadores
Abrange. Abrange. Abrange.
B a l a n c e d Scorecard
Pode abranger no mo-mento do planejamen-to estratgico.
Pode abranger. Abrange.
Quadro L-gico
Estimula a avaliao ao determinar com clareza os objetivos.
Possibilita por ser uma ferramenta de acompa-nhamento.
Abrange.
Entidades de Fiscalizao
No abrange. Apenas em situaes es-pecficas e sob deman-da.
Abrange.
Planilhas No abrange. No abrange. Abrange.Estado para
Resultados
Pode abranger. Abrange. Abrange.
TOM Web No abrange. Possibilita ao disponibili-zar
informaes.
Possibilita ao disponibilizar informaes.
Fonte: Elaborado pelos autores, 2012.
consideraes finais
Sendo o objetivo deste artigo apenas compilar algumas propostas
de
utilizao dos indicadores de desempenho (3Es) na gesto pblica,
d-se por
atingido o seu propsito de disponibilizar aos gestores pblicos,
num formato
acessvel, de fcil consulta e entendimento, vrios mtodos de
avaliao, con-
tribuindo assim com o constante aperfeioamento das nossas
polticas pblicas.
Sendo elas uma das principais indutoras do desenvolvimento
nacional e regional,
a consequncia direta do seu contnuo aprimoramento a melhoria na
qualidade
de vida de toda a populao. Da a relevncia de estudos como
este.
Ao adotarem-se os 3Es como parmetros para uma boa gesto
pblica,
faz-se necessria tambm a constante avaliao de alternativas para
obteno
de melhores resultados, pois a simples comparao com os efeitos
da prpria
-
Hironobu sano mrio Jorge frana montenegro filho
58 Ano 11 n. 22 jan./abr. 2013
ao governamental pode ocultar ineficincias, ineficcias e pouca
efetivida-
de, quando confrontados a outros programas. Tal necessidade
decorrente do
fato de os indicadores de desempenho serem relativos, requerendo
sempre
um padro ou um objetivo para comparao, que poder ser absoluto
(me-
tas do prprio programa), normativo (relativo a outro programa),
histrico
(resultados anteriores), terico (hiptese) ou negociado
(acordo).
So vrias as experincias e propostas existentes, cada uma com
diferentes graus de complexidade e aplicabilidade, sendo algumas
comple-
mentares entre si. A prpria diversidade e complexidade da
administrao
pblica inviabiliza a adoo de um nico mtodo, sendo necessria a
adoo
de metodologias j testadas e reconhecidas ou a escolha,
parcimoniosa e
criteriosa, das que indicam possuir o desempenho desejado e a
consistncia
nos seus resultados. Diante desta variedade, importante buscar
mtodos
de baixo custo de instalao e manuteno (eficientes), que
possibilitem o
atendimento do maior nmero de metas (eficazes) e que realmente
contri-
buam para as transformaes desejadas (efetivos).
Como muitos outros campos da Administrao, a busca por con-sensos
necessrios construo de modelos de avaliao de desempenho
amplamente aceitos ocorrer com as contribuies prticas e
tericas,
como, por exemplo, o levantamento de sete experincias realizado
neste
artigo. Enquanto persistirem as dificuldades operacionais e
conceituais, as
metodologias de avaliao carecero de uma prvia estrutura
particular de
referncia, alm do convencimento e capacitao dos envolvidos.
Tambm lcito dizer que os observatrios de polticas pblicas
constituem-se em dinmicos instrumentos de avaliao. Dentre os
exis-
tentes foram identificados o Observatrio das Metrpoles, que rene
159
pesquisadores e trabalha com 14 metrpoles e uma aglomerao
urbana, e o
Observatrio da Cidadania (2009), criado em 1995, que acompanha
os avan-
os e retrocessos em relao a diversas metas de desenvolvimento
social e
idealiza estabelecer, no mbito da sociedade civil, mecanismos
permanentes
de monitoramento e avaliao.
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA
GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs
Aes PblicAs
59desenvolvimento em Questo
Finalmente, sugere-se que futuros trabalhos busquem analisar
outras metodologias de avaliao da eficincia, eficcia e
efetividade na
gesto pblica, tais como a atuao e os impactos dos
observatrios.
referncias
ANTICO, C.; JANNUZZI, P. M. Indicadores e a gesto de polticas
pblicas. [2006?]. Dispo-
nvel em: . Acesso em: 7 jan. 2011.
ARAJO, D. A. et al. Organizaes sem fins lucrativos e a gesto
estratgica: um estudo
da eficincia operacional pelo modelo de anlise da
competitividade do Instituto
Alemo de Desenvolvimento IAD. 2008. Disponvel em:
[http://www.anpad.org.
br/evento.php?cod_evento_edicao=33]. Acesso em: 11 fev.
2011.
ARRETCHE, M. T. S. Tendncias no estudo sobre avaliao. In: RICO,
E. M.
Avaliao de polticas sociais: uma questo em debate. So Paulo:
Cortez. 1998.
BRASIL. Lei n 11.653, de 7 de abril de 2008. Dirio Oficial da
Unio, Braslia, DF,
n 67, tera-feira, 8 de abril de 2008. Seo 1, p. 5.
CARVALHO, M. C. B. Avaliao de projetos sociais. In: VILA, C. M.
Gesto de
projetos sociais. 3. ed. So Paulo: AAPCS, 2001.
COSTA, F. L.; CASTANHAR, J. C. Avaliao de programas pblicos:
desafios
conceituais e metodolgicos. Revista de Administrao Pblica, Rio
de Janeiro, v. 37
n. 5, p. 969-992, set./out. 2003.
FONTES, M. A validao e avaliao de impacto social. 2005.
Disponvel em: . Acesso em: 30 jul. 2009.
FREY, K. Polticas pblicas: um debate conceitual e reflexes
referentes prtica
da anlise de polticas pblicas no Brasil. Planejamento e Polticas
Pblicas, Braslia,
n. 21, p. 211-259, jan./jun. 2000.
GARCIA, R. L. M. Eficincia em rgos pblicos: uma proposta de
indicadores. 2008.
Dissertao (Mestrado em Administrao Pblica) FGV, Rio de Janeiro,
2008.
-
Hironobu sano mrio Jorge frana montenegro filho
60 Ano 11 n. 22 jan./abr. 2013
GHELMAN, S. Adaptando o Balanced Scorecard aos preceitos da nova
gesto pblica. Niteri. 2006. Dissertao (Mestrado em Sistema de Gesto
pela Qualidade Total) Universidade Federal Fluminense, 2006.
GUIMARES, J. R. S.; JANNUZZI, P. M. IDH, indicadores sintticos e
suas apli-caes em polticas pblicas: uma anlise crtica. Revista
Brasileira de Estudos Urbanos e Regionais, [s.l.], v. 7, n. 1, p.
73-85, maio 2005.
HARMON, M. M.; MAYER, R. T. Teora de la Organizacin para la
Administracin Pblica. Mxico: Fondo de Cultura Econmica, 1999.
JANNUZZI, P. M. Indicadores para diagnstico, monitoramento e
avaliao de programas sociais no Brasil. Revista do Servio Pblico,
Braslia, v. 56, n. 2, p. 137-160, abr./jun. 2005.
JANNUZZI, P. M.; PATARRA, N. L. Manual para capacitao em
indicadores sociais nas polticas pblicas e em direitos humanos. So
Paulo: Oficina Editorial, 2006.
LEMOS, C. S. Gesto pblica orientada para resultados: avaliando o
caso de Minas Gerais. 2009. Dissertao (Mestrado em Administrao
Pblica) FGV, Rio de Janeiro, 2009.
LOWI, T. J. The State in Political Science: How We Become What
We Study. The American Political Science Review, Washington, v. 86,
n. 1, p. 1-7, jan./mar. 1992.
LWY, M. Barbrie e modernidade no sculo XX. 2011. Disponvel em: .
Acesso em: 22 maio 2012.
MARINHO, A.; FAANHA, L. O. Programas sociais: efetividade,
eficincia e eficcia como dimenses operacionais da avaliao. Rio de
Janeiro: Ipea. 2001.
MARINI, C. Um declogo da boa gesto pblica: os desafios de um
Estado para re-sultados. 2008. Disponvel em: . Acesso em: 18 mar.
2011.
OBSERVATRIO DA CIDADANIA. Dilogos sobre violncia e segurana
pblica: razes e urgncias. Rio de Janeiro: Ibase, 2009.
OLIVEIRA, R. V. Auditoria operacional: uma nova tica dos
tribunais de contas auditarem a gesto pblica, sob o prisma da
eficincia, economicidade, eficcia e efetividade, e o desafio de sua
consolidao no TCE/RJ. 2008. Dissertao (Mestrado em Administrao
Pblica) FGV, Rio de Janeiro, 2008.
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA
GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs
Aes PblicAs
61desenvolvimento em Questo
PFEIFFER, P. O quadro lgico: um mtodo para planejar e gerenciar
mudanas. In: GIACOMONI, J.; PAGNUSSAT, J. L. Planejamento e
oramento governamental. Braslia: Enap, 2006.
PIRES, V. A. (2010). Transparncia oramentria municipal via
Internet (TOM Web) no contexto do revigoramento democrtico e
republicano: uma proposta. Disponvel em: . Acesso em: 15 abril
2011.
SOUZA, C. Polticas pblicas: uma reviso da literatura.
Sociologias, Porto Alegre, n. 16, p. 20-45, jul./dez. 2006.
SOUZA, W. J. Responsabilidade social corporativa e Terceiro
Setor. Braslia: Universidade Aberta do Brasil, 2008.
SULBRANDT, J. La evaluacin de los programas sociales: una
perspectiva crtica de los modelos usuales. In: KLIKSBERG, B.
Pobreza: un tema impostergable. Mxico: Fondo de Cultura Econmica,
1993.