Avaliação dos projetos de P&D da CHESF: passos metodológicosapi.ning.com/files/K5EyQbUmZFBzwVvULQqzUEp*IvUvONLvrL4RddUolmV7... · Avaliação dos projetos de P&D da CHESF: passos

Edmundo Inácio Jr. (FCA/UNICAMP)

Cássio Garcia Ribeiro (Franca/UNESP)

André Tosi furtado (DPCT/IG/UNICAMP)

Gabriela Silva (DPCT/IG/UNICAMP)

Abraham Sicsú (FUNDAJ-UFPE)

Luciana Távora (FUNDAJ)1

Avaliação dos projetos de P&D da CHESF: passos

metodológicos

Estrutura da apresentação

2

1. Introdução

2. Justificativa3. Modelo subjacente

4. A tarefa de avaliação

5. Breve histórico do Programa

6. Passos metodológicos

6.1 População e amostra6.2 Pesquisa Documental6.3 Survey6.4 Workshops6.5 População e

amostra6.6 Consolidação dos

dados6.7 Estudos de caso

7. Conclusões

1. Introdução

3

� Década de 90 – processo de privatização do setorde energia elétrica brasileira;

� Criação da Agência Nacional de Energia Elétrica(ANEEL) – 1996;

� Lei 9.991/2000 – obrigatoriedade de investir umpercentual mínimo de suas Receitas OperacionaisLíquidas (ROL) em projetos de P&D;

� Lei incentivou as atividades de inovação no setorelétrico;

2. Justificativas

4

Utilidade:

� Ciência e Tecnologia têm importância crescente para o desenvolvimento econômico e social;

� Controle dos Gastos Governamentais;

� Contabilidade e Transparência dos Resultados;

� Alimentar com informações as Políticas de C&T;

3. Modelo subjacente

5

� A escolha do que medir, como e quando e a forma de interpretar os resultados depende de um modelo subjacente de inovação;

� Enfoque neoclássico percebe o progresso técnico como exógeno;

� Enfoque Alternativo ou Heterodoxo: modelo interativo de inovação.


6

� Atribuir impactos econômicos e sociais a uma determinada intervenção pública;

� Hiato temporal entre a produção de conhecimentos e a realização dos impactos;

� Imprevisibilidade dos resultados do processo de inovação;

� Atribuição da causalidade;

� Portanto, eficácia das avaliações é limitada:� conhecimento incompleto;

� interpretações diferentes.


7

� Não é uma atividade rotineira: exige um importante esforço de pesquisa;

� Contribui para o entendimento do processo de inovação : abrir a caixa preta;

� A comunidade de avaliação de P&D ainda não está institucionalizada:� publicações em relatórios pouco divulgados;� pouco debate científico nacional.

8

� Manual de P&D da Aneel define operacionalmente como deverão ser os projetos de P&D e os programas a serem submetidos anualmente pelas concessionárias� Houve alterações entre o Manual de 2001 e de 2008,

mas para efeito da avaliação valeram as regras do Manual de 2001

� Critérios para Avaliação (Manual 2001)“O sucesso de um projeto de P&D depende de dois fatores básicos: da natureza dos produtos quanto à criatividade científica e inovação tecnológica, por um lado, e da sua potencialidade aplicativa pelo outro.”

5. Breve histórico do programa

9

Arranjo Institucional do Programa� Empresa Concessionária Contratante do Projeto de P&D:

� Determina os objetivos gerais do Projeto� Financia o Projeto� Gerencia e acompanha a execução do projeto� Participa da execução do Projeto� Implementa a tecnologia na empresa � Comercializa a tecnologia� � Gerente do Projeto

• Entidade executora do Projeto de P&D� Submete o projeto à entidade executora� Determina o conteúdo técnico do Projeto� Executa o projeto � � Coordenador do Projeto

• Aneel� determina as regras gerais de funcionamento do programa de P&D� aprova os projetos� Acompanha a execução dos projetos

5. Breve histórico do programa

6. Passos metodológicos

10

� Temporalidade: ex-post;

� Fase: resultados e impactos (in)diretos (nãoconcepção e nem implementação);

� Indicadores: quanti-qualitativos;

� Dados: Secundários e primários;

� Técnicas: pesquisa documental; surveys;workshops; entrevistas para estudos de caso.

Objetivo: apresentar a proposta metodológica criada e aplicada paraavaliar os projetos de pesquisa e desenvolvimento (P&D) da carteira daANEEL da Companhia Hidro Elétrica do São Francisco (CHESF).

Tabela 1 – Portfólio de Projetos de P&D da CHESF

6.1 População e amostra

11

6.2 Pesquisa documental

12

� Apoiada em dados secundários contidas nosprojetos originais e nos relatórios quadrimestrais dosprojetos já concluídos;

� Analise dos 67 projetos concluídos;

� Por meio dessas tabulações iniciais foi possível aconstrução de uma visão geral do portfólio deprojetos de P&D da CHESF, auxiliando naelaboração dos questionários aplicados no survey;

� Dados sobre recursos financeiros, entidadesparticipantes, e áreas tecnológicas abrangidaspermitiram atestar a validade da amostra do survey;

6.3 Survey

13

� Abordaram questões não capturadas na pesquisadocumental;

� Pré-teste: aplicados a 3 projetos (Houve 5 versõesde ambos os questionários).

� Questionário autoaplicável, enviado por e-mail aosrespondentes com uma carta de apresentação.Primeiramente foi feito o contato com osrespondentes por telefone, para colocá-los a par doestudo, e assim destacar sua importância para aCHESF;

� 2 Tipos de Questionários: Coordenador e Gerenteque enfocam aspectos complementares e pontos devistas distintos do processo de inovação

6.3 Survey

14

� Variáveis Relevantes:

� Insumos: recursos humanos mobilizados, recursos financeiros

� Produtos: produção científica, resultados tecnológicos e não tecnológicos (diretos e indiretos), processo de transferência de tecnologia

� Mudanças Estruturais: formação de capital humano, mudança organizacional, formação de redes;

� Relações de Causalidade: Consecução dos Objetivos, grau de contribuição do programa, Visão do Programa

Impactos: Econômicos, Sociais e Ambientais

6.4 Workshop

15

� Após três meses do início do survey, de 134questionários:

� 30 questionários recebidos pela equipe, o querepresenta aproximadamente 22% do conjunto dequestionários;

� Os gerentes e coordenadores foram convidados aparticipar de dois workshops: Recife, na sede daCHESF e no Rio de Janeiro, sede do CEPEL;

� Após os workshops houve uma ampliaçãosignificativa da taxa de retorno.

6.5 População e amostra

16

Tabela 2 – Projetos concluídos, total e com questionários retornados por

entidade, segundo ciclo

6.6 Consolidação dos dados

17

� Tratamento e processamento dos dados;

� Construção do banco de dados;

� Criação dos indicadores.

18

Tratamento dados faltantes

� Mesmo após a fase de validação dos questionários, há ainda ocorrência de:� Dados faltantes;� Dados incorretos;� Digitação errada;

� Nestes casos pode-se:� Excluir da tabulação;� Substituir pela média;� Voltar a consultar a fonte de informação (normalmente

custosa).


Screen shots do Banco de Dados

19



20



21



22



23

Criação dos indicadores

� Introduzido o conceito de “Grau de Paternidade”;

� Indicadores que o utilizam:

� Recursos humanos formados;� Produção científica;� Propriedade intelectual e � Novo projeto de P&D conseguido.

� Informado pelos respondentes;� De forma simples, o grau de paternidade expressa

em que medida (em uma escala de 0 a 10) o projeto CHESF contribuiu para o alcance de determinado resultado.


24

Criação dos indicadores

� A racionalidade por traz desse elemento reside nofato da dificuldade de se isolar os efeitos de outrasvariáveis em uma relação de causalidade nasciências sociais.

� Nesse sentido, tome como exemplo a relação entrea formação de um mestre e sua participação noprojeto CHESF. A questão é: a formação dessemestre só foi possível devido a sua participação noprojeto?

GRAU DE PATERNIDADEMedida subjetiva, conversadora dessa causalidade

6.7 Estudos de casos

25

� Estudos de caso com o intuito de obter mais profundidade (8 casos) sobre os impacto (econômico, social, ambiental) e as questões de TT;

� Entrevista semiestrutura com: gerente e usuário da tecnologia;

� Os critérios para a escolha dos Casos foram os seguintes:� Projetos concluídos há mais de dois anos;� Projetos cujos questionários indicassem resultados

relevantes;� Projetos oriundos de diferentes áreas de atuação da

empresa;� Projetos com resultados em diferentes estágios de

implementação, desde a fase de protótipo laboratorialaté a de unidade de produção;

� Projetos de diferentes concepções, desde sócio-econômicos ou ambientais, até os estritamente

7. Conclusões: survey

26

� Sobre os Insumos� Recursos financeiros destinaram-se aos Recursos Humanos

de Executora� Participação Expressiva dos Recursos Humanos da Chesf

� Sobre a Implementação� Proporção elevada de projetos atrasados

� Resultados :� Elevada Consecução dos Objetivos dos Projetos � Expressiva formação de recursos humanos nas entidades

executoras e na Chesf� Expressiva produção científica tanto da executora como da

proponente� Expressiva produção tecnológica (2 resultados/projeto)

� Porém:� Entidade Executora e Proponente apresentaram importantes

obstáculos internos relacionados à burocracia e falta de prioridade estratégica para a implementação das tecnologias e a transferência

� Parcela menor das tecnologias alcançou o estágio industrial e

7. Conclusões: estudos de Caso

27

� Achados:� O sucesso na implantação dependeu basicamente de 2 fatores

internos à Chesf:� Envolvimento de técnicos da Chesf no desenvolvimento das

tecnologias do projeto� Alinhamento do projeto com as estratégias e as demandas

tecnológicas da Chesf � Contudo, observou-se que uma parcela significativa dos casos

não implantou e nenhum dos casos transferiu a terceiros as tecnologias

� Obstáculos identificados nas Entrevistas à Inovação na CHESF� Falta de valorização da inovação (percebida muitas vezes como

prestação de serviços) pela cultura organizacional da empresa;� Falta de preocupação em proteger os novos conhecimentos

tecnológicos gerados pelos projetos;� Falta de mobilização de esforços complementares;� Demora causada pelos procedimentos administrativos dos

projetos;� Dificuldade para aquisição de equipamentos científicos;

7. Conclusões: sugestões do Estudo

28

� Reforço e reconhecimento da atividade de P&D interna na CHESF

� Criação de um sistema mais efetivo de gestão da inovação dentro da empresa:� Alinhamento estratégico da atividade de P&D� Gestão mais eficiente dos projetos de P&D (redução

dos custos de transação)� Inserção do projeto de P&D em um projeto de

inovação que acompanhe o projeto até sua efetiva implementação

� Mobilização de recursos para a proteção da propriedade intelectual e a difusão da tecnologia

5. Conclusões

29

�Tal metodologia revelou-se um instrumentobastante adequado para avaliar deforma maisampla os desdobramentos dos projetos deP&D;

�Não há um único método que poderiaabranger todas as dimensões dos resultados eimpactos decorrentes dos programas de P&D;

�Permitiu à CHESF avaliar sistematicamente osimpactos dos investimentos no programa deP&D.

Referências

30

� ANDRADE, M. Introdução à metodologia do trabalho científico. 3. ed. São Paulo: Atlas, 1998.

� COOPER, D. R.; SCHINDLER, P. S. Métodos de pesquisa em administração. Porto Alegre. Bookman, 2004.

� DODGSON, M.; HINZE, S. Indicators used to measure the innovation process: defects and possibles remedies. Research Evaluation, vol. 8, nº 2, pp. 101-124, August 2001.

� DOSI, G. The nature of innovative process. In: Dosi, G. et al. (orgs.), Technical

Change and Economic Theory, Londres & Nova York: Pinter Publisher, p.221-238, 1988.

� GIL, A. C. Como classificar as pesquisas? In: Gil, AC. Como elaborar projetos de

pesquisa. 4ª edição. São Paulo: Atlas, 2002. p. 41-58.

� GÜNTHER, H. Como elaborar um questionário. Planejamento de Pesquisa nas Ciências Sociais, n. 1, Brasília – DF, 2003.

� KLINE, S; ROSENBERG, N. An Overview of Innovation. In: Landau, R; Rosenberg, N. (orgs.), The Positive Sum Strategy, Washington, DC: National Academy of Press, 1986.

� LAKATOS, M. E.; MARCONI, M. Técnicas de pesquisa. São Paulo: Atlas, 1999. 260 p.

� LOUIS LENGRAND e ASSOCIÉS. SMART INNOVATION: A Practical Guide to Evaluating Innovation Programmes. 2006.

LÜDKE, Menga. & ANDRÉ, Marli E. D. A. Pesquisa em educação: abordagens

Avaliação dos projetos de P&D da CHESF: passos metodológicosapi.ning.com/files/K5EyQbUmZFBzwVvULQqzUEp*IvUvONLvrL4RddUolmV7... · Avaliação dos projetos de P&D da CHESF: passos

Documents