Revisão Sistemática Profa. Fátima L. S. Nunes - each.usp.br · Profa. Fátima Nunes Proposta Fundamentação S Teórica Introdução Q U A L I F I C A Ç Ã O Finalização Resultados

Profa. Fátima Nunes

Revisão Sistemática

Profa. Fátima L. S. Nunes

Semana do Livro

2018 – EACH - USP


Proposta

Fundamentação Teórica

Introdução

Q U A L I F I C A Ç Ã O

• Roteiro

1) Escolha do tema

2) Delimitação do tema (objetivos)

3) Justificativa da escolha + motivação

4) Revisão da literatura especializada

5) Formulação do problema

6) Amostragem

7) Definição dos Instrumentos

8) Procedimentos

9) Análise dos dados

10) Discussão dos resultados

11) Conclusão

12) Referências bibliográficas

13) Anexos

Como elaborar um projeto?


Proposta


Introdução

Q U A L I F I C A Ç Ã O

Finalização

Resultados e

Discussões

Materiais e

Métodos

D I S S E R T A Ç Ã O

/

T

E

S

E

• Roteiro

1) Escolha do tema





6) Amostragem


8) Procedimentos



11) Conclusão


13) Anexos

Como elaborar um projeto?


Proposta


Introdução

• Roteiro

1) Escolha do tema





6) Amostragem


8) Procedimentos



11) Conclusão


13) Anexos


Como você garante que sua pesquisa é

inédita?

Questões para quem quer ser pesquisador



inédita?

Você tem certeza sobre sua contribuição?




inédita?

Você tem certeza sobre sua contribuição?

E se tiver um chato na banca?



Levantamento bibliográfico

PARA

QUÊ?


– Para quê?

• auxiliar na formulação do problema

• encontrar respostas ao problemas formulado


Profa. Fátima Nunes O que preciso saber?



Onde estão os materiais de interesse?

Como estão organizados?

Qual a melhor forma de utilização?



– Livros, teses, dissertações

– Periódicos científicos

– Conferências

– Sites específicos da Internet

Onde procurar?


Como fazer revisão com um método?

Método para revisão?



Método para revisão?

Existe um método para fazer a revisão bibliográfica?


Revisão Bibliográfica Sistemática

– Antes de definir Revisão Sistemática:

• Estudos primários: pesquisas originais

• Estudos secundários: outras RS






– Conferências







– Conferências




Meio de identificar, avaliar e interpretar toda

pesquisa relevante para um assunto em

particular.



– Metodologia de revisão rigorosa e confiável.

– Pode ser conferida, auditada, continuada.



Possibilita:

. reprodução da experiência

. atualização

. aproveitamento da pesquisa pelo grupo...



– Motivos para fazer revisão

sistemática:

• Resumir evidências existentes:

– tecnologia, benefícios, limitações, métodos.

• Identificar gaps no estado da arte

• Definir novas atividades de pesquisa.



– Vantagens:

• Resultados consistentes

• Evidências mais confiáveis

• garantia de maior cobertura do assunto

• Reprodução: documentação das fases

Resultados podem ser

PUBLICADOS



O processo

Síntese dos dados

Condução

Planejamento



Síntese dos dados

Condução

Planejamento

Identificação da necessidade da revisão

Desenvolvimento de um protocolo de revisão



Síntese dos dados

Condução

Planejamento



Seleção de estudos

Avaliação da qualidade dos estudos



Síntese dos dados

Condução

Planejamento



Seleção de estudos


Extração de dados

Agrupamento

Escrita do documento final



Qual o objetivo da revisão?

Quais fontes serão pesquisadas? Há restrições? (Análise exploratória)

Critérios de inclusão e exclusão

Dados a serem extraídos dos estudos primários?

Como dados serão sintetizados?

Síntese dos dados

Condução

Planeja-mento



Protocolo de revisão:

Especifica o método

Objetivo da revisão

Questões a serem respondidas

Estratégia que será usada: palavras-chave, locais de busca, delimitação do escopo

Critérios de seleção de estudo e procedimentos

Critérios de qualidade dos estudos

Estratégia de seleção de dados.

Definição da síntese dos dados extraídos.

Síntese dos dados

Condução

Planeja-mento



Exemplo de formulário para protocolo

(Biolchini et al., 2005)

Síntese dos dados

Condução

Planeja-mento



Síntese dos dados

Condução

Planeja-mento



Exemplo de protocolo

preenchido

Síntese dos

dados

Condução

Planeja-mento



Antes de começar a condução:

Revisão e confirmação do protocolo

Síntese dos dados

Condução

Planeja-mento


• Revisão Bibliográfica Sistemática

A busca...

Os cuidados... A seleção... Avaliação da qualidade...

Síntese dos dados

Condução

Planeja-mento



A busca...


Síntese dos dados

Condução

Planeja-mento



A busca pelos estudos primários

Identificar revisões sistemáticas já existentes

Avaliar o volume de estudos potencialmente relevantes

Triagens usando combinações de palavras-chave derivadas das questões formuladas

Rever resultados da pesquisa

Consultas com especialistas da área

Fontes e palavras-chaves: análise exploratória

Síntese

dos dados

Condução

Planeja-mento



A busca...


Síntese dos dados

Condução

Planeja-mento



Os cuidados

Preconceitos de publicações

resultados positivos são melhores que

negativos

Gerenciamento da bibliografia e

obtenção de documentos

Aplicativos: Endnote, Reference Manager,

planilhas eletrônicas, Zotero

Documentação da busca

um formulário para cada busca em cada base

de dados

Síntese dos dados

Condução

Planeja-mento



A busca...


Síntese dos dados

Condução

Planeja-mento



A seleção efetiva dos estudos

• Critérios de seleção: protocolo

• E se precisar mudar?

Protocolo é um planejamento

passível de alteração

Síntese dos dados

Condução

Planeja-mento




Como decidir se inclui e exclui?

Título

Abtract

Obter cópia dos documentos.

incluir ou excluir após avaliar texto

completo.

manter uma lista dos excluídos, com

motivos. Síntese

dos dados

Condução

Planeja-mento

Suficiente para excluir vários




Confiabilidade das decisões de inclusão

Deve haver unanimidade entre

pesquisadores do grupo.

Senão, discutir os motivos.

Síntese dos dados

Condução

Planeja-mento



A busca...


Síntese dos dados

Condução

Planeja-mento




Critérios definidos no protocolo

Fornece critérios de inclusão e exclusão mais detalhados

Favorece análise quantitativa

Dirigir a interpretação do material encontrado

Tecer recomendações para pesquisas adicionais

Síntese dos dados

Condução

Planeja-mento



Avaliação qualidade dos estudos

Exemplo: • Periódico/conferência: [1|0,5]

•Qualis/JCR/h-index: [0-1]

•Completo/curto/resumo: [0|0,5|1]

• Presença de gráficos: [0-1]

•Metodologia clara : [0-1]

• Total possível: 5 pontos

• Exclusão de artigos < 2 pontos

Síntese dos dados

Condução

Planeja-mento



Exemplo de formulário

para condução


Síntese dos dados

Condução

Planeja-mento



Síntese dos dados

Condução

Planeja-mento



Síntese dos dados

Condução

Planeja-mento




de condução preenchido

Síntese dos dados

Condução

Planeja-mento



A extração dos dados ...

O agrupamento dos dados...

O planejamento do relatório/artigo...

A escrita do relatório/artigo

Síntese dos dados

Condução

Planeja-mento







Síntese dos dados

Condução

Planeja-mento



A extração dos dados

Posso excluir estudos nesta fase?

Síntese dos dados

Condução

Planeja-mento




Posso excluir estudos nesta fase?

Sim! Sempre! A revisão é sua !!!!

Síntese dos dados

Condução

Planeja-mento




O que extrair: protocolo

Atributos importantes para a pesquisa

Exemplos: nome do método, formas de avaliação, métricas usadas

Formulário de extração de dados:

todos os dados necessários para referência

um para cada estudo incluído

Eliminar múltiplas publicações dos mesmos dados

Síntese dos dados

Condução

Planeja-mento




para extração de dados


Síntese dos dados

Condução

Planeja-mento



Síntese dos dados

Condução

Planeja-mento







Síntese dos dados

Condução

Planeja-mento



O agrupamento dos dados

Como interpretar os dados extraídos?

Como tecer uma visão geral?

Agrupamento que faça sentido Exemplo:

por tipo de método/técnica

por área de aplicação

Síntese dos dados

Condução

Planeja-mento







Síntese dos dados

Condução

Planeja-mento



O planejamento do relatório/artigo

Quais dados relacionar?

Ex: quantidade de técnicas/ano

Que gráficos?

Mais interessantes são aqueles que relacionam dados

Que tabelas?

Ex: porcentagem de cada tipo de dispositivos de

interação

Síntese dos dados

Condução

Planeja-mento



O planejamento do relatório/artigo

Que resultados apresentar?

Qual é o foco do relatório?

O que ainda não foi dito sobre o assunto?

O que discutir?

Quais são as tendências?

Quais são os desafios?

Quais são as oportunidades de pesquisa?

Síntese dos dados

Condução

Planeja-mento







Síntese dos dados

Condução

Planeja-mento




Usa-se o planejamento anterior

Qual a contribuição deste artigo?

Já existem outras revisões?

Qual o diferencial?

Qual a motivação?

Síntese dos dados

Condução

Planeja-mento



Consulte e estude outros artigos de RS

Síntese dos dados

Condução

Planeja-mento



O artigo

Introdução

Materiais e métodos

Resultados

Discussões

Conclusões

Síntese dos dados

Condução

Planeja-mento



O artigo

Introdução

Metodologia: o processo de RS

Diagramas são bem vindos!

Resultados: uma ou várias seções

Divisão: agrupamento da fase anterior

Discussões: parte mais importante

Mostra sua contribuição

Tendências, desafios

Pontos inexplorados, oportunidades de pesquisa

Conclusões Lições aprendidas com a RS

Síntese dos dados

Condução

Planeja-mento


Para finalizar...



Para finalizar...

É trabalhoso...

É demorado...



Não demora mais que a tradicional se usar ferramentas

adequadas!

Resultados são muito melhores!




http://lapes.dc.ufscar.br/tools/start_tool


Referências Bibliográficas

• Kitchenham, B. A.; Dyba, T.; Jørgensen, M. (2004). Evidence-based

Software Engineering, Proceedings of the 26th International

Conference on Software Engineering (ICSE’04), Scotland.

• Biolchini, J., Mian, P. G., Natali, A. C. C., and Travassos, G. H.

(2005). Systematic review in software engineering. Technical

report, RT–ES 679/05 System Engineering and Computer Science

Dept., COOPE/UFRJ.

• Mafra, S.N., Travassos, G. H. (2006). Estudos primários e

secundários apoiando a busca por evidência em Engenharia de

Software. Relatório Técnico, RT-ES 687/06, Travassos, G. H.




Fátima L. S. Nunes

Profa [email protected]

Revisão Sistemática Profa. Fátima L. S. Nunes - each.usp.br · Profa. Fátima Nunes Proposta Fundamentação S Teórica Introdução Q U A L I F I C A Ç Ã O Finalização Resultados

Documents