Consumo de informação e critérios de avaliação: o desempenho dos periódicos nacionais
Post on 05-Dec-2014
1971 Views
Preview:
DESCRIPTION
Transcript
Consumo de informação e critérios de avaliação:
o desempenho dos periódicos nacionais
Rogério Mugnaini
Introdução
Política Científica
O conhecimento destas peculiaridades (consumo de informação) permite às comunidades científicas das diversas áreas a incrementarem seu complexo sistema de avaliação.
Consumo de informação na produção científica
A análise exploratória das referências bibliográficas dos artigos ao longo do tempo revelam a tipologia documental mais prevalente em cada área, assim como sua obsolescência.
Rogério Mugnaini | SciELO 15 anos
Metodologia
• Consumo de informação na produção científica brasileira
– A análise estatística descritiva das referências bibliográficas dos artigos de autores brasileiros na Rede SciELO;
– Período: 2004-2012, correspondente aos últimos 3 triênios de avaliação da Capes.
Rogério Mugnaini | SciELO 15 anos
Metodologia • Política Científica brasileira
– Informação qualitativa, derivada das decisões dos comitês, que definem os critérios específicos para avaliação de produção científica de cada área.
– Análise documental dos documentos de área propostos pelas comissões das 46 Áreas de Avaliação do Qualis (triênio 2007 - 2009).
– Rica fonte de informação, fruto de consenso entre os pesquisadores, que oferece os aspectos contextuais do processo de comunicação científica de cada área.
Rogério Mugnaini | SciELO 15 anos
Metodologia – Política Científica brasileira
• Relevância dos seguintes quesitos para definição de critérios: livros > periódicos científicos > bases de dados e Fator de Impacto
– Consumo de informação na produção científica brasileira • Obsolescência da literatura (percentual de citações a
documentos recentes – 1 e 2 anos); • Peso atribuído a periódicos científicos na avaliação geral do PPG; • Prevalência das citações a:
livros > periódicos científicos indexados (SciELO ou Web of Science) ou não
Rogério Mugnaini | SciELO 15 anos
Política Científica brasileira • Estudo dos critérios para classificação dos periódicos (Qualis) das
diferentes Áreas de Avaliação de cada uma das Grandes Áreas?
Rogério Mugnaini | SciELO 15 anos
AGRICULTURAL SCIENCES AGRIC ENGINEERING I ENG 1 ANTHROPOLOGY / ARCHAEOLOGY ANTR, ARCHANIMAL SCIENCE / FISHING RESOURCES AN-SCI, FISH ENGINEERING II ENG 2 EDUCATION EDUCFOOD SCIENCE AND TECHNOLOGY FOOD S&T ENGINEERING III ENG 3 GEOGRAPHY GEOGRVETERINARY MEDICINE VET-MED ENGINEERING IV ENG 4 HISTORY HIST
PHILOSOPHY / THEOLOGY PHIL, THEOLAPPLIED SOCIAL SCIENCES APP-SOC-SCI ASTRONOMY / PHYSICS ASTR, PHYS POLITICAL SCIENCE AND INTERNATIONAL RELATIONS POL-SCI, INT-RELARCHITECTURE, URBAN PLANNING AND DESIGN ARCHT, URB, DESN CHEMISTRY CHEM PSYCHOLOGY PSYCHBUSINESS, ACCOUNTING (SCIENCES ) AND TOURISM BUS, ACC, TOUR COMPUTER SCIENCE COMP SOCIOLOGY SOCIOLECONOMICS ECON GEOSCIENCES GEOSCLAW LAW MATH / PROBABILITY AND STATISTICS MATH, PROB, STAT ARTS / MUSIC ART, MUSCSOCIAL SERVICES / DOMESTIC ECONOMY SOC-SERV, DOM-ECON LETTERS / LINGUISTICS LETT. LINGURBAN AND REGIONAL PLANNING / DEMOGRAPHICS URB-REG-PLAN, DEMOG DENTISTRY DENT
MEDICINE I MED 1 BIOTECHNOLOGY BIOTECHBIOLOGICAL SCIENCES I BIO 1 MEDICINE II MED 2 INTERDISCIPLINARY INTERDBIOLOGICAL SCIENCES II BIO2 MEDICINE III MED 3 MATERIALS MATER-SCIBIOLOGICAL SCIENCES III BIO 3 NURSING NURS SCIENCE AND MATH TEACHING SCI&MATH -TEACHECOLOGY AND ENVIRONMENT ECOL, ENV PHARMACY PHARM
PHYSICAL EDUCATION PHYS-EDUCPUBLIC HEALTH PUB-HEAL
Human Sciences
Linguistics, Letters and Arts
Multidisciplinar
Agricultural Sciences
Applied Social Sciences
Biological Sciences
Engineering
Exact and Earth Sciences
Health Sciences
Lista de acrônimos (em inglês) das Áreas de Avaliação e respectivas Grandes Áreas
Política Científica brasileira
Quais índices de citação são utilizados pelas diferentes Áreas de Avaliação
das Grandes Áreas?
Rogério Mugnaini | SciELO 15 anos
Política Científica brasileira
0%
25%
50%
75%
100%Ciências Agrárias (4)
Ciências Biológicas (4)
Ciências da Saúde (8)
Ciências Exatas e da Terra (5)
Engenharias (4)Multidisciplinar (4)
Ciências Sociais Aplicadas (7)
Ciências Humanas (8)
Linguística, Letras e Artes (2)
WoS SciELO SCOPUS
Mapeamento da utilização de bases de dados para definição de critério de avaliação de periódicos do estrato A1, segundo Grande Área e número de Áreas de Avaliação.
(Mugnaini e Sales, 2011)
Rogério Mugnaini | SciELO 15 anos
Política Científica brasileira
Quais Áreas de Avaliação • Definem critérios para avaliação de livros • Consideram a indexação na SciELO como critério de
qualidade ?
E qual o peso atribuído a • Periódicos, em relação ao total de pontos de avaliação dos
Programas de Pós-Graduação ?
E qual o valor do Fator de Impacto exigido para o estrato mais alto (A1)?
Rogério Mugnaini | SciELO 15 anos
Política Científica brasileira
BIO 25% BIO2 14 4.7 BIO 25% BIO 3 20 4.9MED 2 20 3.8MED 1 20 3.8ODONT 20 3.1MED 3 20 3
ASTR, FÍS 17.5 6 QUÍM 21 4COMP 26 1.4 GEOC 24 2.8
MAT, PROB, ESTAT 26 1MED-VET 22 2.6AGRIC 22 2
MULT 25% CI-MATER 17.5 1ENG 4 17.5 1 ENG 25% ENG 2 20 1ENG 3 17.5 -
18.5 3.3 21.0 2.7
EXA 40%
ENG 50%
Média
AGR 50%
SciELO SIM SciELO NÃOGrande
Área %Área de
AvaliaçãoPeso
Periódic
FI JCRFI JCR
Média
Livro NÃO
SAÚ 50%
EXA 60%
Peso Periódico
Área de Avaliação%
Grande Área
Diversos critérios de avaliação utilizado pelas diversas Áreas de Avaliação, dentro das Grandes Áreas.
(Miranda e Mugnaini, 2013) Rogério Mugnaini | SciELO 15 anos
BIOTEC 16 5 MULT 25% INTERD 21 -ENS-CI&MAT 17.5 -BIO 1 15.8 4.1ECOL, AMB 20 3C&T ALIM 22 2.6ZOOT, PESC 22 2FARM 16 3 SAÚ 13% SAÚ-PUB 16 4EDUC-FÍS 16 1.9ENF 16 0.8
ENG 25% ENG 1 17.5 0.8ADM, CONT, TU 22.8 0.5 URB&PLAN-REG, D 17.5 -ECON 22.8 - SERV-SOC, ECON-D 16 -ARQ, URB, DES 16 - CI-SOC-AP 16 -
DIR 16 -FIL, TEOL 17.5 - GEOGR 14 0.5EDUC 17.5 - PSIC 17.5 -
CI-POL, REL-INT 24 -SOCIOL 20 -ANTR, ARQ 16 -HIST 14 -
LING, LET 20 -ART, MUSC 12 -
18.1 2.4 17.3 2.3
Livro SIM SciELO SIMSciELO NÃO
Grande Área %
Área de Avaliação
Peso Periódico FI JCR
MULT 50%
LLA 100%
BIO 50%
AGR 50%
SAÚ 38%
SOC 57%SOC 43%
HUM 25%
Média
Grande Área %
Área de Avaliação
Peso Periódic
FI JCR
HUM 75%
Média
(Miranda e Mugnaini, 2013) ... continuação Rogério Mugnaini | SciELO 15 anos
Política Científica brasileira
Qual o valor médio de Fator de Impacto
exigido pelas Áreas de Avaliação de cada Grande Área?
Áreas de Avaliação que avaliam livros
apresentam diferente nível de exigência do Fator de Impacto?
Rogério Mugnaini | SciELO 15 anos
Política Científica brasileira
0,000 1,000 2,000 3,000 4,000 5,000 6,000
Ciências BiológicasCiências Exatas e da Terra
MultidisciplinarCiências da SaúdeCiências Agrárias
EngenhariasCiências Sociais Aplicadas
Ciências HumanasLinguística, Letras e Artes Média do
Fator de Impactodas Áreas de Avaliação
Livro Não Livro Sim
Média do Fator de Impacto utilizado , pelas diversas Áreas de Avaliação das Grandes Áreas, como critério de classificação de periódicos do mais alto estrato (A1).
Rogério Mugnaini | SciELO 15 anos
Política Científica brasileira
Qual o valor médio do peso atribuído a periódicos científicos na avaliação geral do Programa de Pós-Graduação definido pelas Áreas de Avaliação de cada Grande Área?
Áreas de Avaliação que destacam periódicos
SciELO apresentam diferente nível de peso atribuído a periódicos?
Rogério Mugnaini | SciELO 15 anos
Política Científica brasileira
0,0 5,0 10,0 15,0 20,0 25,0
Ciências Exatas e da Terra
Ciências Agrárias
Multidisciplinar
Ciências Sociais Aplicadas
Engenharias
Ciências Humanas
Ciências da Saúde
Ciências BiológicasMédia do Peso (%) dosperiódicosnas Áreas de Avaliação
SciELO Não SciELO Sim
Média do peso percentual atribuído à produção em periódicos, pelas diversas Áreas de Avaliação das Grandes Áreas.
Rogério Mugnaini | SciELO 15 anos
Consumo de informação na produção científica brasileira (tipo de documento citado)
Rogério Mugnaini | SciELO 15 anos
Quais são os tipos de documento mais citados nos artigos de brasileiros publicados nos periódicos da Rede SciELO das diferentes
Grandes Áreas?
Consumo de informação na produção científica brasileira (tipo de documento citado)
0% 20% 40% 60% 80% 100%
Ciências AgráriasCiências da Saúde
Ciências BiológicasCiências Exatas e da Terra
EngenhariasCiências Sociais Aplicadas
Ciências HumanasLinguística, Letras e Artes
Livro Periódico WoS Periódico SciELO Outros periódicos
Teses Anais Outros documentos
Distribuição das referências bibliográficas dos artigos de brasileiros na Rede SciELO, segundo tipo de documento citado, e Grande Área – período de 2004-2012
Rogério Mugnaini | SciELO 15 anos
Consumo de informação na produção científica brasileira (tipo de documento citado)
Rogério Mugnaini | SciELO 15 anos
Qual é o percentual de citações a livros nas Grandes Áreas, nos períodos relativos aos últimos 3 triênios de avaliação da Capes?
0% 10% 20% 30% 40% 50% 60%
Linguística, Letras e ArtesCiências Humanas
Ciências Sociais AplicadasCiências Agrárias
EngenhariasCiências da Saúde
Ciências BiológicasCiências Exatas e da Terra % do consumo:
Livros
2004-2006 2007-2009 2010-2012
Consumo de informação na produção científica brasileira (tipo de documento citado)
Percentual de citações a livros nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012
Rogério Mugnaini | SciELO 15 anos
Consumo de informação na produção científica brasileira (tipo de documento citado)
Rogério Mugnaini | SciELO 15 anos
Qual é o percentual de citações a periódicos Web of Science (WoS) nas Grandes Áreas, nos
períodos relativos aos últimos 3 triênios de avaliação da Capes?
0% 10% 20% 30% 40% 50% 60%
Ciências Exatas e da TerraCiências da Saúde
Ciências BiológicasEngenharias
Ciências AgráriasCiências Sociais Aplicadas
Ciências HumanasLinguística, Letras e Artes % do consumo:
PeriódicosWoS
2004-2006 2007-2009 2010-2012
Consumo de informação na produção científica brasileira (tipo de documento citado)
Percentual de citações a periódicos Web of Science nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012
Rogério Mugnaini | SciELO 15 anos
Consumo de informação na produção científica brasileira (tipo de documento citado)
Rogério Mugnaini | SciELO 15 anos
Qual é o percentual de citações a periódicos SciELO nas Grandes Áreas, nos períodos
relativos aos últimos 3 triênios de avaliação da Capes?
0% 5% 10% 15% 20% 25%
Ciências AgráriasCiências da Saúde
Ciências BiológicasCiências Humanas
Ciências Sociais AplicadasCiências Exatas e da Terra
EngenhariasLinguística, Letras e Artes % do consumo:
PeriódicosSciELO
2004-2006 2007-2009 2010-2012
Consumo de informação na produção científica brasileira (tipo de documento citado)
Percentual de citações a periódicos SciELO nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012
Rogério Mugnaini | SciELO 15 anos
Consumo de informação na produção científica brasileira (obsolescência)
Rogério Mugnaini | SciELO 15 anos
Qual é o percentual de citações captado pela janela de citação de 2 anos (citações recentes, conforme computado pelo Fator de Impacto) -
considerando-se periódicos Web of Science (WoS) sendo citados nas Grandes Áreas -, nos
períodos relativos aos últimos 3 triênios de avaliação da Capes?
0% 2% 4% 6% 8% 10% 12%
Ciências Exatas e da TerraCiências da Saúde
EngenhariasCiências BiológicasCiências Humanas
Ciências AgráriasCiências Sociais AplicadasLinguística, Letras e Artes
% jan. 2 anos:Periódicos WoS
2004-2006 2007-2009 2010-2012
Consumo de informação na produção científica brasileira (obsolescência)
Representatividade das citações a artigos de um ou 2 anos de idade de periódicos Web of Science nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012 Rogério Mugnaini | SciELO 15 anos
Consumo de informação na produção científica brasileira (obsolescência)
Rogério Mugnaini | SciELO 15 anos
Qual é o percentual de citações captado pela janela de citação de 2 anos (citações recentes, conforme computado pelo Fator de Impacto) -
considerando-se periódicos SciELO sendo citados nas Grandes Áreas -, nos períodos
relativos aos últimos 3 triênios de avaliação da Capes?
0% 4% 8% 12% 16% 20% 24% 28%
Ciências Exatas e da TerraCiências da Saúde
EngenhariasLinguística, Letras e Artes
Ciências AgráriasCiências Biológicas
Ciências Sociais AplicadasCiências Humanas % jan. 2 anos:
Periódicos SciELO
2004-2006 2007-2009 2010-2012
Representatividade das citações a artigos de um ou 2 anos de idade de periódicos SciELO nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012 Rogério Mugnaini | SciELO 15 anos
Consumo de informação na produção científica brasileira (obsolescência)
Política Científica X Consumo de informação
Rogério Mugnaini | SciELO 15 anos
Utilizando todas as variáveis anteriores, recorre-se à análise de clusters para reconhecer
características comuns das Grandes Áreas!
Política Científica X Consumo de informação
Análise multivariada dos indicadores anteriores (política científica e consumo de informação), para definição de clusters das Grandes Áreas Rogério Mugnaini | SciELO 15 anos
Política Científica X Consumo de informação
Rogério Mugnaini | SciELO 15 anos
Para cada cluster das Grandes Áreas, são identificados os indicadores
cuja magnitude pode ser considerada Destacada, Alta ou Moderada!
Política Científica X Consumo de informação
Níveis de magnitude dos indicadores anteriores, segundo os clusters das Grandes Áreas.
ModeradoAlto
Destacado
Níveis
% jan. cit. Média (FI) Peso % Per. SciELO Per. SciELO Per. WoS Livros
Ciências Agrárias 1Ciências BiológicasCiências da SaúdeEngenhariasCiências Exatas e da Terra 3Ciências HumanasCiências Sociais AplicadasLinguística, Letras e Artes 5
4
2
Grande Área Cluster
Política científica (Qualis) Consumo de informação (SciELO)
Periódico % do tipo de documento
Rogério Mugnaini | SciELO 15 anos
Referências citadas
MIRANDA, E. C. ; MUGNAINI, R. Scientific policy in Brazil: exploratory analysis of assessment criteria. In: 14th International Society of Scientometrics and Informetrics Conference, 2013, Vienna. Proceedings of the ISSI 2013. Vienna: AIT Austrian Institute of Technology GmbH, 2013. v. II. p. 1578-1586.
MUGNAINI, R. ; SALES, D. P. Mapeamento do uso de índices de citação e
indicadores bibliométricos na avaliação da produção científica brasileira. In: ENANCIB - Encontro Nacional de Pesquisa em Ciência da Informação, 2011, Brasília. Anais do XII ENANCIB - Encontro Nacional de Pesquisa em Ciência da Informação. Brasília: Thesaurus, 2011. v. 12. p. 2361-2372.
Rogério Mugnaini | SciELO 15 anos
Rogério Mugnaini mugnaini@usp.br
Este estudo é parte da pesquisa desenvolvida no âmbito do Programa
Jovens Pesquisadores da FAPESP, intitulada: Link para o projeto: “Avaliação de produção científica no Brasil: estudo da
comunicação científica nas diversas áreas e desenvolvimento de infraestrutura institucional”
Rogério Mugnaini | SciELO 15 anos
Scientific policy in Brazil: exploratory analysis of assessment criteria
Elaine Cristina Pinto de Miranda1, Rogério Mugnaini
1,2,
1 elainecpm@hotmail.com
Universidade de São Paulo, Escola de Comunicações e Artes, Depto. de Ciência da Informação, Av. Prof. Lúcio Martins Rodrigues, 443, CEP 05508-020, São Paulo, SP, Brazil
2 mugnaini@usp.br
Universidade de São Paulo, Escola de Artes, Ciências e Humanidades, Av. Arlindo Bettio, 1000, CEP 03828-000,São Paulo, SP, Brazil
Abstract Brazilian scientific evaluation process involves nowadays 3,000 postgraduate programs and almost 1,000 of ad hoc consultants from educational institutions of all regions of the country. Each triennial cycle, produces a lot of
information, part of it qualitative, derived from the decisions of the committees of the 46 assessment areas. Our
study proposes a documentary analysis of this documentation, in order to express contextual aspects of scientific
communication process in each area. We aimed to compare the different scientific fields, due to the importance
given to publication in scientific journals as well as its contrast to books and national journals importance. The
results here presented show groups of Assessment Areas at different stages of the scientific communication
process. We found that there are areas in which publications occurs primarily in indexed international journals,
otherwise there are areas proposing specific criteria to evaluate the quality of national journals. There are also
areas that are in the process of establishing their journals, and others are being forced to change the practice of
publishing books and start publishing on journals.
Conference Topic Science Policy and Research Evaluation: Quantitative and Qualitative Approaches (Topic 3)
Introduction
Since 1976, the Coordination of Higher Education Personnel Improvement (CAPES) is
developing a national wide evaluation process of Brazilian postgraduate programs, which has
been significantly improved between 1996 and 1997, in order to establish a triennial
evaluation cycle since 1998. This is a huge effort considering that Brazil presents nowadays
around 3,000 postgraduate programs. The evaluation process involves almost 1,000 of ad hoc
consultants from educational institutions of all regions of the country, composing committees
in 46 assessment areas of the different scientific fieldsi. Between the different aspects
evaluated, scientific production is the one that most influence and determine the level of the
postgraduate program (Souza & Paula, 2002).
Follow up evaluations are done annually, and the final one, at the end of each triennial cycle,
producing a lot of information published in the Coordination’s website: documents, tables and
even raw bibliographic data. The information can be found in different levels of aggregation
(researcher, postgraduate program, institution, assessment area and broad scientific area).
Significant part of the information gathered by CAPES comes directly from Lattes Platformii
– the curriculum database maintained by the National Council for Scientific and
Technological Development (CNPq). The reliability of this process is based on policies that
guarantee that the researchers will maintain their curriculum up-to-date periodically. It will
refer about all information related to the scientific production, research projects, academic
career, and any information inserted in the curriculum. The objective character of this type of
information has served a diversity of scientometric analysis that has been widely published in
important specialized information sources (Leite et al., 2011).
The other part consists mainly of qualitative information, which composes the documentation
derived from the decisions of the committees (CAPES, 2011), in order to define specific
criteria to each assessment area. These committees are composed by the Area Representative
at CAPES and ad hoc consultants, who are responsible for setting criteria for qualifying
vehicles and their classification for subsequent use as an input to postgraduate program
evaluation (Souza & Paula, 2002). This rich information reflects the consensus among the
researchers, bringing in itself, the capability of express contextual aspects of scientific
communication process in each area.
Hicks (2004) argues that, although journal articles have its importance, in Social Sciences and
Humanities, books publishing predominates, and due to its characteristics an ideal evaluation
should consider what she calls the four literatures: journals, books, national and non-scholarly
literature – being "national literature" the one developed in local context and "non-scholarly
literature" the knowledge reaching out to application.
These concerns are contemplated in CAPES documentation, which requires each area decide
about setting specific criteria based in: (1) a book classification form, and; (2) a national
citation index to infer quality of national journals.
This study aims to compare the difference between the scientific communication process in
the 46 areas of CAPES national assessment, based in the documentation derived from the
decisions of the committees of each assessment area. More specifically it analyses the
importance given to publication in scientific journals as well as its contrast to books and
national journals importance. The next stage of this ongoing project aims to evaluate the
whole Brazilian Scientific Community, including the scientific indicators derived from the
Lattes Platform.
Methodology
An exploratory research was carried out, applying documentary analysis to the documents
proposed by the committees of the 46 assessment areas, classified into nine broad subject
areas, that are described on Figure 1. These documents are part of the Qualis, a set of
procedures used by CAPES to realize a more systematic treatment and quality of scientific
intellectual output of postgraduate programs aiming to improve the indicators that support the
evaluation of these programs (Souza & Paula, 2002).
Figure 1: List of acronyms of Assessment Areas and respective Broad Areas
Qualis consists of the classification of vehicles in which the scholars of postgraduate
programs publish their findings. Titles are analyzed and ranked according to criteria
established by committees of area. According to Capes (2004), "is at the discretion of each
area to decide on the category of vehicle used by it: there are areas that rank only journals, as
there are those who classify other types of vehicles such as: annals, newspapers and
magazines”. As one might expect, the relative importance of journals, against books and
proceedings is a constant discussion of the committees of different assessment areas, that
AGRICULTURAL SCIENCES AGRIC ENGINEERING I ENG 1 ANTHROPOLOGY / ARCHAEOLOGY ANTR, ARCH
ANIMAL SCIENCE / FISHING RESOURCES AN-SCI, FISH ENGINEERING II ENG 2 EDUCATION EDUC
FOOD SCIENCE AND TECHNOLOGY FOOD S&T ENGINEERING III ENG 3 GEOGRAPHY GEOGR
VETERINARY MEDICINE VET-MED ENGINEERING IV ENG 4 HISTORY HIST
PHILOSOPHY / THEOLOGY PHIL, THEOL
APPLIED SOCIAL SCIENCES APP-SOC-SCI ASTRONOMY / PHYSICS ASTR, PHYS POLITICAL SCIENCE AND INTERNATIONAL RELATIONS POL-SCI, INT-REL
ARCHITECTURE, URBAN PLANNING AND DESIGN ARCHT, URB, DESN CHEMISTRY CHEM PSYCHOLOGY PSYCH
BUSINESS, ACCOUNTING (SCIENCES ) AND TOURISM BUS, ACC, TOUR COMPUTER SCIENCE COMP SOCIOLOGY SOCIOL
ECONOMICS ECON GEOSCIENCES GEOSC
LAW LAW MATH / PROBABILITY AND STATISTICS MATH, PROB, STAT ARTS / MUSIC ART, MUSC
SOCIAL SERVICES / DOMESTIC ECONOMY SOC-SERV, DOM-ECON LETTERS / LINGUISTICS LETT. LING
URBAN AND REGIONAL PLANNING / DEMOGRAPHICS URB-REG-PLAN, DEMOG DENTISTRY DENT
MEDICINE I MED 1 BIOTECHNOLOGY BIOTECH
BIOLOGICAL SCIENCES I BIO 1 MEDICINE II MED 2 INTERDISCIPLINARY INTERD
BIOLOGICAL SCIENCES II BIO2 MEDICINE III MED 3 MATERIALS MATER-SCI
BIOLOGICAL SCIENCES III BIO 3 NURSING NURS SCIENCE AND MATH TEACHING SCI&MATH -TEACH
ECOLOGY AND ENVIRONMENT ECOL, ENV PHARMACY PHARM
PHYSICAL EDUCATION PHYS-EDUC
PUBLIC HEALTH PUB-HEAL
Human Sciences
Linguistics, Letters and Arts
Multidisciplinar
Agricultural Sciences
Applied Social Sciences
Biological Sciences
Engineering
Exact and Earth Sciences
Health Sciences
develops its own document based on the main guidelines from CAPES Board of Assessment.
These documents are reviewed and approved by the Scientific Technical Council (CTC).
The CAPES document is structured into six parts: a) Identification (Assessment Area, area
coordinator, area assistant coordinator, modality); b) I. General considerations on the current
stage of area; c) II. General considerations on the evaluation form for the respective
triennium; d) III. General Considerations for Qualis journals, books classification form and
criteria for usage and stratification of these documents in the assessment; IV. General
Evaluation Form for the respective triennium; e) V. Considerations and definitions about
assigning grades 6 and 7 (maximum) – international insertion.
As this study intent to study the specific criteria to evaluate books and national journals, it
considered the sections III and IV that are described below, from the last completed triennial
assessment (2007 - 2009).
Section III: consists in the defined criteria to (1) journals classification (A1, A2, B1, B2, B3,
B4, B5 – where A1 and A2 are the core journals of each area, and C means "no value"). At
one hand, the majority of the areas consider the journal Impact Factor from the Journal
Citation Reports (JCR IF) as the main and unique indicator to define the core journals, while
other areas value national journals indexed at SciELO (Scientific Electronic Library Online)
database. On the other hand, some areas consider the book in its evaluation and also describe
the books classification in a detailed (complex and controversial) way, defining the book
classification form. A couple of areas still classify conference proceedings, even calculating
specific indicators to do so - that is the case of Computer Science.
Section IV: shows the general Evaluation Form. It is composed by five items and sub items
that receive a weight for the whole evaluation, for example, in a specific area: 1. Proposal of
the postgraduate program (0%); 2. Docent staff (20%); 3. Students Thesis and Dissertations
(35%); 4. Intellectual Production (35%); 5. Social Inclusion (10%). Each area has the
autonomy to set the weight of the items and sub items, in a weight range established at the
main guidelines from CAPES Board of Assessment.
In order to map the diverse attribution of relevance of scientific journals and books between
the different assessment areas, the respective weights were analyzed (information gathered
from item 4. Intellectual Production of Evaluation Form). The documents were obtained from
CAPES Board of Assessment that sent the material on December 2012.
Information of interest were: Broad Area (BA), Assessment Area (AA), the definition or not,
by the AA of a detailed book classification form and the consideration about the presence of a
journal at SciELO database as a quality criteria. As response variables were selected the JCR
IF and the weight attributed to publication on scientific journal (that multiplied by the weight
associated to Intellectual Production, gives the importance of publication in journal articles
against all the other aspects of the general Evaluation Form).
Findings and discussion
The first variable analyzed concerns to the percentual weight of the publication on journals in
relation to all aspects considered in the general Evaluation Form.
Observing Figure 2 it is possible to see that the average weight assigned by the AAs of each
BA is more significant (> 22%) for EXA and AGR, followed by SOC, ENG, MULT and
HLTH (around 18%), and HUM e BIO (around 17.5%) and LLA (16%). The BAs showing
more AAs (8) are HLTH and HUM.
The data shows (figure not presented) that most AAs (58.6%) use books classification criteria
and, contrarily, the majority (63,6%) do not consider being indexed in SciELO as a criteria for
the journal classification on the highest stratum. But is interesting to note that SciELO is more
used in areas that classify books (41.4%) than in areas that don’t classify (29.4%).
Figure 2. Broad Areas (and respective number of Assessment Areas) distributed by descendent
average weight attributed to journal in the postgraduate program assessment.
Another aspect to be mentioned is that the 17 AAs that do not classify books are mostly the so
called hard sciences, assigning an average weight to journals in 20.3%. However, when
considering the 29 AAs that classify books, the 5 Social Sciences areas attribute the highest
average weight to journals (18.6%), followed by 9 hard sciences areas (18.0%) and finally by
3 Arts and Humanities areas (15.1%).
Table 1 show areas that don’t use books classification criteria or SciELO indexing to classify
journals on the highest stratum (Group 2) are those with highest weight for journal
publications. This group concentrates 60% of EXA AAs and 50% of HLTH. It is the second
group that requires higher average value of JCR IF to be at the highest stratum, presenting the
largest JCR IF on BIO (BIO 3, with 4.9) and AGR (VET-MED, with 2.6).
Areas that do not value books but consider indexing in SciELO as criteria for evaluating
journals (Group 1) are those that require higher JCR IF as evaluation criteria of journals on
the top stratum. We highlight the ASTR, PHYS require JCR IF 6.0 (the highest of EXA) and
ENG 4 (IF 1.0) with the higher requirement across the ENG fields. The group concentrates
40% of EXA AAs and 50% of ENG. It should be emphasized that the presence ENG and
COMP on this group is because they are areas that use mostly conference proceedings to
disseminate their results, not considering either national journals or books – as consequence
they require low JCR IF to classify journals.
Group 3 shows AAs that classify books but do not consider SciELO indexing as evaluation
criteria. It is possible to see that it is the most heterogeneous group and contains the majority
of the AAs. Displays the BIOTECH area which requires JCR IF 5.0 (the highest into MULT).
And Group 4 concentrates the most part of AAs in HUM (75%) and SOC (57%), and
classifies books and considers indexing in SciELO as evaluation criteria. These areas do not
often use the JCR IF as journals evaluation criteria on the highest stratum, except in GEOGR
areas (IF of 0.5) and PUB-HEAL (IF of 4.0, the highest of HLTH).
The evaluation of scientific production nationwide should consider the existing policy model
as well as add the scientific communication specificities expressed in the practices of
communities of different knowledge areas. The evaluation criteria should be appropriate to
the different areas, and also to the national context, in order to give subsidies to a coherent
science policy, in which the Brazilian scientific community has played an important role.
As explains Trigueiro (2001), the scientific community, together with the state, contributed
significantly to the establishment and consolidation of scientific and technological national
base through scientific societies that now use the policy weapons, establishing: the institutions
that support research, postgraduate programs, national plans and the current evaluation system
itself. Already Guédon identifies the emergence of a power structure formed at the scientific
0,0
5,0
10,0
15,0
20,0
25,0
Exact and Earth Sciences
(EXA) - 5
Agricultural Sciences
(AGR) - 4
Applied Social Sciences
(SOC) - 7
Engineering (ENG) - 4
Multidisciplinar (MULT) -
4
Health Sciences (HLTH) -
8
Human Sciences (HUM) -
8
Biological Sciences (BIO)
- 4
Linguistics, Letters and
Arts (LLA) - 2
field, whose components are institutions, associations and journals - that is involved in a
dense and complex web of interactions and influences, characterizing the scientific field.
"Institutions, associations and journals will also be relevant to any study of power and
competition in the social sciences and the humanities, but they will not work in the same way
as in science. Together, they form a national system of science" (Guédon, 2010, p. 26).
Table 2. Distribution of Assessment Areas (and respective Broad Area) by journal weight and
Impact Factor (JCR) required to get the highest stratum classification, grouped by usage or not
of book classification form and/or national journal SciELO indexing
At this context Qualis evaluation process is being developed, while it is always trying to
adjust the criteria to the specificities of each area, but always seeking to establish a high
standard of excellence, aiming to lead scientific production to most qualified vehicles.
Currently it is required that the higher stratum of the journals (A1 and A2) must contain no
more than 25% of the journals classified by the area and the number of journals comprising
the stratum A1 must be smaller than those classified as A2. This restriction was promptly
opposed by several areas - taking as an example the Public Health, because two very
important national journals that are doomed to second stratum (A2), what is a problem in one
area in which large percentage of the production is directed to the national reality and has no
significant international impact (ABRASCO, 2008). However the last triennial evaluation
Area % Area %
BIO 25% BIO2 14 4.7 BIO 25% BIO 3 20 4.9
ASTR, PHYS 17.5 6 MED 2 20 3.8
COMP 26 1.4 MED 1 20 3.8
ENG 4 17.5 1 DENT 20 3.1
ENG 3 17.5 - MED 3 20 3
18.5 3.3 CHEM 21 4
GEOSC 24 2.8
MATH, PROB, STAT 26 1
VET-MED 22 2.6
AGRIC 22 2
MULT 25% MATER-SCI 17.5 1
ENG 25% ENG 2 20 1
21.0 2.7
Area % Area %
BIOTECH 16 5 HLTH 13% PUB-HEAL 16 4
SCI&MATH -TEACH 17.5 - GEOGR 14 0.5
BIO 1 15.8 4.1 PSYCH 17.5 -
ECOL, ENV 20 3 POL-SCI, INT-REL 24 -
FOOD S&T 22 2.6 SOCIOL 20 -
AN-SCI, FISH 22 2 ANTR, ARCH 16 -
PHARM 16 3 HIST 14 -
PHYS-EDUC 16 1.9 URB®-PLAN, DEMOG 17.5 -
NURS 16 0.8 SOC-SERV, DOM-ECON 16 -
ENG 25% ENG 1 17.5 0.8 APP-SOC-SCI 16 -
BUS, ACC, TOUR 22.8 0.5 LAW 16 -
ECON 22.8 - MULT 25% INTERD 21 -
ARCHT, URB, DESN 16 - 17.3 2.3
PHIL, THEOL 17.5 -
EDUC 17.5 -
LETT. LING 20 -
ART, MUSC 12 -
18.1 2.4
Journal
weight (%)IF JCR
Group 1: No books | Yes SciELO Group 2: No books | No SciELO
Group 3: Yes books | No SciELO Group 4: Yes books | Yes SciELO
Journal
weight (%)IF JCR
Journal
weight (%)IF JCR
Journal
weight (%)IF JCR
57%
25%
100%
Broad AreaAssessment Area
Broad Area
Broad Area Broad Area
Avarage
Avarage
HUM
SOC
40%
50%
50%
50%
50%
38%
43%
75%
EXA
ENG
MULT
BIO
AGR
HLTH
LLA
Avarage
50%HLTH
EXA 60%
AGR 50%
Assessment Area
Avarage
Assessment Area Assessment Area
SOC
HUM
document (2007-2009) shows a remarkable advance by considering national journals indexed
in SciELO, as we observed on this study, mostly on Group 4.
The outcome is in line with the evaluation studies carried out in some countries where there is
also a preoccupation with differences between the areas and the different forms of
communication. Among then we highlight Larivière et al (2006) who claim that "while the
validity and appropriateness of bibliometric methods are largely accepted in the natural
sciences, the situation is more complex in the case of the social sciences and humanities". To
the authors, "evaluations based only on measures obtained from journal databases are more
likely to be less than adequate for disciplines in which less than 50% of references are made
to journal articles than for those in which these references account for more than 50%”.
Final remarks
The results here presented show groups of AAs at different stages of the scientific
communication process. There are areas in which publications occurs primarily on indexed
international journals, otherwise there are areas proposing specific criteria to evaluate the
quality of national journals. There are also areas that are in the process of establishing their
journals, and others being forced to publish on journals.
Various adjustments can be observed in passing periods, and a longitudinal approach of this
analysis will be undertaken soon.
Acknowledgments
We acknowledge FAPESP, that supports the Young Investigators Awards project, intitled
Scientific assessment in Brazil: study of scientific communication in scientific areas - Grant
number 2012/00255-6iii.
References
ABRASCO (2008). Nota do fórum de coordenadores de Programas de Pós-Graduação em saúde
coletiva sobre o novo Qualis Periódicos. Saúde e Sociedade, 17 (4).
CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (2004). QUALIS:
Concepção e diretrizes básicas. Revista Brasileira de Pós-Graduação, 1 (1), 149-151. Retrieved January 14, 2013 from: http://www2.capes.gov.br/rbpg/images/stories/downloads/RBPG/Vol.1_1_jul2004_/Qualis_ConcepcaoDiretrizes.pdf.
CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (2011). Critérios de
avaliação. Retrieved December 7, 2011 from: http://www.capes.gov.br/avaliacao/criterios-de-avaliacao.
Guédon, J. C. (2010). Acesso Aberto e a divisão entre ciência predominante e ciência periférica. In:
Ferreira, S.M.S.P. & Targino, M.G. (Orgs). Acessibilidade e visibilidade de revistas científicas
eletrônicas (pp. 21-77). São Paulo: Senac/CENGAGE Learning.
Hicks, D. (2004). The four literatures of Social Science. Retrieved January 12, 2013 from: http://works.bepress.com/diana_hicks/16.
Larivière, V. et al. (2006). The Place of Serials in Referencing Practices: Comparing Natural Sciences
and Engineering with Social Sciences and Humanities. Journal of the American Society for
Information Science and Technology, 57 (8), 997–1004.
Leite, P.; Mugnaini, R.; Leta, J. (2011). A new indicator for international visibility: exploring
Brazilian scientific community. Scientometrics. 88: 311-319.
Souza E. P.; Paula M. C. S. (2002). QUALIS: a base de qualificação dos periódicos científicos
utilizada na avaliação CAPES. INFOCAPES – Boletim Informativo da CAPES, 10 (2), 7-25. Retrieved August 1, 2011 from: http://www.capes.gov.br/images/stories/download/bolsas/Infocapes10_2_2002.pdf.
Trigueiro, M. G. S. (2001). A comunidade científica, o Estado e as universidades, no atual estágio de
desenvolvimento científico tecnológico. Sociologias, 6, 30-50.
i http://www.capes.gov.br/avaliacao/tabela-de-areas-de-conhecimento ii http://www.capes.gov.br/avaliacao/coleta-de-dados iii http://www.bv.fapesp.br/en/auxilios/48066/scientific-assessment-brazil-study-scientific/
GT7 2361
C O M U N I C A Ç Ã O O R A L
MAPEAMENTO DO USO DE ÍNDICES DE CITAÇÃO E INDICADORES BIBLIOMÉTRICOS NA AVALIAÇÃO DA
PRODUÇÃO CIENTÍFICA BRASILEIRA
Rogério Mugnaini, Denise Peres Sales
RESUMO
O objetivo deste estudo foi mapear o uso dos índices de citação e indicadores bibliométricos pelas
se que 37 áreas de avaliação (ou 80,4% do total) pautam-se na Web of Science/Journal Citation Reports
A1. O nível do Fator de Impacto mínimo exigido no referido de estrato varia de 6,0 (Astronomia / Física)
mapeamento dos critérios das áreas de avaliação, nota-se alguma uniformidade nas grandes áreas. A utilização generalizada dos índices de citação inclui áreas de menor tradição de publicação internacional – Ciências Humanas e Ciências Sociais Aplicadas – que apesar de não se basear num indicador exige a indexação dos periódicos nos índices internacionais. O Índice H evidencia sua utilidade complementar ao Fator de Impacto (principalmente nas áreas da Saúde), mostrando assim o uso que vem se fazendo da Scopus, e sugerindo que outras áreas podem vir a fazer uso desta alternativa. Finalmente, destaca-se a importância de uma análise comparativa dos critérios de avaliação das diferentes áreas, uma vez que muitas críticas vêm sendo feita pelos pesquisadores da própria área, mas nem sempre pautadas nos logros já evidenciados por outras áreas de avaliação.
Citação; Indicadores Bibliométricos.
ABSTRACT
This study aimed to map the usage of citation indexes and bibliometric indicators, by the diverse
GT7 2362
Physics) to 0.5 (Business Administration, Accounting & Tourism and Geography). Most of the areas
do not mention the JCR edition used. Despite of the diversity of the presented scenario showed by
areas. The generalized utilization of citation indexes includes areas less internationally productive
– Humanities and Applied Social Sciences – that require journal indexing in international indexes,
instead of setting a level to an indicator. H index begins to be used to complement the Impact Factor
(principally in Health Sciences), showing the Scopus utilization, and suggesting an alternative way to
other areas. Finally, we highlight the importance of a comparative analysis of the evaluation criteria
of different areas, since many criticisms have been made by researchers of their own area, but has not
always been as evidenced by achievements in other areas of evaluation.
Keywords:
1 INTRODUÇÃO
O processo de Avaliação da Pós-Graduação no Brasil vem sendo desenvolvido ao longo
dos últimos 35 anos pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes)
(MOREIRA; HORTALE; HARTZ, 2004; SPAGNOLO; SOUZA, 2004). Porém, uma reformulação
PAULA, 2002, p. 7).
veículos utilizados pelos programas de pós-graduação para publicação de sua pesquisa. Este processo
(SOUZA; PAULA, 2002; CAPES, 2004).
Um olhar atento aos critérios propostos, a partir dos documentos de área (CAPES, 2011b),
diversidade também poder ser observada a partir dos diversos artigos publicados na Revista Brasileira
de Pós-Graduação, que criticam ou oferecem alternativas ao esquema de avaliação da respectiva área,
a cada triênio.
observado desde o triênio 2001 - 2003, principalmente nas ciências Exatas, Biológicas e Saúde
(MUGNAINI, 2006). Apesar dos resultados de Mugnaini sinalizarem que os critérios pautavam-se
no Fator de Impacto, tal constatação se deu a partir da observação da média do indicador para os
periódicos dos diferentes estratos – uma vez que os documentos de algumas áreas começavam a
GT7 2363
sinalizar o uso do Fator de Impacto entre os critérios de avaliação dos periódicos naquele triênio1.
No triênio mais recente (2007 - 2009) os documentos são muito mais detalhados e permitem análises
deste e de outros aspectos dos critérios.
A comodidade do uso do indicador é um consenso em algumas áreas, mas é alvo de muitos
questionamentos em outras, como é caso das subáreas de Ciências Biológicas I, taxonomia e sistemática
biológica, nas quais as citações passam a ser concedidas normalmente após os dois anos considerados
no cálculo do Fator de Impacto (MELO; CARVALHO, 2005). Já Alves (2004), completa advertindo
fracassada, uma vez que são raras as revistas que aceitam trabalhos taxonômicos restando, para os
trabalhos nessa área os níveis menos valorizado nos critérios de avaliação.
Rosa (2010) analisou os critérios de avaliação da área de Educação Física, que segundo a autora
revela múltiplas identidades, uma vez que suas origens estão nas Biologia, História Natural e Física, e mais
recentemente passa a agregar saberes das Ciências Humanas. Essa diversidade foi observada na produção
pautados no nível das revistas internacionais de Ciências Biológicas.
Apesar do uso do Fator de Impacto por parte de algumas áreas, nota-se que diversas bases
de dados são consideradas para avaliação dos periódicos. Dentre elas, os índices de citação têm
proeminência, e o uso de variados indicadores de citação se torna cada vez mais recorrente, já podendo
ser observado mesmo entre as Ciências Humanas e Sociais Aplicadas.
Quatro índices de citação vêm sendo utilizados pelas áreas: Web of Science (WoS), Scopus,
SciELO e Google Acadêmico (usado apenas pela Ciência da Computação); e algumas fontes de
indicadores deles decorrentes: Journal Citation Reports (JCR) – produto da WoS –, e SJR - SCImago
Journal & Country Rank – que usa a base Scopus como fonte de dados.
desenvolvendo um importante papel no processo de desenvolvimento dos periódicos nacionais,
Deve-se destacar o processo de seleção de novos periódicos, cujos critérios2 têm dinamizado o
desenvolvimento dos periódicos nacionais. Permite que editores possam avaliar o impacto nacional
dos periódicos, valendo-se de um Módulo de Bibliometria com indicadores similares aos do JCR.
A Scopus é a alternativa mais recente, oferecida pela Elsevier, editora comercial, com uma
proposta de disponibilizar uma cobertura mais abrangente de periódicos nacionais e regionais –
principalmente aqueles publicados em países de língua não-inglesa, consistindo o principal diferencial
1 Avaliação Trienal 2004 (triênio 2001 - 2003). Disponível em <http://www.capes.gov.br/avaliacao/criterios-de-avaliacao/2285>. Acesso em 01 ago. 2011.
GT7 2364
SCImago, tem cooperado para a divulgação da base no Brasil, dada a disponibilidade de uma série de
novos indicadores bibliométricos3 a partir dos dados daquela base. Em especial o SCImago Journal
pelo fato da Scopus indexar um maior número de periódicos nacionais, em comparação com a WoS.
Porém esta vantagem da Scopus vem sendo superada pela Thomson Reuters4
critérios de seleção de periódicos da WoS para aumento da cobertura, passando a incluir periódicos que
tratam de temáticas de reconhecida importância em nível regional – a expansão ocorreu no período de
2007 a 2009 e fez com que o Brasil, de 27 periódicos indexados em 2005, viesse a alcançar a marca de
132 periódicos em 2010 (TESTA, 2011). Até então, essa exigência focava o reconhecimento mundial,
ou a ciência mainstream, porém seus critérios não eram explicitados publicamente.
Todas estas iniciativas deram lugar à recente indexação de um número considerável de
dos documentos de área publicados no Qualis.
2 METODOLOGIA
O método de pesquisa utilizado foi o de análise de conteúdo (LEVIN; FOX, 2004), tendo com
material de análise os documentos de área propostos pelas comissões das 46 áreas de avaliação do
oferecem, os documentos foram descarregados do sítio web da Capes5 entre os meses de maio e julho
de 2011. Foi elaborada uma planilha em Microsoft® Excel 2007 para coleta, registro e armazenamento
dos dados de cada uma das áreas de avaliação.
uma vez que a grande incidência de uso de índices de citação ocorre neste estrato. Somente em alguns
casos, como por exemplo a área de Direito, a condição envolveu também o estrato A2, uma vez que
este extrato exige indexação na WoS, Scopus ou SciELO, e o estrato A1 exige que o periódico supere
As informações de interesse foram: Área de avaliação Qualis; Grande área; Índice(s) de
citação e Indicador(es) bibliométrico(s) utilizado(s) e respectivo valor.
3 SCImago. SJR - SCImago Journal & Country Rank. Disponível em: <http://www.scimagojr.com>. Acesso em 01 ago. 2011.
5 Avaliação Trienal 2010 (triênio 2007 - 2009). Disponível em <http://www.capes.gov.br/avaliacao/documentos-de-area->. Acesso em 01 ago. 2011.
GT7 2365
3 RESULTADOS
que as Ciências da Saúde, Humanas e Sociais Aplicadas são as que apresentam maior número de
áreas de avaliação Qualis, enquanto que Lingüística, Letras e Artes apresenta o menor número, e as
Quanto ao uso das bases de dados, 37 áreas de avaliação (ou 80,4% do total) pautam-se na
o número de áreas de avaliação é de 17 (37%) e 18 (39,1%), respectivamente.
de Ciências Agrárias, Biológicas, Saúde, Exatas e da Terra e Engenharias. Na área Multidisciplinar
Ciências e Matemática; seguido da área de Ciências Sociais Aplicadas, com 71,4% de áreas que
usam a base, com duas exceções: Arquitetura e Urbanismo e Planejamento Urbano e Regional /
e Artes, que não considera nenhuma base para composição de seu Qualis.
Quanto à utilização das bases SciELO e Scopus nota-se um padrão de uso muito similar.
Deve-se portanto, destacar o uso mais acentuado da Scopus na composição dos critérios de área e
avaliação de Ciências da Saúde; e da SciELO em áreas de Ciências Exatas e da Terra, Multidisciplinar
e Ciências Humanas. Uma análise mais detalhada das áreas de avaliação que utilizam estas bases será
apresentada mais adiante.
de periódicos do estrato A1, segundo grande área do conhecimento e número de áreas de avaliação
Qualis.
� �� � �� � �� � �� � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � �� � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � ! �� � � " � � � � � � � �# $ � � � � � � � % � � � � � � �� � � � � � � � � � � � % � � � � � � � & �� � � � � � ' $ ( � � � � � �) � � $ * � � � � + ) � � � � � � � � � � � , �- . / / 0 1 2 3 4 / 5 4 6 7 /
GT7 2366
Ao analisar o Quadro 1 pode-se perceber que a maioria das áreas utilizam o Fator de Impacto
Sociais Aplicadas e Humanas apenas exige que o periódico esteja no JCR; como exceções, as áreas
um Fator de Impacto mínimo de 0,5; e a Economia (Sociais Aplicadas) compôs um ranking de citação
Quanto ao nível do Fator de Impacto, 6,0 é o valor mais alto (Astronomia / Física) e 0,5 o mínimo
(áreas supracitadas). Analisando as grandes áreas do Quadro 1 pode-se notar uma concentração de
áreas de Ciências Biológicas, seguidas de áreas de Ciências da Saúde, Ciências Agrárias e Engenharias.
sob a grande área Multidisciplinar (com destaque para a área de Biotecnologia, na segunda posição).
do estrato A1, segundo grande área do conhecimento e área de avaliação Qualis.
GT7 2367
Ao se considerar o valor adotado para composição do critério, pelas diversas áreas, evidencia-
se um ordenamento das grades áreas, tendo as Ciências Biológicas com maiores valores, seguida
das Ciências da Saúde, Exatas, Agrárias e Sociais e Humanas. Tal ordenamento é aproximadamente
observado quando se compara, tanto o Índice H dos pesquisadores da Academia Brasileira de Ciências
(MUGNAINI; PACKER; MENEGHINI, 2008), quanto a tendência de publicação internacional dos
pesquisadores, a partir dos currículos Lattes (LEITE; MUGNAINI; LETA, 2011).
• apresentam dois níveis de Fator de Impacto: maior exigência quando o periódico é de
outra área (Educação Física, Enfermagem e Engenharia IV);
• apresentam dois níveis de Fator de Impacto: de acordo com subáreas (Ciências
Biológicas I);
• considera em conjunto com o Fator de Impacto o indicador Meia-Vida: exigindo que
o alto nível de citação que o periódico recebe de se manter por um período mais
longo, após a publicação do mesmo (Matemática / Probabilidade e Estatística);
• baseia-se na mediana do Fator de Impacto de todos os periódicos informados no
Coleta Capes.
documentos da maioria das áreas de avaliação (caso observado em 20 das áreas), não sendo possível
inferir que edição foi efetivamente consultada. As edições citadas são dos anos 2008 (5 áreas), 2007
(4 áreas) e 2006 (1 área), e a área de Astronomia / Física é uma exceção, que utiliza a média do Fator
de Impacto das edições de 2005 a 2007.
8 9 :; < 8 9 : ; < < => 8 9 : ; < < ?@8 9 : ; < < AB8 9 : C ; < < > D; < < ? EBF G HAI J GKAs edições do JCR são divulgadas normalmente em meados do ano posterior. Dessa forma,
GT7 2368
pode-se imaginar que a última versão recente pode ter sido a escolhida pelas áreas, o que não pode
Com respeito aos demais índices de citação utilizados, e considerando que o Google Acadêmico
é utilizado apenas pela área de Ciência da Computação, resta avaliar uso que vem sendo feito das
bases Scopus e SciELO.
O Quadro 2 permite observar que 24 áreas de avaliação (ou 52,2%) não utilizam
nenhuma das duas bases, e destas, apenas 6 áreas tampouco utilizam o JCR/WoS – ou seja, não
Educação (Ciências Humanas), Arquitetura e Urbanismo (Ciências Sociais Aplicadas), Letras
/ Linguística e Artes / Música (Linguística, Letras e Artes), Ensino de Ciências e Matemática
(Multidisciplinar).
Por outro lado, quatro áreas não usam Scopus, mas usam SciELO: Astronomia / Física
(Ciências Exatas e da Terra), Antropologia / Arqueologia (Ciências Humanas), Planejamento Urbano
Ao contrário, existem cinco que usam somente Scopus: predominando áreas de Ciências da
Saúde, que são Odontologia, Farmácia, Enfermagem e Educação Física; e uma área de Ciências
Sociais Aplicadas (Administração, Ciências Contábeis e Turismo).
estrato A1, apenas Sociologia não utiliza JCR/WoS. Entre as doze restantes, que fazem uso das três
bases, é interessante destaca cinco, que apenas consideram a indexação nas mesmas, em detrimento de
um indicador: Ciência Política e Relações Internacionais e História (Ciências Humanas); e Psicologia,
Direito e Serviço Social (Ciências Sociais Aplicadas).
E pelo fato do Índice H ser o único indicador utilizado de forma alternativa – ou complementar
– ao Fator de Impacto, o Quadro 3 permite observar as áreas de avaliação que o utilizam, assim como
a base de dados de onde se obteve o mesmo.
Pode-se perceber que predominam áreas de Ciências da Saúde , conforme já se havia observado
índice H, enquanto que a Ciência da Computação, conforme já se havia mencionado, utiliza-o na
composição se seu próprio indicador. Vale observar que estas seis áreas consideram também o Fator
de Impacto no JCR, bastando portanto o periódico cumprir uma das condições – valor mínimo do
Fator de Impacto ou do Índice H.
de avaliação de periódicos do estrato A1, segundo grande área do conhecimento e número de áreas
de avaliação Qualis.
GT7 2369
L M N O P L L Q R S T N U V W X Y V Z [ \ ] ^ _ ^ V Z [ `U V W X Y V Z [ a V b c d ] V Y Z [ eU V W X Y V Z [ f Z g Z h f i eU V W X Y V Z [ j k Z l Z [ i f Z m i ^ ^ Z eU V W X Y V Z [ n o p Z X Z [ qU V W X Y V Z [ g b Y V Z V [ \ r c V Y Z f Z [ qj X ] i X s Z ^ V Z [ qt V X ] o u [ l V Y Z v t i l ^ Z [ i \ ^ l i [ qw o c l V f V [ Y V r c V X Z ^ ex y z { | z } ~ � � � �U V W X Y V Z [ j k Z l Z [ i f Z m i ^ ^ Z �U V W X Y V Z [ n o p Z X Z [ �U V W X Y V Z [ g b Y V Z V [ \ r c V Y Z f Z [ �w o c l V f V [ Y V r c V X Z ^ �� R � { | z } ~ � � �x y z { | z } ~ � � � �U V W X Y V Z [ f Z g Z h f i `U V W X Y V Z [ g b Y V Z V [ \ r c V Y Z f Z [ �x y z { | z } ~ � � �U V W X Y V Z [ a V b c d ] V Y Z [ �U V W X Y V Z [ f Z g Z h f i �U V W X Y V Z [ j k Z l Z [ i f Z m i ^ ^ Z �U V W X Y V Z [ n o p Z X Z [ �U V W X Y V Z [ g b Y V Z V [ \ r c V Y Z f Z [ ej X ] i X s Z ^ V Z [ q� R � { | z } ~ � � � e� R � { | z } ~ � � � �| z } ~ � � � � � � ~ � � � � ~ � R ~ � y z � � ~ � R � � �
x y z� � � � � z � � � � � ~ � � �� � ~ � R ~ � y z � � ~ � R �� ~ � � � � � R x � � � ~ � y z � � ~ x � � � � � ~
� R � � R �x y z� R �
x y z
Merecem atenção as menções à base, que variam entre “SCOPUS” e “SCOPUS/SCImago”.
Os documentos não deixam claro se o uso do SCImago leva à adoção do segundo termo “SCOPUS/
SCImago”, pelo fato do grupo SCImago utilizar a Scopus como fonte de dados; e por outro lado a
menção “SCOPUS” não permite descartar a possibilidade da área ter utilizado dados do SCImago.
GT7 2370
do estrato A1, segundo base para cômputo do indicador, grande área do conhecimento e área de
avaliação Qualis.� � � � � � � � ¡ � ¢ £ � � � ¤ ¥ ¦ � § ¨ © ª « ¦ � ¡ ¬ £ � � � ¢ £ � ® ¯ ° ± ² ³ ´µ ¶ · ¸ µ ¹ ® ¸ ¶ ´ º » ¼ ½ µ ³ ¶ ´µ ¶ · ¸ µ ¹ ¯ ¼ ¹ ¾ ¿ ´ ² ¹ ¿µ ¶ · ¸ µ µ ´ À ® ¹ ¶ ± ¹ ° ³ Á ´Â à ° ¸ ¾ ³ µ ¿ ¶ Ä Å Æ Ç Ä È É µ Ê Ç Ä È Ä É ´ Ë Ì Ä Ç È Í È É· Î Ê Ë Ï Ð Ä Æ Í Ä Ç È Í Ê ÎÐ É Ë Ð Ç Ä Ñ Ä Ç Ê ¶ ³ Ò ¯ ¶ ³ ´ ® ´ ¶ ¿ · ¸ ° ´ º » ¶ Ä Å Æ Ç Ä È É ¹ Ó È Ô È É Ð Í È ° РΠΠȶ Ä Å Æ Ç Ä È É Í È µ È Õ Í Ð
4 CONSIDERAÇÕES FINAIS
alguma uniformidade entre os critérios de áreas de avaliação pertencentes a uma mesma grande área.
Já se percebe que os índices de citação vêm sendo adotados amplamente – mesmo em áreas
que não faziam uso dos mesmos em triênios anteriores, como Ciências Humanas e Ciências Sociais
Aplicadas – ainda que não se paute num indicador, e se limite na exigência que o periódico seja
indexado na base de dados.
O Fator de Impacto é utilizado na maioria das áreas, o que já era se podia esperava dada a
tradição e popularidade do JCR, contudo não existe consenso sobre a edição do JCR utilizada para
Impacto, mostrando assim o uso que vem se fazendo da Scopus, e sugerindo que outras áreas podem
vir a fazer uso desta alternativa.
Finalmente, destaca-se a importância de uma análise comparativa entre as diferentes áreas,
uma vez que muitas críticas vêm sendo feita pelos pesquisadores da própria área, mas nem sempre
pautadas nos logros já evidenciados por outras áreas de avaliação. Longe de almejar uma metodologia
padronizada, podem ser propostos ajustes para adequação dos critérios, que têm resultado de um
árduo debate dentro de cada área, por cada comissão dos diversos triênios.
GT7 2371
5 REFERÊNCIAS BIBLIOGRÁFICAS
JC e-mail, n. 2646, 12 nov. 2004.
Disponível em: <http://www.jornaldaciencia.org.br/Detalhe.jsp?id=23144>. Acesso em 01 ago. 2011.
COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (Capes).
WEBQUALIS, BBS (site). Disponível em: <http://qualis.capes.gov.br/webqualis>. Acesso em: 1
ago. 2011a.
COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (Capes).
CRITÉRIOS DE AVALIAÇÃO, BBS (site). Disponível em: <http://www.capes.gov.br/avaliacao/
criterios-de-avaliacao>. Acesso em: 1 ago. 2011b.
COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (Capes):
Diretoria de Avaliação. QUALIS: Concepção e diretrizes básicas. Revista Brasileira de Pós-Graduação,
v. 1, n. 1, p. 149-151, 2004. Disponível em: <http://www2.capes.gov.br/rbpg/images/stories/downloads/
RBPG/Vol.1_1_jul2004_/Qualis_ConcepcaoDiretrizes.pdf>. Acesso em: 1 ago. 2011.
LEITE, P.; MUGNAINI, R.; LETA, J. A new indicator for international visibility: exploring Brazilian
Scientometrics, v. 88, p. 311-319, 2011.
LEVIN, J.; FOX, J. A Estatística para Ciências Humanas, 9a ed. São Paulo: Prentice Hall, 2004.
MELO, G. A. R.; CARVALHO, C. J. B. Impacto Profundo: o que o fator de impacto não nos revela.
JC e-mail, n. 2921, 22 dez. 2005. Disponível em: <http://www.jornaldaciencia.org.br/Detalhe.
jsp?id=34047>. Acesso em 01 ago. 2011.
MOREIRA, C. O. F.; HORTALE, V. A.; HARTZ, Z. A. Avaliação da pós-graduação: buscando
consenso. Revista Brasileira de Pós-Graduação, v. 1, n. 1, p. 26-40, 2004. Disponível em: <http://
www2.capes.gov.br/rbpg/images/stories/downloads/RBPG/Vol.1_1_jul2004_/26_40_avaliacao_da_
posgraduacao.pdf>. Acesso em: 12 set. 2006.
MUGNAINI, R.
impacto nacional versus internacional. São Paulo, 2006. 253 p. Tese (Doutorado em Ciência
da Informação) - Escola de Comunicações e Artes. Universidade de São Paulo, 2006. Disponível
em: <http://www.teses.usp.br/teses/disponiveis/27/27151/tde-11052007-091052/publico/TESE_
mugnaini_r.pdf>. Acesso em: 01 ago. 2011.
MUGNAINI, R.; PACKER, A.L.; MENEGHINI, R. Comparison of scientists of the Brazilian
Academy of Sciences and of the National Academy of Sciences of the USA on the basis of the
h-index. Braz J Med Biol Res, Ribeirão Preto, v. 41, n. 4, 2008. Disponível em <http://www.scielo.
br/scielo.php?script=sci_arttext&pid=S0100-879X2008000400001&lng=pt&nrm=iso>. Acesso em:
01 ago. 2011.
GT7 2372
ROSA, S. P. . Rio
de Janeiro, 2010. 197 p. Tese (Doutorado em Ciências . Área de concentração: Educação, Gestão e
Difusão em Biociências) - Universidade Federal do Rio de Janeiro, Instituto de Bioquímica Médica,
2010. Disponível em: <http://www.dominiopublico.gov.br/pesquisa/DetalheObraForm.do?select_
action=&co_obra=181373>. Acesso em: 01 ago. 2011.
na avaliação CAPES. INFOCAPES – Boletim Informativo da CAPES, v. 10, n. 2, p. 7-25, 2002.
Disponível em: <http://www.capes.gov.br/images/stories/download/bolsas/Infocapes10_2_2002.
pdf>. Acesso em 1 ago. 2011.
SPAGNOLO, F.; SOUZA, V. C. O que mudar na avaliação da Capes? Revista Brasileira de Pós-
Graduação, v. 1, n. 2, p. 8-34, 2004. Disponível em: <http://www2.capes.gov.br/rbpg/images/stories/
downloads/RBPG/Vol.1_2_nov2004_/08_34_o_que_mudar_na_avaliacao_capes.pdf>. Acesso em:
12 set. 2006.
TESTA, J. The Globalization of Web of Science. Thomson Reuters Expert Essays, 2011. Disponível em:
<http://wokinfo.com/products_tools/multidisciplinary/webofscience/contentexp/expansionessay/>.
Acesso em 01 ago. 2011.
Regional Content Expansion in Web of Science: Opening Borders to Exploration.
top related