Page 1
Métodos Estatísticos em Avaliação
Educacional (em Larga Escala)
Dalton Francisco de AndradeProfessor titular aposentado – INE/UFSC
Professor voluntário – PPGEP/UFSC
Pesquisador associado – Fundação Vunesp
[email protected]
EST/UnB – Brasília, 19/03/2014
Page 2
Tópicos a serem abordados
1. Introdução
2. Principais Avaliações Educacionais em Larga
Escala: SAEB, ENEM, PISA etc
3. Principais Métodos Estatísticos: Amostragem, TRI
e Modelos Hierárquicos/Multiníveis
4. Outros Métodos / Tópicos de Pesquisa
5. Capacitação
6. O Mercado de Trabalho
Page 3
Introdução
- Visão geral
- Minha passagem pelo EST/UnB
Page 4
Principais Avaliações Educacionais
em Larga Escala
1. SAEB
2. ENEM
3. PISA
4. Estaduais: SARESP, SAEPE, SPAECE etc
5. Municipais: Prova São Paulo …
Page 5
SAEB: Sistema (Nacional) de Avaliação da
Educação Básica
INEP: www.inep.gov.br
portal.inep.gov.br/web/saeb/aneb-e-anresc
Page 6
SAEB: Sistema (Nacional) de Avaliação da
Educação Básica
Aneb: Avaliação Nacional da Educação Básica – amostral - 5º.
ano do EF, 9º. ano do EF e 3ª. série do EM (nos anos impares)
Anresc: Avaliação Nacional do rendimento Escolar –
“censitária” - escolas públicas de 5º. ano e 9º. ano do EF com
pelo menos 20 alunos no ano estudado. Denominada de Prova
Brasil e implementada em 2005. (nos anos impares)
ANA: Avaliação Nacional da Alfabetização – 3o. ano (annual a
partir de 2013)
Ideb: Indice de desenvolvimento da Educação Básica
Page 7
SAEB: Sistema (Nacional) de Avaliação da
Educação Básica
Universo(população) de interesse/Universo(população)
de referência
Censo Escolar: Sistema de referência
Depois de 2005(com a Prova Brasil): juntar amostra
com “censo”
Medida de desempenho/proficiência: LP e MAT
(das escolas/Sistema)
“Explicando/Entendendo” desempenho/proficiência
Page 8
ENEM: Exame Nacional do Ensino Médio
Voluntário
Quatro áreas: CN, CH, LC, MT
Redação
Objetivo: proficiência do candidato
Comparabilidade dos resultados entre exames
Page 9
Principais Métodos Estatísticos:
1. Amostragem
2. Teoria da Resposta ao Item – TRI
3. Modelos Hierárquicos/Multiníveis
Page 10
Amostragem
Probabilística: medida do erro
Unidade Primária de Amostragem – UPA
Conglomerado: Escola/Turma
Estratos de Interesse: Região, UF, Dependência
Administrativa ….
Amostragem Complexa
Page 11
Teoria da Resposta ao Item - TRI
Medir Traço Latente: proficiência, qualidade
de vida, resistência à mudança, satisfação …
Conjunto de modelos que procuram
relacionar a probabilidade de um
indivíduo/respondente apresentar uma certa
resposta a um item/questão, com sua
proficiência e características do item
Page 12
Teoria da Resposta ao Item - TRI
Exemplo: ML3P
probabilidade de um indivíduo j, com proficiência θj ,
responder corretamente a um item i, de múltipla
escolha com somente uma alternativa correta, com
parâmetros ai , bi e ci ,.
)(1
1)1(),,,|1(
iji baiiiiijjie
cccbaXP
Page 13
Teoria da Resposta ao Item - TRI
Exemplo: ML3P
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
-3 -2 -1 0 1 2 3
Pro
bab
ilid
ade
de
ace
rto
Proficiência=1,40
c=0,10
a=1,80
Curva Característica do Item (CCI) – Escala (0,1)
Page 14
Teoria da Resposta ao Item - TRI
“Brincando com a medida da altura”: tratando altura
como traço latente
Questionário: Questionário_altura.doc
Dados: altura211.dat
Modelo: ML2P (ML3P com c=0)
Estimação dos parâmetros dos itens: calibração
Page 15
Teoria da Resposta ao Item - TRI
“Brincando com a medida da altura”: tratando altura
como traço latente
Resultados: Altura211_UnB.xls
Escala: posicionamento dos itens
Estimação das alturas(traço latente)
Page 16
Teoria da Resposta ao Item - TRI
Exemplo: Modelo de Resposta Gradual (Samejima):
categorias ordinais
)](exp[1
1
)](exp[1
1)|1(
)1(
siji
isji
jjis
ba
baXP
iimii
bbb ...21
Page 17
Teoria da Resposta ao Item - TRI
Exemplo: Modelo de Resposta Gradual (Samejima):
quatro categorias ordinais
Modelo Resposta Gradual a=1,2 e b=(-2,-1,1)
0,0
0,2
0,4
0,6
0,8
1,0
1,2
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
Traço latente
Pro
bab
ilid
ad
e
P0 P1 P2 P3
Page 18
Teoria da Resposta ao Item - TRI
Outros modelos Cumulativo:
Crédito Parcial: ai = a
Escala Gradual: bis = bi – ds
Multidimensional
Longitudinal
etc
Modelos Não Cumulativo:
Desdobramento (Unfolding)
Page 19
Teoria da Resposta ao Item - TRI
Modelo de Desdobramento Graduado Generalizado
(GGUM) – Não Cumulativo
H
v
v
k
ikiji
v
k
ikiji
z
k
ikiji
z
k
ikiji
j
bvMabva
bzMabza
zZP
0 00
00
expexp
expexp
|
Page 20
Teoria da Resposta ao Item - TRI
Modelo GGUM
12. My feelings about abortion are very mixed.
Page 21
Modelo Hierárquico/Multinível
Entendendo/Explicando a variabilidade: por que
os alunos possuem proficiências diferentes?
Exemplo: 3o. EM
Prova de LP
Page 22
Modelo Hierárquico/Multinível
Modelo nulo:
Regressão “usual”
Profic_LPij = β0 + εij
β0 : proficiência média global em LP
εij : erro/residuo ~ N(0,σ2)
Estimativa de β0 : 284,218(0,172)
Estimativa de σ2 : 2.092,981
Page 23
Modelo Hierárquico/Multinível
Modelo nulo:
Regressão “hierárquica/multinivel”
Nível 1: aluno
Profic_LPij = β0j + rij
β0j : proficiência média da escola j em LP
rij : erro/residuo ~ N(0,τ2)
Page 24
Modelo Hierárquico/Multinível
Modelo nulo:
Regressão “hierárquica/multinivel”
Nível 2: escola
β0j = β00 + u0j
β00 : proficiência média global em LP
u0j : erro/residuo ~ N(0,τ00)
rij e u0j independentes
Page 25
Modelo Hierárquico/Multinível
Modelo nulo: (combinado)
Regressão “hierárquica/multinivel”
Profic_LPij = β00 + u0j + rij
Correlação intra-classe = τ00 / (τ00 + τ2)
Estimativas: β00 , τ00 e τ2
Page 26
Modelo Hierárquico/Multinível
Modelo 1:
Nível 1: aluno
Profic_LPij = β0j + β1j Defasij + rij
Defasij = 0(sem defasagem de idade), 1, 2 ..
β0j : proficiência média dos alunos sem defasagem de
idade da escola j
β1j : efeito da defasagem de idade na escola j
rij : erro/residuo ~ N(0,τ2)=
Page 27
Modelo Hierárquico/Multinível
Modelo 1:
Nível 2: escola
β0j = β00 + u0j
β1j = β10 + u1j
β00 : proficiência média dos alunos sem defasagem
β10 : efeito médio da defasagem de idade
u0j : erro/residuo ~ N(0,τ00)
u1j : erro/residuo ~ N(0,τ11)
rij , u0j e u1j independentes
Page 28
Modelo Hierárquico/Multinível
Modelo 2:
Nível 1: aluno
Profic_LPij = β0j + β1j Defasij + rij
Defasij = 0(sem defasagem de idade), 1, 2 ..
β0j : proficiência média dos alunos sem defasagem de
idade da escola j
β1j : efeito da defasagem de idade na escola j
rij : erro/residuo ~ N(0,τ2)=
Page 29
Modelo Hierárquico/Multinível
Modelo 2:
Nível 2: escola
β0j = β00 + β01DepAdmj + u0j
β1j = β10 + β11DepAdmj + u1j
DepAdmj : 0 (Pública) e 1(Privada)
β00 : proficiência média dos alunos da escola pública
sem defasagem
β10 : efeito médio da defasagem de idade na escola
pública
Definir β01 e β11 !!!!!
Page 30
Outros Métodos /
Tópicos de Pesquisa
Funcionamento Diferenciado do Item – DIF
Estimação com “Itens dependentes”
Teste Adaptativo Informatizado (CAT)
Page 31
Outros Métodos /
Tópicos de Pesquisa
Tratamento para dados incompletos(Missing Data)
Na resposta ao teste (tese da Vera Filgueira)
Na resposta ao questionário de fatores associados
Métodos para Detecção de Fraude
Exemplo do Ceará no Enem 2012
2nd Annual Conference on Statistical Detection of
Potencial Test Fraud
Sessão Temática no 21 SINAPE (Natal, 20 – 25 Julho)
Page 32
Capacitação
1. Mestrado Profissional em Métodos e Gestão em
Avaliação – MGA: Capes/Inep – UFSC
(www.mga.ufsc.br)
2. PPGEP/UFSC: www.ppgep.ufsc.br
Linha de pesquisa: Teoria da Resposta ao Item
aplicada às organizações
Laboratório: www.custosemedidas.ufsc.br
3. UFPA, Unicamp, UFRJ, UFJF
Page 33
O Mercado de Trabalho
1. Secretarias de Educação
2. Orgãos de pesquisa: Inep ....
3. Empresas/Fundações/Institutos: Cespe, CAED,
Vunesp, FCC, Cesgranrio, Avalia, Bradesco,
Ayrton Senna, Roberto Marinho, IQE ...
4. Startups:
Geekie (www.geekie.com.br)
Meritt (meritt.com.br)
MSTech (www.mstech.com.br)