Investigating the assessment of learners’ participation in asynchronous conference of an online course Mariano Pimentel Tatiana Escovedo Hugo Fuks Carlos José P. Lucena {mariano, tatiana, hugo, lucena}@inf.puc-rio.br http://groupware.les.inf.puc-rio.br ICDE, Rio de Janeiro, 4 Setembro 2006
14
Embed
Investigating the assessment of learners’ participation in asynchronous conference of an online course Mariano Pimentel Tatiana Escovedo Hugo Fuks Carlos.
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Investigating the assessment of learners’ participation in asynchronous
conference of an online courseMariano PimentelTatiana Escovedo
Exame Acompanhamento da ParticipaçãoProvas com questões: - Discursiva - Múltipla Escolha - Verdadeiro ou Falso
correçãoautomática
Relatórios: - Participação na Conferência, Debate - Competência nos tópicos do curso
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 4 / 14
Avaliação pelo AulaNet
Serviços AulaNet 2.1
D ebateC onferênciaC orreio p/ Turm a
C orre io paraParticipante
B ate- papo
COMUNI CA ÇÃ OAssíncrona Síncrona
I nform ações
Acom panham .da Participação
Tarefas
COORDENA ÇÃ OCOOPERA ÇÃ O
MensagemI nstantânea
Aulas
D ocum entação
B ibliografia
W ebliografiaD ownload
Av isos
Exam e
Pesq. O pinião
Acom panham .da Navegação
C ertificado
C o- autoria
Educação a DistânciaMétodo de ensino tradicionalEducação OnlineAprendizagem Colaborativa
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 5 / 14
TIAE: um curso online
• TIAE (Tecnologia de Informação Aplicada à Educação): online desde 1998.2 pelo AulaNet (16 edições), DI / PUC-Rio possibilita a pesquisação relacionada ao AulaNet
Leituras (serv iço A ulas e pesquisas W eb)S exta S ábado D om ingo
S em inário (C onferências)
D ebate
S egunda Terça Q uarta Q uinta
13 às 14hs
12hs 14hs
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 6 / 14
Seminários do TIAE
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 7 / 14
Como avaliar a participação em conferências assincr.?Devemos avaliar a participação do aprendiz?
• Preconceitos usuais: A participação deveria ser espontânea, livre-participação... mas verificou-se que: sem avaliação, ninguém participa adequadamente
A avaliação expõe - inibe - oprime a participação do aluno... mas verificou-se que: com avaliação, os alunos sentem que seu trabalho
está sendo valorizado
• Problemas reais: Avaliação é difícil: subjetividade Avaliação de qualidade é caro: tempo e esforço Avaliação assusta: requer mudança de atitude do aprendiz
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 8 / 14
TIAE: evolução do método de avaliação nos seminários
“A simples atribuição de conceito é irritante, ditatorial e pedagogicamente inadequada. (...) Isto é o que tenho criticado: a falta de critérios de avaliação. Se compreendesse melhor estes critérios, poderia agir mais adequadamente com o grupo. Ao menos, agir mais de acordo com o que é esperado. Não sou contra a avaliação. O que sou contra é não entender porque sou avaliado assim e não assado.” (Aprendiz TIAE 2000.1)
“O método de avaliação em IBW [Instrução Baseada na Web] consiste em avaliar não só a participação como a opinião dos aprendizes, o que seria uma forma de avaliação subjetiva e duvidosa. Como o facilitador avaliador pode fazer uma avaliação justa do conhecimento adquirido por seus aprendizes?” (Aprendiz TIAE2002.2)
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 11 / 14
Avaliação baseada em critérios:• Adequação• Conteúdo• Articulação• Linguagem
Catolagação de 50 problemas usuais
Critérios de avaliação diminuem a subjetividadeProblemas:• Professores escrevem mais que os alunos• A avaliação parece ser rigorosa demais• A avaliação torna-se muito cara (tempo médio de avaliação: 30 minutos por mensagem)
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 12 / 14
Avaliação da Participação: Avaliação Quantitativa
a) Quantidade I rrelevanteA q u a n tid a d e d e m e n s a g e n s
n ã o in fl u e n cia a n o ta ( a va lia çã oa p e n a s q u a lita tiva )
b) Quantidade Mínim aO p e s o a u m e n ta co m a
q u a n tid a d e d e m e n s a g e n sa té a tin g ir u m m á x im o
c) Quantidade Máx im aO p e s o a u m e n ta a té a tin g iru m m á x im o d e m e n s a g e n se d im in u i a o a fa s ta r- s e d e le
d) Quantidade ModeradaO p e s o m á x im o é a tin g id o
e n tre u m in te rva lo d aq u a n tid a d e d e m e n s a g e n s
M
1
M
1
M
1
N
m e n s a g e n s
m e n s a g e n sm e n s a g e n s
P e s o
m e n s a g e n s
1
P e s o
P e s o
P e s o
1 1 1
0000
0.5
0.8
0.1
0.3
0.7
0.5
0.9
0.2
0.0
0.5
1.0
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Quantidade de mensagens do aprendiz no seminário
Peso
4.Regular > 2.Bom(7.5*1 > 10*5)
1.Bom = 3.Péssimo(10*0.2 > 2.5*0.8)
Resultados:• Aumento da Quantidade de mensagens sem cair a Qualidade• Participação mais homogênea entre aprendizes• Participação mais constante entre seminários
Nos seminários TIAE,ponderação entre qualidade e quantidade:Não ajuda o grupo quem:
• só fala besteira (“achismo”)• só lê ou fala pouco (aluno-ouvinte)• fala demais (monopoliza a discussão)
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 13 / 14
Avaliação da Participação: lições aprendidas
• Avalie, ainda que apenas com notas• Apresente Comentários, pois orientam os aprendizes• Use critérios de avaliação, pois reduzem a subjetividade• Evite comentários muito extensos:
exige muito tempo dos mediadores aprendizes ficam com a impressão de que a avaliação é muito rigorosa