-
Correo Automtica de Testes de Mltipla Escolha MCTest - Verso
para Android
Francisco de Assis Zampirolli e
Rodrigo Teiske China (bolsa PIBIC/UFABC)
[email protected] e [email protected]
Centro de Matemtica, Computao e Cognio Universidade Federal do
ABC - Santo Andr, Brasil 09.210-170
RESUMO
Atualmente h muitos corretores automticos comerciais de testes
de mltipla
escolha, usualmente compostos de um software e um scanner
especializados. Mas a vasta
disseminao de laptops, tablets e smartphones com cmeras
integradas oferece novas
possibilidades para realizar o mesmo servio sem a necessidade de
qualquer hardware ou
software extras e com o benefcio da execuo remota de baixo
custo. Este projeto visa
apresentar um aplicativo para smartphones, com Android, onde j
constatou sucesso na
correo de 674 testes de mltipla escolha de um problema real e
desenvolvido
originalmente em linguagem Matlab, para desktop ou notebook.
Vdeo Matlab: http://youtu.be/yRPbGS_YSmQ
Vdeo Android: http://youtu.be/wD3tpu00JOw (testes de 10 questes
e 16 tipos)
http://youtu.be/50tknJWfbF4 (testes de 40 questes e 80
questes)
Santo Andr, 2014
-
INSTALAO
1) Configurao mnima testada: a. Smartphone, com Android 2.2; b.
Cmara, 3Mpixel; c. Tamanho da Tela 2,8 QVGA, 262k (cores) e 320h x
240w; d. Touch Screen;
2) No app Play Store do seu smartphone, em Configuraes,
Filtragem de contedo,
habilite a opo Todos, para permitir a instalao de todos os
aplicativos;
3) Instalar o aplicativo MCTest:
https://play.google.com/store/apps/details?id=com.corretordetestes
Ou http://vision.ufabc.edu.br/MCTest/MCTest.apk
CORREES DOS TESTES Vejam em
http://vision.ufabc.edu.br/MCTest//TestsExamples vrios exemplos de
formatos de testes para serem aplicados. Para smartphones antigos,
com processamento lento, as correes podem demorar alguns segundos
para cada teste. O nmero mximo de questes de um teste vai depender
da resoluo da cmera de vdeo do smartphone, no ultrapassando 40
questes, segundo os nossos experimentos. Porm, possvel fazer vrios
quadros de respostas em um mesmo teste, bastando que os quadros de
respostas estejam a pelo menos 1 centmetro de distncia um do outro,
e que o usurio some os resultados dos vrios quadros para se ter a
pontuao final de cada teste. Um Projeto (subpasta salva na pasta
MCTest do smartphone) suporta at 16 tipos diferentes de testes com
5 alternativas de respostas em cada questo. Assim, o professor pode
aplicar em um Projeto (turma) at 16 testes diferentes. Em nossos
testes foi utilizado 5 alternativas de respostas para cada questo,
porm este nmero pode mudar, consequentemente, mudar tambm a
quantidade de tipos diferentes de testes suportados para cada
Projeto, seguindo uma escala binria (por exemplo, 5 alternativas de
respostas implica 4 bits e 16 tipos; 4 alternativas implica 3 bits
e 8 tipos de testes em cada Projeto). Cada questo pode ter um peso
de 1,5 se a ltima linha da questo estiver marcada no gabarito, caso
contrrio ter peso 1. No aplicativo MCTest, primeiro gerem os
processamentos (correes) dos gabaritos, depois corrijam os testes.
As prximas figuras foram capturas de um smartphone Samsung Galaxy
Note 2, e ilustram este processo de correes de testes de mltipla
escolha usando o MCTest.
-
Figura 1: Tela de apresentao, ao executar o aplicativo (verses
em portugus e ingls).
Figura 2: Tela Inicial.
-
Figura 3: Tela de Novo Projeto (nesta figura a pasta test10 ser
salva em MCTest).
Figura 4. Aps criar/salvar o Novo Projeto test10, escolha Novo
Gabarito.
-
Figura 5. Posicione o quadro de respostas do teste entre as
linhas verdes, os 4 extremos
deste quadro de respostas devem ficar na rea branca, fora da
elipse vermelha (IMPORTANTE: deixar fundo branco entre estas
linhas, alm do quadro de respostas) e
fotografar (boto verde).
Figura 6. Se os 4 extremos da imagem desta figura so tambm do
quadro de respostas,
ento Enviar para Correo, seno Tentar Novamente.
-
Figura 7. Gabarito de um teste tipo 0 (numerao binria, com bit
menos significativo na
segunda linha da ltima coluna do quadro de respostas). Voltando
Figura 4 e aps o processamento do(s) gabarito(s se tiver vrios
tipos diferentes de testes em uma Projeto), escolha Corrigir Teste,
e fotografar (boto verde) um teste para realizar a correo automtica
usando o MCTest, como ilustra a Figura 8.
Figura 8. Teste de um aluno para correo.
-
Figura 9. Aps fotografar, Enviar para Correo, se os 4 extremos
da imagem desta
figura so tambm do quadro de respostas, como ocorrido na Figura
6.
Figura 10. Correo de um teste de um aluno.
Esta Figura 10, juntamente com a imagem do teste do aluno
(Figura 8) so salvas no smartphone, se a opo Salvar Imagens dos
Testes estiver marcada na Figura 3, veja
-
Figuras 11 e 12. Independente desta opo, teremos um arquivo CSV
com os resultados de todas os testes corrigidos de um determinado
Projeto, neste caso test10, veja Figura 14. Nesta Figura 10, tambm
tem uma caixa de texto para que o usurio inclua uma identificao do
estudante, que opcional.
Figura 11. Pasta test10 e arquivo test10.csv salvos no
smartphone.
Figura 12. Imagens salvas na pasta test10, referentes aos 3
testes corrigidos.
-
Figura 13. Contedo do arquivo test10.csv, referente aos 5 testes
corrigidos.
Voltando novamente Figura 4, aps o processamento do(s)
gabarito(s) e aps Corrigir Teste para a correo de vrios testes,
possvel visualizar a Estatstica das respostas, como apresentado da
Figura 14. Nesta figura, escolha o tipo do teste, por exemplo, tipo
0 e escolha o boto OK, assim ser apresentada a estatstica geral,
como mostra a Figura 15. possvel tambm escolher a estatstica
especfica de uma questo, como apresentado na Figura 16 para a
questo 9.
Figura 14. Na Figura 4, ao escolher o boto Estatstica.
-
Figura 15. Estatstica Geral de 5 testes, nesta ilustrao somente
a questo 9 teve um acerto
e a questo 10 todos erraram. As demais questes todos
acertaram.
Figura 16. Estatstica especfica para a questo 9, considerando 5
testes. Nesta ilustrao
ningum respondeu a opo A e as demais respostas foram um B, um C,
um D, um E e um teve a questo invlida, opo O.
Dentro da pasta MCTest/test10 possui tambm a pasta Result,
contendo um arquivo csv com a somatria de todas as respostas para o
clculo das estatsticas apresentadas anteriormente, veja na Figura
17 o contedo deste arquivo.
-
Figura 16. Arquivo contendo o somatrio de todas os testes
corrigidos, considerando cada
resposta de cada questo um valor unitrio e questes invlidas,
somam-se a linha O deste arquivo.
Figura 18. Na Figura 2, ao escolher o boto Sobre.
-
SUGESTES Testar: Antes de aplicar um teste em uma turma
(principalmente com muitos estudantes), sugerimos imprimir o
gabarito e algumas folhas de teste e realizar alguns experimentos
para ver se o aplicativo MCTest funciona corretamente em seu
smartphone. Usar por exemplo, os modelos de testes disponveis em
http://vision.ufabc.edu.br/MCTest/TestsExamples. Pintar
corretamente: Os experimentos realizados indicam que as respostas
dos estudantes que no pintaram corretamente os quadrados (fizeram
algumas linhas caneta, deixando muito fundo branco) no foram
consideradas pelo MCTest, dando uma pontuao inferior. Neste caso, o
professor pode destacar mais a resposta do estudantes pintando com
um lpis no quadrado pintado de forma incorreta. Quando ocorre uma
resposta invlida (sem resposta ou com mais de uma resposta por
questo) o aplicativo destaca em amarelo a coluna. Nos experimentos
realizados com o MCTest, em 185 testes com 8 tipos diferentes de
gabaritos, dois testes apresentaram este problema e foi resolvido
facilmente rabiscando com um lpis o(s) quadrado(s) pintado(s) de
forma incorreta. Assim, sugerimos fortemente que o estudante pinte
por completo o quadrado da resposta de uma questo, de preferncia
com caneta de cor preta. O MCTest faz filtros e considera pelo
menos 50% do quadrado pintado. Fundo branco: IMPORTANTE - ao
Fotografar, alm do quadro de respostas, deixar fundo branco entre
as linhas verdes (veja um exemplo na Figura 5), seno o MCTest vai
reconhecer rudos como extremos, contrrio ao que ocorre na Figura 6.
Boa iluminao: Ao fotografar um quadro de respostas, a iluminao pode
influenciar nas correes. Assim, escolha uma ambiente bem iluminado,
sem sombras, sem reflexes de luz, e que em todo o quadro de
respostas tenha a mesma intensidade de luz. Folha num plano: Tambm,
o quadro de respostas deve estar em uma superfcie plana, ao ser
fotografada, principalmente se for um teste com muitas questes, o
que vai deixar os quadrados das respostas bem pequenos. Isso pode
fazer com que uma resposta de uma questo fique cortada ao meio numa
folha no plana, seguindo o modelo de soluo implementado no
MCTest.