AMON-CHAT - UM AGENTE DE INTERFACE PARA AUXILIAR NA AVALIAÇÃO DE APRENDIZAGEM BASEADA NA WEB

AMon-Chat - Um Agente de Interface para Auxiliar na Avaliação de Aprendizagem baseada na Web

José Carlos Tavares da Silva1,

Jorge Fernando Silva Araujo1, José Rodrigues Fernandes2,

Fabiana Jeronimo Quintella de Lima1, Leandra de Miranda Mendes1

1Departamento de Informática – Universidade Católica de Petrópolis (UCP) Caixa Postal 90.944 – 25.685-070 – Petrópolis – RJ – Brasil

2Gerência de Informática - Universidade Católica de Petrópolis (UCP) Caixa Postal 90.944 – 25.610-000 – Petrópolis – RJ – Brasil

{carlos.tavares,jose.rodrigues,jorge.fernando}@ucp.br, {fabianajql,leandramiranda}@yahoo.com.br

Abstract. Here is described an evaluation contents chat based interface agent that can be used by two ways: i) the teacher can use it as the chat is going or ii) after the chat’s end. The goal is to improve a mechanism to facilitate the evaluation performance task. The results can be used “on-fly” or stored to permit post analysis and to compose a basis for a global evaluation when the course deadline is reached. Having in mind the low complexity performance requirement, a very light data structure was chosen to bind it. The main problem and the easy-to-use solution to evaluate the participants issues can be seen in this paper.

Resumo. Aqui se apresenta um agente de interface para avaliação de conteúdos para aprendizagem baseada em chat que pode ser usado de dois modos: i) o professor pode utilizar à medida que o chat se desenvolve ou ii) utilizar após o término do mesmo. A meta é propor um mecanismo que facilite a tarefa de avaliar a performance de cada participante. Os resultados podem utilizados “on-fly” e também armazenados para permitir análise à posteriori e compor uma base para uma avaliação global ao fim do curso. Tendo em mente o requisito de performance de baixa complexidade, uma estrutura de dados muito simples foi escolhida para a implementação do agente. O problema principal e uma solução simples e fácil de usar para o mesmo podem ser encontrados neste artigo.

1. Introdução O problema da avaliação das atividades síncronas a distância tem sido amplamente estudado pela comunidade de EAD. Quer seja pela necessidade, quer seja pela utilidade de tal avaliação, o fato é que o assunto ainda não está esgotado. Silva e Feijó (2002) apresentam um agente de avaliação que pode ser usado independentemente do meio em que o debate presencial a distância está sendo veiculado. Tomando por base o trabalho citado, e levando em consideração a mídia, neste artigo está proposto um agente de

Workshop em Informática na Educação (wie) 2003 357IX Workshop de Informática na Escola - WIE - 2003

avaliação para chat no formato texto, tal como acontece em vários ambientes de EAD. Tendo em mente uma focalização necessária, projetamos um agente de interface que pode ser adaptado a um servidor de conteúdo tal como, por exemplo, o Aulanet™ (Lucena e Fuks 2002). Como proposto, o agente usa como entrada o arquivo do chat que é composto por registros em formato convencional, isto é, cada elemento de informação é composto por um header e uma frase textual. Há uma lista de palavras que podem ser previamente escolhidas ou capturadas direto do texto. Ao selecionar uma palavra, cada frase que a contiver será colocada em "highlight" facilitando assim, a inspeção do avaliador quanto aos elementos de avaliação. É possível escolher palavras que focalizam o tema, ou palavras que claramente distancie o argumento do participante em relação ao tema. Pela seleção das palavras chave, todo o grupo pode ser analisado em sua performance.

A metodologia utilizada como base para a avaliação é fundamentada na teoria do vínculo de Pichon-Rivière (1982). Em seus estudos, o psiquiatra Enrique Pichon-Rivière coloca, desde o início, a necessidade de orientar suas investigações no campo social para uma tríplice direção: psicossocial, sociodinâmica e institucional, abordando o indivíduo e concebendo-o em sua dimensão humana mas, ao mesmo tempo, como uma totalidade integrada por 3 dimensões: a mente, o corpo e o mundo exterior no qual se integra dialeticamente, percebendo e revisando cada percepção deste mundo, em cooperação com os demais indivíduos com os quais ele compartilha a realidade.

Com a teoria do vínculo, o autor consegue dar o salto qualitativo de uma teoria predominantemente intrapsíquica para outra da ordem prática e social, onde o indivíduo é um ser de cultura resultante não da ação dos instintos e dos objetos interiorizados, mas do interjogo estabelecido entre sujeito e os objetos internos e externos, em uma predominante relação de interação dialética, a qual se expressa através de comportamentos claramente observáveis.

Nesse sentido, Pichon-Rivière (1983) desenvolveu um escopo de trabalho que denominou processo grupal. Nele, o autor demonstra como um grupo interage para atingir uma meta comum, onde cada participante procura relacionar-se com os demais com vistas à busca de solução de um problema comum a todos. Assim, podemos ver o processo de interação em um chat. Cada participante tem como meta alcançar maior grau de aprendizagem sobre um determinado tema previamente escolhido. Para tanto, é preciso cooperar com os demais, baseados em suas próprias experiências prévias e sob a coordenação (ou não) de um indivíduo mais experiente. Sob esse ponto de vista, o agente foi desenvolvido de forma a dar a quem exerce o papel de avaliador (o mais experiente do grupo, por exemplo), condições de atribuir um grau à participação efetiva de cada membro.

Este artigo está organizado em cinco seções. Na segunda seção está descrito em detalhe o problema, bem como suas bases metodológicas. Na terceira seção encontra-se o projeto do agente. Na quarta, são apresentadas algumas interfaces e detalhamento do protótipo construído para o modo de avaliação a posteriori e, na quinta seção, algumas conclusões a respeito da validade e da extensibilidade do agente são consideradas.

Workshop em Informática na Educação (wie) 2003 358IX Workshop de Informática na Escola - WIE - 2003

2. O problema O vínculo é o conceito central da teoria de Pichon-Rivière (1982), o qual é entendido como uma estrutura dinâmica em contínua evolução, que engloba tanto o sujeito como o objeto. A todo momento, o vínculo é estabelecido pela totalidade da pessoa que interpretará os significantes percebidos da realidade como uma gestalt em constante processo de evolução. Assim, faz pouco sentido pensarmos em avaliar apenas os conteúdos adquiridos pelo indivíduo que participa de um processo educacional, quer seja da modalidade a distância ou não.

Silva e Feijó (2002) abordam esta temática e utilizam esta teoria para estabelecer uma estrutura de avaliação. Os autores propõem uma máquina de estados finitos para avaliar em tempo real cada participante segundo a teoria do vínculo. Já Silva e Rodrigues (2001) propuseram um framework que suporta vários tipos de avaliação, quer seja de conteúdo ou de habilidades, usando os conceitos de Bloom para nível de profundidade do material aprendido e os conceitos de Gardner para evocar tipos e combinações de inteligências exigíveis e demonstradas numa determinada ação de aprendizagem. O agente de interface aqui proposto é uma contribuição a esse framework, denominado AMon-AD, e tem como objetivo dar ao avaliador algumas condições para tirar vantagem da teoria do vínculo, sem que para isso seja necessário que ele tenha experiência profunda em computação. A presente proposta pode ser utilizada em debates on-line, ou em debates assíncronos, mas limitada à utilização a posteriori, isto é, após o ciclo dos debates ser considerado findo.

Rezende, Fuks e Lucena (2002) apresentam uma abordagem para ferramentas de debate, como instanciação de um framework. A proposta dos autores interfere na estrutura e na dinâmica do debate em tempo real, tornando possível dirigir o discurso dos participantes em três diferentes categorias: i) a conversação livre, ii) a conversação circular e iii) a votação. Trata-se de uma abordagem onde o moderador pode escolher qual é o tipo de discurso a adotar, compatibilizando com o grupo e com o momento em que o mesmo se encontra. Embora não avalie a performance dos debatedores, esse modelo não impede a existência de uma avaliação concomitante.

Pimentel e Sampaio (2002) apresentam uma abordagem de aproveitamento de co-texto, ou seja, à medida que o debate evolui, várias digressões podem ser tomadas. A proposta dos autores é uma ferramenta que permite a exibição das contribuições dos participantes em grupos denominados co-textos, resultando em uma melhor visibilidade da participação do debatedor em cada um destes. Ainda, a ferramenta oferece outras visões sobre o ocorrido no debate que viabilizam ao avaliador estabelecer um grau a cada participante, embora não seja esta a meta do projeto.

As abordagens de Silva e Feijó (2002), a de Rezende et alii (2002) e a de Pimentel e Sampaio (2002) são distintas, e de algum modo, complementares de um problema de grande complexidade: o de avaliar o quanto um aprendiz de fato aprendeu durante o debate.

Tipicamente, em um debate on-line, cada participante recebe as mensagens dos demais e a elas responde ou cria nova digressão sobre o tema. A seu tempo, os debatedores são convidados a exercerem papéis para os quais são previamente orientados. Durante um curso a distância, as aulas presenciais ocorrem segundo um processo bem definido. Em Lucena e Fuks (2000), pode-se encontrar elementos

Workshop em Informática na Educação (wie) 2003 359IX Workshop de Informática na Escola - WIE - 2003

característicos do modus operandi de aprendizes e professores na era da Web. O AulaNet™ é um ambiente interativo que dispõe do mecanismo de debate síncrono no formato chat. O curso TIAE – Tecnologia de Informação Aplicada a Educação é veiculado pelo AulaNet™ , de Lucena e Fuks ( 2000 e 2002), e nele há conteúdos para os grupos trabalharem em conjunto a aprendizagem, usando a metodologia de groupware. Neste enfoque, a cada aula presencial, um subgrupo ou indivíduo é selecionado para dirigir os debates. A cada participante do subgrupo é atribuído um papel. Não há um protocolo para isso. Há quem exerça o papel de moderador e outro que exerça o papel de líder. Os demais participantes exercerão naturalmente outros papéis, tais como o do porta-voz, o do bode expiatório, etc. O processo se inicia a pelo menos uma semana do debate. O subgrupo escolhido tem por responsabilidade preparar os demais colegas enviando textos sobre o tema da semana. Isto é feito em lista de discussão assíncrona, que é utilizada para “esquentar” o debate síncrono da semana. Chegado o dia, cada debatedor já terá uma visão do assunto a ser tratado. Os debates devem seguir rigorosamente o tema da semana e o objetivo é nivelar os conhecimentos de todos, aprofundando os conteúdos.

Como se pode ver claramente, o processo é predominantemente cooperativo embora possam surgir conflitos e diferenças de opiniões entre os debatedores. Quando isso ocorre, cabe ao moderador conduzir os esforços do grupo para alcançar bom termo. Assim, em termos de avaliação, é preciso contemplar não só o ganho de conteúdo, mas também o modo como cada debatedor trata o assunto com os seus pares. Assim, o processo, como descrito no TIAE, se desenvolve em bases psicossociais tal como bem assinaladas por Pichon-Rivière (1983).

Para este autor, o processo de aprendizagem cooperativa é denominado grupo operativo, porque situa o enfoque do grupo centrado na ação de cada indivíduo na relação com os demais. Um grupo operativo trabalha centrado na tarefa e todas as ações do grupo devem ser observadas pelo exercício dos papéis, sendo que o que mais importante é o grau de coesão alcançado, de modo que o grupo possa atuar em equipe. Um debate síncrono a distância, via chat, requer ações que dependem fortemente da ação dos demais, e esta característica coloca o grupo na condição de grupo operativo. Para um tal grupo atingir o status de equipe é necessário: i) um forte vínculo com a tarefa, ii) pertinência nas ações dos participantes, iii) cooperação, iv) comunicação, v) empatia (ou tele) e vi) afiliação, para que ocorra uma aprendizagem eficaz.

Levando em consideração que num debate síncrono, via chat, com duração aproximada de uma hora, são trocadas cerca de 100 a 300 mensagens, é fácil supor a complexidade para avaliar segundo os vetores descritos acima. É nesse processo que o agente de interface irá atuar.

Conforme as mensagens são trocadas, o avaliador poderá selecionar palavras que bem definem o núcleo da temática. Ao selecionar as palavras, os debatedores que as citarem estarão formando um núcleo para debater. Pode ocorrer, entretanto, que ao longo do debate o foco se desvie ligeiramente desse núcleo, apontando para outros núcleos igualmente importantes. Então, por um processo de simples troca de palavras, um novo núcleo pode ser controlado e assim por diante. O agente se encarregará de manter na lista todas as palavras que forem selecionadas. O avaliador poderá colocar ou retirar uma ou mais palavras do foco atual de observação. Ainda, levando em consideração que existirão outras oportunidades de se tratar do mesmo tema com outros

Workshop em Informática na Educação (wie) 2003 360IX Workshop de Informática na Escola - WIE - 2003

aprendizes, o agente manterá em arquivo as palavras selecionadas formando uma lista inicial para futuros debates. Deste modo, o agente estará aprendendo o que é relevante no debate em questão e guardar para uso posterior.

Algumas heurísticas foram implementadas no presente modelo. As mais simples são: a apuração do número de frases; o número de frases por aluno; alunos que mais trabalharam; aluno que mais debateu, mesmo que suas mensagens não tenham sido tão boas, etc. Outras heurísticas podem ser encontradas em Silva e Feijó (2002), porém, é necessário que se qualifique as mensagens como boas - ou ruins - para que elas possam ser utilizadas.

Nas seções seguintes, poderão ser vistos o modelo e o projeto que já conta com um protótipo desenvolvido em ambiente Java.

3. O modelo

Figura 1. Relacionamentos do Agente

O modelo proposto é um framework com padrões de projeto pré-definidos a serem oferecidos em tempo de execução ao avaliador. Tais padrões implementam cenários básicos de observação, tais como o cenário global do chat e os cenários secundários de utilidade para o trabalho do avaliador. Por exemplo, é interessante para o avaliador ver em detalhe as respostas de um único participante, na ordem em que elas apareceram no contexto do chat, mas isoladamente dele. Esse cenário secundário oferece condições de avaliar a qualidade das interações do participante. Outro cenário relevante para a avaliação é constituído pelas estatísticas do debate. Dentre as várias estatísticas de interesse, foram escolhidas: o total de mensagens enviadas; o total de mensagens por participante e a qualidade das mensagens, refletida na avaliação de cada participante.

Os principais casos de uso são:

Workshop em Informática na Educação (wie) 2003 361IX Workshop de Informática na Escola - WIE - 2003

Aprendiz envia mensagem;

Avaliador seleciona aluno;

Avaliador seleciona palavra;

Avaliador atribui grau;

Agente calcula proporção de mensagens do aprendiz;

Agente grava avaliação;

Agente filtra mensagens por aluno selecionado.

O avaliador ao selecionar um aprendiz para avaliar, terá a seu dispor as estatísticas do aluno e as mensagens que o mesmo enviou. Conforme pode ser visto na próxima seção, o processo se torna muito mais simples e mais imediato.

4. A Interface e seus Detalhes O conteúdo do chat e as informações que o identificam são apresentadas numa tela ao professor. O modelo abaixo corresponde ao modo de avaliação “off-line”, isto é, após o término do chat. Temos a identificação dos seguintes itens:

- Nome do curso;

- Nome da disciplina do curso;

- Data do chat;

- O status do aluno (se não avaliado ou já avaliado).

Além disso, tem-se disponível a lista dos participantes e uma lista de palavras, que se apresenta vazia no momento inicial, uma vez que não houve debates anteriores sobre o mesmo assunto.

A opção chat carrega o arquivo de texto e a opção avaliação monta a interface para que a mesma seja efetuada. Na tela da figura 2, vemos uma implementação do exposto. Nota-se que o status é de “não avaliado”, a lista de palavras vazia, o texto do chat com as estatísticas de número de participantes e número total de mensagens.

Workshop em Informática na Educação (wie) 2003 362IX Workshop de Informática na Escola - WIE - 2003

Na figura 3, encontra-se um exemplo de tela de avaliação. Nela se pode selecionar um aluno e fazer a avaliação segundo os vetores já citados. Um grau de 1 a 5 pode ser selecionado e apenas após o avaliador comandar a gravação da avaliação é que a mesma será registrada em banco de dados. É possível rever a avaliação: para isso, basta selecionar o participante novamente. Neste caso, seu status estará mudado de “não avaliado” para “avaliado”. Ao selecionar um participante, o agente apresenta, adicionalmente, a tela específica para as suas mensagens e um protocolo a ser usado pelo avaliador para estabelecer uma medida de performance. As frases do participante aparecem marcadas no contexto do chat e uma janela auxiliar é apresentada contendo apenas as frases do participante. Um protocolo para avaliar segundo os vetores da teoria do vínculo de Pichon-Rivière (1982), é apresentando e o avaliador simplesmente marca o grau para cada projeção. Ainda, é apresentado um campo contendo o número de mensagens enviadas pelo participante, dando a proporção da contribuição da pessoa selecionada ao debate.

Figura 2. Interface Geral do Chat

Workshop em Informática na Educação (wie) 2003 363IX Workshop de Informática na Escola - WIE - 2003

Figura 3. Interface do aluno selecionado para avaliação

A figura 4 apresenta a avaliação já realizada, as frases marcadas e a janela contendo as frases do participante que estão marcadas no contexto e isoladas na outra janela, segundo a ordem em que apareceram no chat.

Figura 4. Interface do aluno selecionado e já avaliado

Workshop em Informática na Educação (wie) 2003 364IX Workshop de Informática na Escola - WIE - 2003

O sistema aprende com o avaliador e estabelece uma relação entre mensagens enviadas, total de mensagens e graus atribuídos. Assim, em novos debates, o agente já poderá oferecer uma avaliação conforme esse aprendizado, como sugestão inicial para avaliar a participação em debates futuros. O avaliador poderá aceitar ou modificar esta sugestão segundo sua própria inspeção quanto à performance do debatedor. Nesse caso, o agente considerará a alteração para as próximas avaliações.

Várias medidas podem ser estabelecidas em função das projeções avaliadas. Na interface de apresentação dos graus do debate, gráficos, médias e outras medidas são apresentadas, dando uma visão do processo e da participação efetiva de cada debatedor. Tal escala implementa um modo de avaliar, não só os conteúdos adquiridos como também avalia a performance grupal de cada debatedor, e o resultado global pode dar uma medida de efetividade do grupo enquanto grupo em aprendizagem.

Na seção seguinte, são traçadas algumas conclusões sobre a potencialidade dessa proposta e quais as direções futuras do trabalho dos autores.

5. Conclusões A presente proposta representa uma abordagem inicial ao problema da avaliação de conteúdos e habilidades em aprendizagem mediada pela Web. O caráter síncrono dessa mediação pode e deve ser aproveitado como instrumento de avaliação, mais do que instrumento de aferição. A complexidade de um debate síncrono não pode ser avaliada como algo que se compara a um padrão ou a um gabarito. A riqueza do processo cooperativo também deve ser contemplada na avaliação. As interfaces projetadas visam dar ao avaliador instrumentos para que ele possa atribuir graus não só ao quesito aprendizagem, como também aos demais quesitos da teoria do vínculo, que bem aplicada pode, de fato, auxiliar no processo de transformação de um grupo numa equipe. É sabido que há dois caminhos possíveis para um grupo operativo: ou ele se transforma em equipe ou então ele se desfaz. Esse modelo de agente tem como objetivo auxiliar o coordenador do grupo a transformá-lo em equipe produtiva. O agente de per si nada faz. Contudo, o avaliador pode ter melhor visibilidade para executar a tarefa de avaliação, se utilizá-lo em sua ampla potencialidade. É sabido também que tal agente pode ser continuamente melhorado e esse tem sido o objetivo dos autores. Como primeira abordagem, o agente já oferece boa performance. Há outros trabalhos, tal como o modelo de indentação e reorganização temática do contexto de um chat, de Pimentel e Sampaio (2002) que, conjugados a este trabalho, podem oferecer ao avaliador plenas condições de realizar uma boa avaliação, mesmo considerando a extrema dificuldade de fazê-la.

Referências Bloom, B. S. (1956) “Taxonomy of Educational Objectives: handbook 1”, Cognitive

Domain. New York, Longman, 1956.

Fuks, H., Gerosa, M.A. e Lucena, C.J.P. (2002) The Development and Application of Distance Learning on the Internet, The Journal of Open and Distance Learning, Vol. 17, N. 1, ISSN 0268-0513, February 2002.

Gardner, H. (1994) “Estruturas da mente : a Teoria das Inteligências Múltiplas”. Tradução Sandra Costa. Porto Alegre, Ed. Artes Médicas, 1994.

Workshop em Informática na Educação (wie) 2003 365IX Workshop de Informática na Escola - WIE - 2003

Lucena, C.J.P. e Fuks, H. (2000) “Professores e Aprendizes na Web: A Educação na Era da Internet”, ISBN 85-88011-01-08, Editora Clube do Futuro, Rio de Janeiro, Outubro de 2000.

Lucena, C.J.P. e Fuks, H. (2000) “Tecnologias de Informação Aplicadas à Educação (TIAE): Manual do Aprendiz”, Monografias em Ciência da Computação- 07/02 –Departamento de Informática, PUC-Rio, ISSN 0103-9741. Maio 2002.

Pichon-Rivière, E. (1982) "Teoria do Vínculo" Livraria Martins Fontes Editora, São Paulo, Brasil.

______________ (1983) "O Processo Grupal" Livraria Martins Fontes Editora, São Paulo, Brasil.

Pimentel, M.G e Sampaio, F.F (2002) “Comunicografia” Revista Brasileira de Informática na Educação, Vol. 10. n° 1. Abril de 2002.

Rezende, J.L, Fuks, H. e Lucena, C.J.P. (2002) “Mediated Chat 2.0 – Uma Instanciação do Framework Canais de Comunicação”, comunicação do PRONEX MOBILE 2002, Frameworks em Tecnologia de Software: Métodos, Ferramentas e Soluções de Domínios Específicos, Departamento de Informática – PUC-Rio, 2002.

Silva, J.C.T. e Feijó, B. (2002) "Uma Máquina de Estados Finitos para Avaliação de Desempenho em um Grupo de Discussão On-Line" Anais do XIII Simpósio Brasileiro de Informática na Educação, SBC, São Leopoldo, RS, pp. 420-427.

Silva, J.C.T. & Fernandes J.R (2000). “Amon-Ad: Um Agente Inteligente para Avaliação de Aprendizagem em Ambientes Baseados na Web” - VI Workshop de Informática na Escola, II Workshop de Agentes de Software na Educação - XX Congresso da SBC, Curitiba, Paraná, Brasil - julho, 2000.

Workshop em Informática na Educação (wie) 2003 366IX Workshop de Informática na Escola - WIE - 2003