Transcript
LA TECNOLOGÍA Y LA EVALUACIÓN DE LENGUAS (CARR, 2006)
VENTAJAS DE LA EVALUACIÓN CON COMPUTADORAS
Pruebas más atractivas, Uso de tareas auténticas e interactivas, Fáciles de administrar (a distancia) y corregir, Más eficiencia (bajos costos) en el proceso
de evaluación.
Estudio:Blake, R., Wilson, D., Cetto, S., & Pardo-
Ballester, D. (2008). Measuring oral proficiency in distance, face-to-face, and blended classrooms. Language Learning and Technology, 12(3).
MEASURING ORAL PROFICIENCY IN DISTANCE, FACE-TO-FACE, AND BLENDED CLASSROOMS ¿Pueden los cursos híbridos y los en línea
proveer a los aprendices un nivel de suficiencia oral igual como lo de los cursos cara a cara?
Más específico, ¿Pueden los estudiantes mantener el ritmo con los estudiantes tradicionales?
EL ESTUDIO
Spanish Without Walls: CD-ROM, DVD, CMC Formato de los cursos en línea y los cursos
híbridos Los estudiantes tuvieron exámenes sobre los
materiales en el CD-ROM y el programa de DVD. Tuvieron que completar los chats en línea
usando el texto y la voz con el instructor en grupos y con un compañero.
Curso híbrido – 2 días/semana por 3 horas
Curso tradicional – Dos Mundos, 5 días/semana
LOS RESULTADOS
Versant for Spanish - prueba por teléfono calificada automáticamente hacia el final del curso.
Según los resultados, ambos cursos, el híbrido y el curso en línea, les permitieron a los aprendices lograr un nivel de suficiencia oral comparable con el nivel de los aprendices tradicionales.
LIMITACIONES DE LA EVALUACIÓN CON COMPUTADORAS
Costosa en términos de desarrollo de las pruebas y el equipo que se requiere para administrarla.
Problemática para estudiantes que no están familiarizados o sienten anxiedad al usar las computadoras.
Rango limitado de formatos que se pueden usar para evaluar (MCHQ vs. tareas de producción).
Estudio:Dooey, P. (2008). Language testing and
technology: problems of transition to a new era. ReCALL, 20(1), 21-34.
EN TRANSICIÓN: LOS EXÁMENES DEL LENGUAJE Y LA TECNOLOGÍA - DOOEY
• Los exámenes son importantes porque además de tener mucho valor para el aprendiz y proveer información sobre el estudiante:
•promueven y aumentan el aprendizaje•ayudan en asignar recursos a nivel institucional.
LOS DISEÑADORES DE LOS EXÁMENES TIENEN UNA RESPONSABILIDAD Y UN PODER GRANDE.
La tecnología puede ayudar en mejorar los exámenes tradicionales: para medir destrezas más complicadas y
técnicas para adaptar a la habilidad del aprendiz
Los diseñadores tienen que estar al corriente con la tecnología y las diferencias entre un examen en computador vs. lo tradicional.
En computadora un examen es más rápido, y exacto. Falta la comunicación abierta. Los exámenes no deben medir familiaridad con el uso
de la tecnología.
¿CUÁL ES EL FUTURO DEL EXAMEN?
Todavía falta evidencia para el uso del computador en los exámenes de lectura.
Hasta que todo el mundo tenga acceso igual a la tecnología, los aprendices deben tener la opción de tomar un examen tradicional.
Podemos esperar exámenes más flexibles, accesible, y confiables que provean mayor retroalimentación, aunque todavía falta correspondencia entre los exámenes tradicionales y en computadora.
EVALUACIÓN ADAPTABLE POR COMPUTADORAS
Requiere la corrección de las preguntas de manera inmediata para determinar la próxima pregunta a responder.
Los examinados responden a un grupo diferente de preguntas de acuerdo a su habilidad.
Limitada a preguntas de selección. Problemática para medir lectura y
comprensión oral porque asumen que los ítemes miden conocimientos independientes.
EVALUACIÓN ADAPTABLE POR COMPUTADORAS
Se le presenta a los examinados material con un nivel de dificultad apropiado.
Los examinados pueden trabajar a su propio ritmo.
Se puede determinar el nivel del examinado con mayor facilidad.
Costosa y requiere de mucho apoyo técnico (tecnológico, estadístico).
EVALUACIÓN DE LENGUAS EN LA WEB
Administración de pruebas a través de la internet.
Requiere de conocimiento del diseño de páginas, el establecimiento de formas para enviar los resultados y el manejo de una base de datos.
Proceso de evaluación centralizado en un servidor.
Amplia adminstración de las pruebas sin importar la ubicación geográfica de los estudiantes.
EVALUACIÓN DE LENGUAS EN LA WEB
Uso de formato familiar para los examinados. Facilita la inclusión de contenido multimedia. No es costosa. Permite la inclusión de respuestas cortas
(e.g., cloze, filling the gaps)Estudio:Larson, J., & Hendricks, H. (2009). A context-based
online diagnostic test of Spanish. CALICO Journal, 26(2).
Zabaleta, F. (2007). Developing a multimedia, computer-based Spanish placement test. CALICO Journal, 24(3).
EXAMEN DIAGNÓSTICO DE ESPAÑOL EN LÍNEA – LARSON & HENDRICKS Áreas de énfasis:
Evaluación, Contextualización y Tecnología
Se busca: Evaluar la competencia comunicativa.
Crear un examen contextualizado- diagnóstico en línea que: Identifique áreas deficientes y ofrezca ayuda para mejorar la comunicación.
Propósitos de los exámenes: proporcionar a los administradores, maestros y estudiantes ciertos tipos de información valiosa
Tipos de pruebas: de aptitud, de colocación, competencia, de rendimiento y de diagnóstico
EXAMEN DIAGNÓSTICO DE ESPAÑOL EN LÍNEA – LARSON & HENDRICKS Aspectos relacionados
con el desarrollo y aplicación de la prueba: contextualización, autenticidad, interacción, validez y aplicación
Examen en-línea contextualizado y diagnóstico.
Más cercano a la realidad y a situaciones comunicativas genuinas.
Objetivo: evaluar la capacidad de los estudiantes de utilizar los conceptos gramaticales para comunicarse en el mundo universitario.
Tareas, editar un párrafo, ayudar a un compañero de cuarto y crear un póster para la comunidad.
Actividades: selección simple, respuestas cortas, corrección de un párrafo
EXAMEN DIAGNÓSTICO DE ESPAÑOL EN LÍNEA – LARSON & HENDRICKS Aplicación: en-línea Diagnóstico: Cuando los
estudiantes han completado la prueba, un informe de ejecución se genera para informarles sobre su desempeño y les notifica que conceptos gramaticales manejan bien y cuáles no.
Conclusión: los resultados no varían entre el examen contextualizado y el discrete point diagnostic test.
Ambos detectan las debilidades y fortalezas de los estudiantes pero el examen en línea toma 4 veces más tiempo para completar.
USO DE MULTIMEDIA EN LA APLICACIÓN DE EXÁMENES DE CONOCIMIENTO DEL ESPAÑOL.
POR: FRANCISCO ZABALETA La aplicación de examen de conocimiento del español ha sido un problema
(primer nivel o para estudiantes transferidos). El autor ha diseñado un programa piloto en la universidad de San Diego
(SDSU) o IF( item facitity) preguntas fáciles. Este programa es aplicable en cualquier institución que ofrezca multiniveles
de español. El objetivo es facilitar la aplicación y obtención los resultados al momento de
terminar el examen. En el proyecto piloto él vio que seguían siendo un problema las habilidades
orales y escritas, ya que se necesita un laboratorio más sofisticado para evaluarlas.
El IF busca evaluar los miles de estudiantes que ingresan cada año en la universidad de San Diego; minorizando los costos financieros y laborales; usando un laboratorio y un programa de computadoras adecuado para tal fin.
6 PASOS PARA LA CONSTRUCCIÓN DE UN EXAMEN DE CONOCIMIENTO DEL ESPAÑOL.
1ero: Consulta de las investigación teoría y práctica anteriores.
2do: Hacer una lista de los conceptos teóricos por niveles y habilidades lingüísticas.
3ero: Usar preguntas de múltiple escogencia para cada uno de las aspectos a evaluar.
4to: Construcción y uso de un programa que ofrezca un banco de preguntas particulares y generales .
5to: Escoger un programa para el examen, que garantice la facilidad de uso.
6to: Análisis del examen.
APLICACIÓN DEL PROYECTO PILOTO. Comienzo con evaluación
en (SDSU) o IF de 200 preguntas, luego fue reducida a 150 preguntas y finalmente comienza la prueba con 120 preguntas.
Aplicado a171 estudiantes de 10 secciones de español de 102-103 entre 2001-2002 al iniciar los cursos cada semestre.
Divide las preguntas en 4 categorías:
Solo texto= 76 preguntas. Fotografía y texto = 24
preguntas. Audio= 12 preguntas. Audio y video= 8
preguntas.
Resultados: 75 preguntas fueron del banco de
preguntas de la institución y el resto del programa general de preguntas.
Se contestó en 35 minutos. El estudiante recibió el resultado en tiempo
real. Lo más difícil fue contestar las preguntas
con sólo texto. Los mejores resultados se obtuvieron con
la combinación audiovisual, con 76%. 130 estudiantes de 171 prefirieron la
prueba con video o audiovisuales, también manifestaron que la evaluación fue interesante y divertida.
Recomendaciones: El diseño debe ser un trabajo colaborativo. No debe ser un producto terminado. No es recomendable comercializar el
diseño. La evaluación no debe ser por crédito, sino
un instrumento de diagnostico, para el estudiante y para la institución educativa.
CORRECCIÓN AUTOMATIZADA
Podría incrementar la consistencia en la corrección.
Resulta práctica con un número grande de examinados.
Requiere una precisión alta en la especificación de la clave de corrección.
Resulta difícil corregir la variedad de los aprendices (no estandard si se compara con la de los NHs).
CORRECCIÓN AUTOMATIZADA
Requiere una clasificación de la seriedad de los errores para poder dar una calificación.
Requiere tomar en cuenta varios aspectos de la producción (e.g., complejidad de las estructuras utilizadas, extensión, etc.)
¿QUÉ TOMAR EN CUENTA AL DISEÑAR UNA EVALUACIÓN USANDO COMPUTADORAS?
Validez, autenticidad, confiabilidad y practicalidad.
Los examinados y sus características El significado de los puntajes y las
consecuencias que traen los mismos. Propósito, estructura y tareas de la prueba. Lenguaje de las instrucciones, preguntas de
lectura y comprensión oral. Presentación del insumo (video, audio,
imágenes). Horario de desarrollo e implementación de la
prueba (prueba piloto).
¿QUÉ TOMAR EN CUENTA AL DISEÑAR UNA EVALUACIÓN USANDO COMPUTADORAS?
Aspectos técnicos: servidor, conexión, navegador
Seguridad: plagio, trampa, puntajes, quién toma la prueba
Programa o herramienta para desarrollar el programa (e.g., Vista, Hot potatoes)
Conclusión:Douglas, D., & Hegelheimer, V. (2007). Assessing
language using computer technology. Annual Review of Applied Linguistics, 27, 115-132.
EVALUACIÓN DE LENGUAS USANDO LA COMPUTADORA- DOUGLAS & HEGELHEIMER
Papel y lápiz Mismas preguntas pero en la computadora, eran prácticos.
Escoger la herramienta más apropiada (correo electrónico, cara a cara, teléfono)
¿Audio + video? Futuro: software que califique ensayos,
simulaciones autenticas, software que mida el progreso del estudiante a través del examen
PROBLEMAS CON LA VALIDEZ Puede que los resultados de un examen
computarizado no reflejen lo que se mediría en otro tipo de exámenes.
El tipo de preguntas que se pueden desarrollar en CBTs son diferentes a las que se pueden desarrollar con otro tipo de herramientas.
La selección de ítemes incluidos en los exámenes de colocación pueden resultar inapropiados en su contenido causando ansiedad.
La puntuación puede no dar crédito a respuestas que puedan estar bien.
CALT puede poner en riesgo la seguridad del examen.
CALT puede tener consecuencias negativas para los estudiantes, las clases, la enseñanza y la sociedad.
HERRAMIENTAS/SOFTWARES & VENTAJAS/DESVENTAJAS Course management systems CMS -- Moodle,
WebCT, Desire2Learn. Stand-Alone – Hot Potatoes, Flashform Rapid
eLearning Studio, Discovery School’s Quiz Center, Questionmark, LidgetGreen.
Automated Essay Evaluators AWE --Intelligent Essay Assesor, Intellimetric, MyAccess, DIALANG
RECURSOS Y PRÁCTICA: Libro de notas:
Engrade: http://www.engrade.com/ Rúbricas:
Rubistar: http://rubistar.4teachers.org/ Rubric generator: http://www.teach-nology.com/web_tools/rubrics/
Evaluación de proyectos que involucran multimedia o tecnología y otras rúbricas: http://www.uwstout.edu/soe/profdev/rubrics.shtml
Práctica En parejas, usando su shell de VISTA, hacer un quiz
(assessment) de 5 tipos de preguntas diferentes / crear una rúbrica usando Rubistar o el generador de rúbricas.
top related