Texto completo ponencia: "Evaluación de sistemas de administración de aprendizaje (LMS) en 3D"

21 CIIIS 2014 ISSN: 2382-3593

Evaluación de Sistemas de

Administración del Aprendizaje (LMS) en 3D

JIMMY Y. ARDILA M. y EDITH M. RUÍZ C.

Grupo de Investigación EDUTIC, Facultad de Ciencias e Ingeniería, Universidad de Boyacá

Tunja, Colombia

Abstract— En este documento se plasma el avance de la

investigación “Estudio comparativo entre plataformas

virtuales gratuitas y la plataforma virtual propietaria

de la Universidad de Boyacá” que adelanta el grupo de

investigación EDUTIC. En el contenido se indican

algunos elementos teóricos que se han tenido en cuenta,

la selección de las herramientas vinculadas en el estudio

y las dimensiones que han de ser evaluadas.

Index Terms—Evaluación de plataformas virtuales,

Sistemas de administración del aprendizaje, tecnologías

de la información y la comunicación en educación

I. INTRODUCCIÓN1

A masificación de la oferta en educación superior

ha sido impulsada desde las políticas propuestas

por la UNESCO y acogida por sus países

miembro. Este escenario ha incrementado la

demanda en el sistema educativo, el cual hace uso de

las tecnologías de la información y la comunicación

(TIC), y en especial de los sistemas de

administración del aprendizaje (Learning

Management System - LMS) para hacerle frente.

Pero la selección del LMS que se ajuste a los

intereses institucionales pasa, en ocasiones, por una

elección de popularidad. Si se hace la elección

incorrecta, suscita una pérdida significativa de

tiempo e incluso una degradación de la imagen

1El documento de presentación de ponencia fue entregado el 13 de Diciembre de

2013. La investigación denominada “Estudio Comparativo entre plataformas virtuales

gratuitas y la plataforma virtual propietaria de la Universidad de Boyacá”, es adelantada

por el grupo de investigación EDUTIC, adscrito a la Facultad de Ciencias e Ingeniería de

la Universidad de Boyacá. El grupo a su vez tiene como misión soportar a través de sus

investigaciones las actividades que se adelantan en la Vicerrectoría de Educación Virtual

de la institución.

Jimmy Y. Ardila M. es profesor asistente de la Universidad de Boyacá, y se

encuentra adscrito al Departamento de Informática de la Universidad de Boyacá, ubicada

en la ciudad de Tunja, Colombia. Cuya dirección de correspondencia es la Cra 2 este #

64-169 (email: [email protected]).

Edith M. Ruíz C. es profesional de la Vicerrectoría en Educación Virtual de la

Universidad de Boyacá, ubicada en la ciudad de Tunja, Colombia. Cuya dirección de

correspondencia es la Cra 2 este # 64-169 (email: [email protected]).

institucional ante sus educandos. Por tal razón la

Vicerrectoría de Educación Virtual de la Universidad

de Boyacá, ha asumido desde el grupo de

investigación EDUTIC, la construcción de un modelo

que permita la evaluación de LMS. Para tal fin ha

generado un modelo de evaluación que involucra tres

dimensiones para su valoración: modelo pedagógico,

usuario y aspectos técnicos. Cada una de ellas está

integrada por una serie de factores que han sido

ponderados. En el estudio comparativo se han

vinculado los LMS Moodle (distribución libre),

Chamilo (software libre, bajo licencia GNU/GPL),

Claroline (software libre, bajo licencia GNU/GPL),

Atutor (licencia Open Source) y la herramienta

propietaria de la Universidad de Boyacá.

La ponencia se divide en cinco secciones. La primera

de ella orígenes, en donde se describe la forma en

que surge el proyecto de investigación. La segunda

hace una descripción de algunos antecedentes que se

han incluido en el estudio. La tercera muestra la

revisión del marco teórico que ha incidido en la

decisión de las dimensiones y los factores. La cuarta

tiene que ver con los resultados obtenidos, en esta

etapa se muestra los factores y las características que

han sido involucrados en el estudio, y las plataformas

seleccionadas. Finalmente se agregan conclusiones y

las tareas futuras que demanda el desarrollo del

estudio.

ORÍGENES

Es conveniente indicar al lector los elementos que

dieron origen al proyecto de investigación “Estudio

comparativo entre plataformas virtuales gratuitas y la

plataforma virtual propietaria de la Universidad de

Boyacá”. La Vicerrectoría de Educación Virtual de la

Universidad de Boyacá, entre sus diversas funciones,

tiene a cargo la oferta académica virtual de la

L

22 CIIIS 2014 ISSN: 2382-3593

institución, así como el proceso formativo de los

docentes en áreas relacionadas con las tutorías

virtuales de aprendizaje y el diseño de contenidos

virtuales. Los contenidos construidos pueden ser

empleados, con el acompañamiento de los

funcionarios de la vicerrectoría, en cursos de

diferentes áreas en modalidad blended, b-learning.

En la actualidad la Universidad de Boyacá cuenta

con una plataforma propietaria que soporta 189

cursos virtuales que han sido certificados por la

vicerrectoría. Estos cursos en su mayoría son usados

en modalidad blended, para soportar la oferta

presencial académica que se realiza en la universidad.

La acogida que esta modalidad formativa tiene por

parte de los docentes ha generado nuevas

necesidades, entre las que se encuentran herramientas

de comunicación sincrónica y asincrónica,

reutilización de contenidos, instrumentos de

evaluación (heteroevaluación, coevaluación y

autoevaluación), y herramientas de authoring, por

mencionar algunas. A su vez la Vicerrectoría de

Educación Virtual tiene un especial interés en

desarrollar procesos formativos que se caractericen

por la inclusión, aspecto que resulta deficiente

abordar con la plataforma que se cuenta en la

actualidad. También es de interés institucional no

incurrir en gastos de licenciamiento existiendo

suficientes alternativas gratuitas.

Debido a las nuevas necesidades, la vicerrectoría

requiere elegir cual es el LMS que se ajusta a los

intereses institucionales. El problema surge entonces,

al tener que seleccionar un LMS, debido a la cantidad

de herramientas que ofrecen servicios semejantes en

el mercado. La institución no desea en términos de

[1] usar herramientas por asunto de moda. Por tanto,

surge la necesidad de brindar una mirada

investigativa para sustentar la decisión; de allí surgen

las siguientes preguntas ¿Cuáles son las

características y servicios que debe ofrecer un LMS

para que pueda ser considerado como el instrumento

que permite desarrollar el modelo pedagógico de la

Universidad de Boyacá? ¿Cuáles son las plataformas

gratuitas que deben tenerse en cuenta en el estudio

comparativo? ¿Cuáles son las dimensiones que deben

involucrarse en la evaluación de los LMS? ¿Qué

criterios deben ser involucrados en las dimensiones?

¿Cómo puede validarse la selección de los criterios?

¿Cómo han de ponderarse los criterios?

Con estas cuestiones en mente, el grupo se traza

como objetivo identificar la plataforma virtual

gratuita que permita implementar las políticas del

modelo pedagógico virtual de la Universidad de

Boyacá, a través de un estudio comparativo, con el

fin de mejorar y ampliar los servicios que la

Vicerrectoría de Educación Virtual ofrece a su

comunidad académica.

III. LOS PRIMEROS HALLAZGOS

Al iniciar el proceso investigativo se encontró que

algunas de estas preguntas, como era de esperarse, ya

habían sido formuladas por otros investigadores en

distintas latitudes del mundo, los cuales plantearon

diferentes formas de abordar la problemática, en esta

sección se muestran los antecedentes que se sirvieron

de base para el desarrollo del estudio. El título de

cada una de las secciones es el nombre que los

autores dieron a los proyectos de investigación,

artículos o ponencias. Involucrar

A. Elearning. Análisis de Plataformas Gratuitas.

El proyecto desarrollado por Delgado en 2003 y

que se encuentra descrito en [2], tiene como

propósito hacer un análisis de las plataformas de

gestión del conocimiento que se distribuyen de

manera libre. Para ese entonces la Universidad de

Valencia (España), desarrolló el proyecto con la

intención de indagar por cuál de las plataformas

gratuitas del mercado podía emplearse de manera

masiva en la oferta virtual de la institución. Interés

que coincide con la actual necesidad de la

Vicerrectoría de Educación Virtual de la Universidad

de Boyacá.

La investigación requería seleccionar las

herramientas a involucrar en el estudio, para ello se

desarrollaron cuatro filtros. El primero, excluir las

herramientas que no tienen información o que no

tienen versiones demo. El segundo, seleccionar

aquellas plataformas que soporten castellano, inglés,

valenciano y catalán. El tercero, quitar aquellas que

exigían dependencia de terceros para su

funcionamiento. El último filtro, en seleccionar

aquellas herramientas que ofrecían funcionalidades

de gestión y desarrollo de curso online. Como

resultado este primer grupo de filtros dejó en pie

23 CIIIS 2014 ISSN: 2382-3593

doce plataformas: Atutor, BolinOS, CHEF, Claroline,

CLOSE, Eledge, Fle3, Ilias, Lon-CAPA, Manhattan,

Moodle, y WB T-Master.

Finalmente, con las doce herramientas el autor

realizó un grupo de pruebas, entre las que se

incluyeron: revisión de la información que publica el

sitio de la plataforma, idioma, accesibilidad, recursos

multimedia, apariencia, compatibilidad con

estándares, copias de seguridad, control de acceso,

perfiles, chequeo antivirus, correo electrónico, listas

de distribución, tablón de anuncios, foros de

discusión, chat, pizarra, videoconferencia, página

personal, agenda, marcadores, creación de grupos de

trabajo, autoevaluación, control de progreso,

información sobre cursos y profesores, sencillez de la

interfaz, conocimientos previos de informática,

importación de material, plantillas, índices, glosario,

cooperación entre profesores, gestión del curso,

ejercicios, seguimiento al estudiante, ayuda,

búsqueda, envío y descarga de ficheros,

sincronización tras la desconexión, y posteriormente

la documentación.

Al consolidar los resultados de las pruebas

Delgado concluyó que ante la herramienta que se

brindó mejores resultados fue Ilias. El autor realizó

con la plataforma un estudio de caso, para identificar

el funcionamiento de la aplicación en condiciones

reales.

B. Una Comparación y Evaluación de LMS

con Licenciamiento Open Source2.

En el año 2005 Itmazi, Paderewski y Gutierrez

publicaron un artículo llamado “A Comparison and

Evaluation of Open Source Learning Management

Systems” [3], en donde mostraban los resultados de

un estudio en la Universidad de Granada. El proyecto

consistió en un estudio comparativo entre los LMS

Moodle e Ilias. La elección de esas dos herramientas

se debió a los siguientes aspectos: herramientas Open

Source; recomendadas por del Ministerio de

Educación Australiano y del Instituto Fraunhofer;

eran de uso masivo para la época del estudio; y la

internacionalización, para la fecha Moodle soportaba

30 idiomas e Ilias 16.

2 Traducción realizada por los autores de la ponencia, el título original es “A

Comparison and Evaluation of Open Source Learning Management Systems”

La comparación fue abordada a partir de:

herramientas que ofrecen cada las plataformas para el

proceso formativo; las características que indican los

proveedores; la usabilidad; y debilidades descritas

por comunidades de programadores y

desarrolladores.

Como conclusión los investigadores afirman que

ambas herramientas tienen un buen grupo de

características, destacando el alto grado de usabilidad

que ambas poseen.

C. Comparación de Sistemas de Administración de

ELearning3.

En un trabajo mancomunado en el 2006 entre la

Zagreb y la Zagreb University y el School of

Economics and Management de Croacia, Fertalj,

Jercovic y Hlupic realizaron la ponencia titulada

“Comparison of e-Learning Management Systems”

[4] en el quinto WSEAS International Conference on

EACTIVITIES. El estudio realizado por los

investigadores ha tenido en cuenta diez plataformas

con las siguientes características: LMS tipo

propietario; principalmente propietario y

parcialmente basado en estándar LMS:

principalmente basado en estándar LMS y

parcialmente propietario; y plataformas de

licenciamiento Open Source.

Los investigadores hallaron que los sistemas

propietarios tienen la característica de tener un escaso

margen de interoperabilidad con otros LMS, mientras

que las plataformas basadas en estándares cuentan

con un alto grado de interoperabilidad. Sobre las

arquitecturas abiertas concluyeron que no son

realmente abiertas debido a los esfuerzos para su

configuración, integración y comunicación con otros

sistemas.

Las plataformas que se involucraron en el estudio

son: Jenzabiar Internet Campus Solution, como

representante de las propietario; eCollege AU+,

Learning Manager Entreprise Edition y WebCT Vista

como representantes de las principalmente

propietario y parcialmente basado en estándar LMS;

Angel, Blackboard Academic Suite y Learnwise

3 Traducción realizada por los autores de la ponencia, el título original es

“Comparison of e-Learning Management Systems”

24 CIIIS 2014 ISSN: 2382-3593

como representante de las principalmente basado en

estándar LMS y parcialmente propietario; finalmente

como representante de las arquitecturas abiertas

Claroline, Moodle y Sakai.

El comparativo se realizó a través del sitio web

Edutools, herramienta que salió de servicio en el año

2013. Los factores evaluados fueron: autenticación;

automatización de las pruebas y puntaje; calendario;

administración del curso; plantillas de curso;

personalización; foros de discusión; intercambio de

archivos; trabajo en grupo; herramientas para el

diseño instruccional; email interno; herramientas de

calificación en línea; chat en tiempo real;

autoevaluación; y seguimiento a educandos. A cada

uno de los criterios se le asignó una ponderación de 0

a 9.

En los resultados se destaca que Angel (comprado

por Blackboard en 2009) es la herramienta que ocupa

el primer lugar con un 92.6% de cumplimiento,

seguida de WebCT con el 82.8%. Mientras Moodle

ocupa el quinto lugar con el 51.7%, seguida de Sakai

en el sexto lugar con el 44.2%.

El estudio concluye que las plataformas

principalmente basadas en estándar LMS y

parcialmente propietarias son las que lideran el

mercado del e-Learning, las tres herramientas

incluidas ocuparon los tres primeros lugares.

D. Modelo de Calidad para una Plataforma LMS.

En 2009, los investigadores Chacón-Rivas y

Solano, del Instituto Tecnológico de Costa Rica y de

la Universidad de Málaga respectivamente,

publicaron un artículo denominado

“Modelo de Calidad para una Plataforma LMS” [5],

en donde evaluaron la plataforma LRN desde una

perspectiva técnica y pedagógica. El estudio se

desarrolló en cuatro fases: análisis de necesidades y

toma de decisiones institucionales; planificación y

desarrollo de la acción formativa de los docentes;

estudio piloto e implementación; y finalmente

seguimiento, orientación, asesoramiento y evaluación

del proceso de implementación.

Los criterios que sugirieron los autores para

evaluar un LMS corresponden a la arquitectura

tecnológica, las funcionalidades de un LMS y el

modelo de calidad.

Para la arquitectura tecnológica se involucró la

escalabilidad, la seguridad, rendimiento, soporte

tecnológico, comunidades de usuarios, motor de

bases de datos, lenguaje de programación, servidor

de páginas web y la empresa.

En las funcionalidades incluyen el conjunto de

herramientas que debe tener un LMS, está integrado

por lista de miembros, cursos, foros, wiki, chats,

entre otros; pedagógicos, aspectos administrativos y

de gestión, la usabilidad, elementos simbólicos y la

naturaleza del contenido, interactividad y

realimentación, herramientas para el aprendizaje y la

evaluación.

Finalmente en el modelo de calidad se evaluaron

las características de calidad (funcionalidad,

fiabilidad, usabilidad, eficiencia, portabilidad y

mantenibilidad), el ciclo de vida (desarrollo,

explotación y mantenimiento) y las características

Web (contenidos, presentación y navegación).

E. LMS Open Source en Educación a Distancia4.

Aydin y Tirkes en 2010, en su artículo titulado

“Open Source Learning Management Systems in

Distance Learnig” [6], describen la evaluación

comparativa que realizaron de las herramientas Open

Source Moodle, Atutor, Dokeos y OLAT. La

comparación se realizó en dos fases; en la primera se

analizó las características como aspectos generales,

funcionalidad didáctica, herramientas de

productividad, herramientas de comunicación,

flexibilidad técnica, y usabilidad; en la segunda fase

se comparó el comportamiento de esas características

en el sistema funcionando.

Al evaluar la subcategoría de los aspectos

generales se aprecia que Moodle es la única

herramienta que cumple con todos los criterios

evaluados. En lo referente a la funcionalidad

didáctica los resultados mostraron que Moodle y

OLAT tienen la capacidad de observar el ingreso de

usuarios y el seguimiento a los educandos,

permitiendo obtener historias de cada uno de ellos.

En los sistemas de evaluación se encontró que

4 Traducción realizada por los autores de la ponencia, el título original es “Open

Source Learning Management Systems in Distance Learnig”

25 CIIIS 2014 ISSN: 2382-3593

Moodle y Atutor son los únicos que permiten hacer

restricción de fecha y horario. Moodle y Dokeos son

los únicos que cuentan con el servicio de

teleconferencia.

En la subcategoría de las herramientas de

productividad, Moodle es la más completa al

presentar un sistema ayuda en línea y documentación

de archivos. Adicionalmente, Moodle permite que se

haga seguimiento de las actividades con un

calendario día a día, los docentes pueden colocar

temas de discusión y actividades del curso en fechas

especiales en donde el sistema se encarga de

chequear y sincronizarlas.

En la subcategoría de las herramientas de

comunicación, Moodle es el único que cumple con

todos los ítems incluidos en este punto. En la

subcategoría de la flexibilidad técnica Moodle y

Atutor presentan la característica de tener soporte

XML.

Finalmente, con respecto a lausabilidad se refiere

Moodle tiene una amplia ventaja sobre las otras

herramientas, debido a su disponibilidad en múltiples

lenguajes, la interfaz de usuario facilita su uso.

Como conclusión Aydin & Tirkes indican que

Moodle tiene muchas características que le permiten

aumentar su calidad pedagógica cumpliendo con

varios elementos que requiere el e-learning.

F. Evaluación de Factores Técnicos en la Educación

a Distancia Respecto a LMS Open Source5.

En 2012, Alshonrami investigador de la King

Abdulazis University en Arabia Saudita, en su

artículo “Evaluation of Technical Factors in

Distance Learning with Respect to Open

Source LMS” [7], se traza como objetivo establecer

criterios para la comparación de plataformas LMS

de licencia Open Source.

Los criterios que el investigador empleó para su

estudio se relacionan con la usabilidad, los

estándares SCORM e IMS en lo referente al

contenido, el soporte multilenguaje, las

5 Traducción realizada por los autores de la ponencia, el título original es “Evaluation

of Technical Factors in Distance Learning with Respect to Open

Source LMS”

herramientas que fomentan la colaboración, y el

soporte a los métodos de enseñanza.

Para el desarrollo del estudio Alshonrami

seleccionó cinco LMS, ellas fueron Efront, Moodle,

Atutor, Ilias y Claroline. La versión empleada fue

la versión demo, a través de los roles docente,

administrador y estudiante.

Dentro de los resultados se destaca que Moodle,

Ilias y Atutor tiene flexibilidad en el lenguaje,

cuentan con módulo estadístico que soporta la toma

de decisiones. Además. Moodle tiene la capacidad

de realizar un seguimiento detallado del usuario,

cuenta con un adecuado sistema de seguridad y

tiene una amplia suite de herramientas que

fomentan el aprendizaje colaborativo.

Moodle, Ilias y Atutor se destacan por su sistema

de evaluación, al permitir realizar diferentes tipos de

preguntas y facilitar el seguimiento que puede hacer

el tutor de las actividades del estudiante. Además

estas herramientas soportan el estándar SCORM e

IMS.

Finalmente, el autor destaca que Moodle es el

único que soporta videoconferencia, chat,

transferencia de archivos y pizarra.

IV. EL PROCESO

Después de revisar antecedentes, los integrantes

del grupo de investigación EDUTIC, realizaron una

revisión bibliográfica y del modelo pedagógico

institucional para la educación virtual, y de esta

manera orientar la selección de dimensiones y

factores que debían ser vinculadas dentro del

proceso investigativo. Luego se seleccionaron las

plataformas a partir de diez proyectos de

investigación, dentro de los que se encuentran los

enunciados en la sección anterior. Finalmente se

procedió a la ponderación de cada una de las

dimensiones y factores.

A continuación se describen algunos de los

aspectos teóricos comprendidos y la forma en que se

seleccionaron las herramientas. Las dimensiones y

factores, junto a sus ponderaciones se muestran en

la sección resultados.

A. Modelo Pedagógico Institucional para la

Educación Virtual en la Universidad de Boyacá.

26 CIIIS 2014 ISSN: 2382-3593

Una de las fuentes documentales que se empleó

para la realización del estudio, es el modelo

pedagógico institucional para la educación virtual

[8]. En la que la Vicerrectoría de Educación Virtual

ha planteado tres preguntas ¿Qué enseña? ¿Cómo

enseña? ¿Qué y cómo evalúa?

¿Qué enseña? hace referencia a los contenidos y a

quienes intervienen en el proceso de aprendizaje. Se

destacan aspectos importantes como los componentes

del campus, el papel del tutor, los recursos del

campus y la estructura interna que posee el curso, los

cuales deben favorecer el desarrollo del saber ser,

saber conocer, saber hacer y el saber emprender.

¿Cómo enseña? Enmarca las teorías de

aprendizaje, las competencias a desarrollar y la forma

como se ha de realizar la interacción con los actores

del proceso, las cuales son seleccionadas a partir de

los intereses de los docentes que construyen los

cursos virtuales que se ofertan en la Universidad de

Boyacá.

¿Qué y cómo se evalúa? Trabaja dos factores, el

primero tiene que ver con el qué y cómo el docente

indaga y valora el proceso formativo y realiza la

realimentación al mismo, el segundo corresponde a

los métodos de estudio que el estudiante incorpora

en su proceso de aprendizaje. Con estos dos factores

se definen cuatro pautas evaluativas: tipos de ideas,

problemas, proyectos y autoevaluaciones.

B. Características de los LMS.

Los LMS hacen parte de la amplia gama de

herramientas software de formación virtual que se

emplean para la administración de cursos. Su

funcionamiento se basa en arquitectura Web, en

donde las personas que participan en los cursos

pueden autenticarse, registrarse, cursarlos y presentar

las evaluaciones que allí sean alojadas. Los LMS son

usados para procesos de formación asincrónica, y en

ocasiones cuentan con servicios de authoring y

repositorio [9].

Dentro de las ventajas que ofrece un LMS se

encuentra: la centralización del ambiente de

aprendizaje con lo que se asegura la consistencia;

mejor seguimiento a los educandos, permite mejorar

el rendimiento; evaluación inmediata; así como la

posibilidad de ser regulado y estar sujeto a las

normas vigentes [10].

En 1993 Bailey presentó una serie de

características que debe cumplir un LMS: vincular

los objetivos instruccionales a lecciones individuales;

incluir lecciones a currículos estandarizados;

extender cursos a varios grados de manera

consistente; herramientas de administración;

recopilar resultados del rendimiento estudiantil; y

finalmente proveer lecciones basadas en los

rendimientos individuales [9].

La American Society of Training and Development

(ASTD), define como funciones de un LMS: permitir

la integración con recursos humanos; poseer

herramientas para la administración de registros, el

currículo, certificaciones, presupuestos y calendarios;

crear, administrar, almacenar y distribuir contenidos;

integrar contenidos con terceros; evaluar las

competencias de los aprendices; permitir la

construcción de evaluaciones; emplear estándares;

soportar la integración con sistemas existentes; y

proveer seguridad a los datos [9]. A lo que el

investigador Luis Ortíz agrega las herramientas de

comunicación, que son las que hacen posible la

comunicación sincrónica y asincrónica entre

docentes-estudiantes y estudiantes-estudiantes [11].

La Advanced Distributed Learning (ADL) también

resalta la importancia que tiene el soporte offline que

debe tener un LMS. Se destaca la posibilidad de

permitir que los cursos puedan ejecutarse en un

navegador como una aplicación Web, situación que

resulta fundamental para aquellos lugares en donde la

conexión a internet es deficiente o en donde la

conectividad no existe. En seguridad la ADL

recomienda que se deba ofrecer protección contra el

ingreso no autorizado, y no permitir que los usuarios

hagan tareas que se encuentran fuera de los permisos

revestidos en su perfil [9]. Para la revista Learning

Review, además resulta importante revisar el soporte

tecnológico de las herramientas, el perfil de los

docentes y los estudiantes que han de interactuar con

la herramienta [12].

Finalmente el Learning Technology Standards

Observatory (LTSO), impulsado por el Comité

Europeo para la Estandarización y la Normalización,

recopila una serie de estándares y organiza una serie

de categorías que deben ser evaluadas en la

educación virtual, ellas son: accesibilidad,

27 CIIIS 2014 ISSN: 2382-3593

relacionado con el uso de diversos navegadores; la

arquitectura sustentada en la propuesta de CISCO, es

decir, abierta, escalable, global, integrada, flexible y

adaptable; calidad; competencias, enfocado en la

forma en que pueden evaluarse; contenidos y

evaluación; derechos digitales; información de los

estudiantes; interoperabilidad; metadatos; proceso de

aprendizaje; repositorios; y finalmente vocabularios

y lenguajes [13].

C. Aspectos a Evaluar desde la Ingeniería del

Software.

Un LMS como tal es una aplicación software que

funciona en ambientes Web, por tal motivo resulta

conveniente tener una mirada desde el punto de vista

de la ingeniería del software sobre cuáles son los

aspectos que deben involucrarse en la evaluación de

la herramienta. En la presente sección se muestran

los que se han considerado más relevantes.

El Modelo de calidad de McCall, propuesto en

1977, es un referente clásico en el área de la

ingeniería del software que se centra en la visión del

usuario. El modelo plantea tres áreas particulares,

ellas son, operación del producto, revisión y la

transición del producto. El primero comprende los

criterios de exactitud, confiabilidad, eficiencia,

integridad y usabilidad. En el segundo se incluyen

mantenibilidad, capacidad de prueba y flexibilidad. Y

el tercer criterio incluye interoperabilidad,

portabilidad y reusabilidad [14].

En 1984, Garvin propuso ocho dimensiones para la

calidad, entre las que se encuentra: el rendimiento,

relacionado con aquellos elementos que le dan valor

al usuario; características adicionales, aquello que

sorprende al usuario y resultan ser un valor agregado

a lo esperado; confiabilidad, relacionado con la

menor cantidad de fallas posibles y la disponibilidad

que posee la aplicación; conformidad, si cumple con

lo solicitado, a través de la aplicación de estándares,

diseños y uso de convenciones en el código;

durabilidad, la proyección en el tiempo que puede

esperarse de la aplicación; capacidad de servicio, en

el que se evalúa la necesidad de mantenimiento en

períodos breves; la estética, que requieren las

aplicaciones para ser agradables para el usuario;

finalmente la percepción, que se relaciona con la

subjetividad de la imagen, la publicidad y la marca

[15].

Otro de los referentes que ha sido considerado en

la investigación es la propuesta FURPS+, el cual

evalúa características como: funcionalidad, en la que

se involucra lo referente al grupo de características,

capacidades y seguridad; usabilidad, allí se evalúa la

consistencia de la interface de usuario, ayuda al

contexto, asistentes, documentación y materiales para

el aprendizaje; confiabilidad, incluye la frecuencia y

la severidad de los fallos, capacidad de recuperación

ante fallos, exactitud en la salida y tiempo promedio

de fallas; rendimiento, relacionado con la velocidad

de procesamiento, tiempos de respuesta, consumo de

recursos y eficacia; capacidad de soporte, en la que se

evalúa extensibilidad, adaptabilidad, capacidad de

prueba, configuración, compatibilidad y requisitos de

instalación; finalmente el +, involucra factores como

requerimientos de diseño, implementación, interface

y requisitos [14], [16].

El modelo MOSCA (modelo sistémico de calidad)

enfatiza en la necesidad de evaluar el producto y el

proceso de desarrollo. Para la investigación, sólo se

tendrá en cuenta el producto, debido a que no se

involucra el desarrollo de una aplicación. El producto

se evalúa desde seis categorías: funcionalidad,

fiabilidad, usabilidad, eficiencia, mantenibilidad y

portabilidad, las cuales son valoradas a partir de los

aspectos contextuales e internos del producto. Los

contextuales aluden a la comodidad del usuario y los

internos hacen referencia a las buenas prácticas de

diseño y programación. Por las características de la

investigación sólo se incluirán las contextuales. En la

funcionalidad se incluye el ajuste a los propósitos, la

precisión, la interoperabilidad y la seguridad; la

fiabilidad involucra la madurez, la tolerancia a fallos

y la recuperación; la usabilidad consta de la facilidad

de comprensión, la capacidad de aprendizaje, la

interfaz gráfica, la operabilidad y el uso de

estándares; la eficiencia comprende el

comportamiento en el tiempo y la utilización de

recurso; la mantenibilidad abarca la capacidad de

análisis, facilidad de cambio, estabilidad y capacidad

de prueba; finalmente, la portabilidad consta de la

adaptabilidad, la capacidad de instalación, la

coexistencia y la capacidad de remplazo [17].

Por último, se incluye la familia de normas

ISO/IEC 25000, conocida como SQuaRE (Software

Product Quality Requirements and Evaluation). Es

un modelo centrado en la calidad del producto, que se

presenta como la evolución de las normas ISO/IEC

9126y la ISO/IEC 14598. Las categorías que

involucra la norma son la funcionalidad (idoneidad,

28 CIIIS 2014 ISSN: 2382-3593

precisión, interoperabilidad, seguridad), fiabilidad

(madurez, tolerancia a fallos, capacidad de

recuperación), usabilidad (inteligibilidad, facilidad de

aprendizaje, capacidad de ser usado, estética de la

interfaz de usuario), eficiencia (comportamiento en el

tiempo, utilización de recursos), mantenibilidad

(analizabilidad, capacidad de ser modificado,

estabilidad, capacidad de prueba) y portabilidad

(adaptabilidad, facilidad de instalación, coexistencia

e intercambiabilidad) [18].

TABLA I

COMPARATIVO ENTRE LOS MODELOS DE CALIDAD

Modelo

de

Calidad

Áreas de

Evaluación

Factores que involucra

McCall

(1977)

Operación del

producto

Exactitud

Confiabilidad

Eficiencia

Integridad

Usabilidad

Revisión del producto

Mantenibilidad

Capacidad de prueba

Flexibilidad

Transición del

producto

Interoperabilidad

Portabilidad

Reusabilidad

Garvin

(1984)

Rendimiento Valor al usuario

Características Valor agregado

Confiabilidad Fallas posibles

Conformidad Cumplimiento normas

Durabilidad Vida útil

Capacidad de servicio Mantenimiento

Estética Apariencia producto

Calidad percibida Evaluación imagen,

publicidad y marca

Furps+

(1987)

Funcionalidad Características

Capacidades

Seguridad

Usabilidad Consistencia interface

Ayuda al contexto

Asistentes

Documentación

Materiales para el

aprendizaje

Confiabilidad Frecuencia y severidad de

fallas

Recuperación ante fallas

Tiempo de fallas

Rendimiento Velocidad de procesamiento

Tiempos de respuesta

Consumo de recursos

Eficacia

Capacidad de soporte Extensibilidad

Adaptabilidad

Capacidad de prueba

Capacidad de configuración

Compatibilidad

Requisitos de instalación

MOSCA

(2005)

Funcionalidad Ajuste a los propósitos

Precisión

Interoperabilidad

Seguridad

Fiabilidad Madurez

Tolerancia a fallos

Recuperación

Usabilidad Facilidad de comprensión

Capacidad de aprendizaje

Interfaz gráfica

Operabilidad

Uso de estándares

Eficiencia Comportamiento en el

tiempo

Utilización de recurso

Mantenibilidad Capacidad de análisis

Facilidad de cambio

Estabilidad

Capacidad de prueba

Portabilidad Adaptabilidad

Capacidad de instalación

Coexistencia

Capacidad de remplazo

V. RESULTADOS

A. Dimensiones a Involucrar en la Investigación.

Al revisar los antecedentes, el modelo pedagógico

institucional para la educación virtual y algunos

modelos para la evaluación de calidad de software.

Se han definido para la Universidad de Boyacá

dimensiones y características que sustentan la

evaluación y selección del LMS que ha de soportar la

oferta virtual. Las dimensiones definidas son tres:

modelo pedagógico, usuario y técnica. A

continuación se describen cada una de ellas.

La dimensión del modelo pedagógico consiste en

la evaluación de las características que pueden

beneficiar el proceso enseñanza-aprendizaje,

tomando como base el modelo institucional, y de los

intereses de la vicerrectoría enmarcados en la

inclusión y la cobertura. Las características

involucradas en esta dimensión son: inclusión6, en el

cual se evalúa la manera en que la herramienta

permita ampliar la cobertura a personas con

necesidades especiales o personas que no puede

desplazarse a procesos de formación presencial;

evaluación formativa, se concentra en la evaluación

de la manera en que se hace la realimentación

durante el proceso enseñanza-aprendizaje, así como

6 Característica involucrada en el principio de accesibilidad de la W3C en la sección

“designing for inclusión”[19]

29 CIIIS 2014 ISSN: 2382-3593

los escenarios de coevaluación, heteroevaluación y

autoevaluación; evaluación continua, se centra en la

forma en que se realiza la evaluación, si es equitativa,

clara y permite al educando asumir el proceso sin

ambigüedades; y finalmente aprendizaje efectivo que

incluye la posibilidad que los educandos personalicen

el entorno de trabajo según sus preferencias, las

herramientas que fomentan el aprendizaje autónomo,

la reflexión y el trabajo colaborativo.

La dimensión del usuario está integrada por:

accesibilidad en donde se evalúa la manera en que se

presenta la información y la manera en que se

controla el acceso a la aplicación; la usabilidad se

centra en la evaluación de lo sencillo que puede

resultar su uso, la navegabilidad que ofrece y el

seguimiento que se puede realizar a las actividades

realizadas y pendientes por parte de los usuarios; y

herramientas que involucra una evaluación de chat,

videoconferencia, audioconferencia, foros, listas de

distribución, correo electrónico, wiki, repositorio,

blog, anuncios, agenda, construcción de contenidos y

administración de usuarios.

La dimensión técnica implica la evaluación del

producto. Las características incluidas son las

siguientes: adaptabilidad, interoperabilidad,

portabilidad, empaquetamiento, durabilidad,

funcionalidad, confiabilidad, reutilización y

eficiencia.

TABLA II MODELO DE EVALUACIÓN DE LMS DE LA UNIVERSIDAD DE

BOYACÁ

Dimensión Características

Modelo pedagógico

(Puntaje 14)

Inclusión (Puntaje 10) Evaluación formativa (Puntaje 9) Evaluación continua (Puntaje 6) Aprendizaje efectivo (Puntaje 6)

Del Usuario

(Puntaje 20)

Accesibilidad (Puntaje 7) Usabilidad (Puntaje 9) Herramientas (Puntaje 10)

Técnica (Puntaje 16)

Durabilidad (Puntaje 4) Empaquetamiento(Puntaje 2) Confiabilidad (Puntaje 10) Funcionalidad (Puntaje 9) Eficiencia (Puntaje 9) Reutilización (Puntaje 2) Interoperabilidad y portabilidad (Puntaje 10)

En la Tabla I muestra el resumen del modelo de

evaluación de LMS de la Universidad de Boyacá, con

sus correspondientes ponderaciones. El puntaje

máximo que puede tener una plataforma al evaluar

las tres dimensiones es de 50 puntos, y su

ponderación se ha hecho de acuerdo a los intereses de

la Vicerrectoría de Educación Virtual de la

Universidad de Boyacá. Cada dimensión es evaluada

a partir de sus características, las cuales fueron

ponderadas dependiendo de la importancia que cada

una de ellas tiene para la dimensión, según el criterio

de los investigadores.

La fórmula empleada para calcular el puntaje de

cada dimensión se obtiene con la ponderación de

cumplimiento de las características divido en el

puntaje máximo que pueden sumar estas,

multiplicado por el puntaje asignado a la dimensión.

(1)

Donde Ci hace referencia al porcentaje de

cumplimiento de cada una de las características. Pi es

el puntaje asignado a cada característica. M es el

puntaje de la dimensión.

Finalmente para calcular el puntaje de la

herramienta LMS, se suman los puntajes de cada una

de las dimensiones.

(2)

B. LMS Seleccionados para la Investigación.

TABLA III LMS CANDIDATAS A INCLUIRSE EN EL ESTUDIO

LMS Total de Estudios que la Incluyen

MOODLE 8 CLAROLINE 5

ATUTOR ILIAS

DOKEOS

3

SAKAI

OLAT 2

BOLINOS CHEF

CLOSE ELEDGE

FLE3 LONCAPA

MANHATTAN LRD

DOCEBO

EFRONT

1

30 CIIIS 2014 ISSN: 2382-3593

Finalmente, la selección de los LMS se realizó al

revisar diez estudios entre el año 2003 y el 2012.

En el que se involucraron experiencias de España,

Croacia, Eslovenia, Venezuela, Costa Rica, Turquía

y Arabia Saudita. Luego se estableció una tabla

(Tabla II) en donde se listó la cantidad de veces que

los LMS fueron incluidos en los estudios. De allí se

seleccionaron los tres primeros Moodle, Claroline y

Atutor. Junto con la herramienta propietario que

actualmente posee la Universidad de Boyacá, y

Chamilo LMS que ha tenido un crecimiento

significativo en los últimos años.

VI. CONCLUSIONES Y TAREAS FUTURAS

A. Conclusiones

La revisión de antecedentes en los que se

involucra la evaluación de LMS muestra como

tendencia de los investigadores la revisión de la

dimensión técnica y la dimensión del usuario, con lo

que se deja de lado el desarrollo que se pueda dar al

modelo pedagógico institucional a través del LMS.

Por tal motivo se considera que la investigación que

se adelanta en estos momentos por el grupo

EDUTIC, se convierte en una propuesta de

evaluación complementaria. En la que se vinculan

tres dimensiones de evaluación para determinar la

conveniencia o no del uso de un LMS para soportar

la oferta virtual académica de la Universidad de

Boyacá. Las dimensiones involucradas en el estudio

son la dimensión del modelo pedagógico, la

dimensión del usuario, y finalmente, la dimensión

técnica.

La forma en que ha sido definida la propuesta de

evaluación de los LMS, reconoce la injerencia de

dos áreas de conocimiento: la primera, la ingeniería

del software como soporte teórico para la dimensión

del usuario y la dimensión técnica. Con lo que se

acepta que parte del proyecto se desenvuelve en un

escenario de evaluación de software; y la segunda,

conformada por la pedagogía y la didáctica, debido

a que el proyecto requiere evaluar la relación

enseñanza-aprendizaje, la interacción usuario-

usuario y usuario-plataforma, con el fin de lograr

los objetivos de aprendizaje que se han de ofertar en

los cursos virtuales de la Universidad de Boyacá.

La ponderación propuesta en el presente

documento responde a las necesidades de la

Vicerrectoría de Educación Virtual de la

Universidad de Boyacá, identificadas por el grupo

de investigación EDUTIC. Por tal motivo se

considera que la ponderación de dimensiones y

características deben ser ajustadas a los intereses

particulares de las organizaciones, sólo de esta

manera la selección de un LMS estará acorde con

las expectativas de las instituciones educativas.

B. Tareas Futuras

Al realizar estos primeros pasos, las tareas que

deben desarrollarse a futuro son las siguientes:

1) Diseño y validación de los instrumentos de

evaluación para cada característica

2) Diseño de un curso virtual y selección de los

educandos que participan como testers

3) Preparación de las máquinas virtuales para el

montaje de cada una de los LMS

4) Aplicación de los instrumentos

5) Comparación de los resultados obtenidos y

selección de la herramienta

6) Pruebas de desempeño en situaciones reales de

funcionamiento

REFERENCIAS

[1] M. Gisbert (2002, feb). El nuevo rol del profesor en entornos

tecnológicos. Acción pedagógica [Online]. 11(1), pp. 48-59.

Disponible en:

http://www.comunidadandina.org/bda/docs/VE-EDU-

0008.pdf [2] S. Delgado, “Elearning análisis de plataformas gratuitas,”

Proyecto de fin de Carrera, Ing. Informática, Universidad de

Valencia. España, 2003. [3] J. Itmazi, M. Gea, P. Paderewski y F. Gutiérrez. A

comparison and evaluation of open source learning

management systems. Presentado en IADIS International

Conference – Applied Computing 2005. [Online]. Disponible en:

https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=w

eb&cd=1&

cad=rja&ved=0CC0QFjAA&url=https%3A%2F%2Fmoodle.org

%2Fplugin

file.php%2F554%2Fmod_forum%2Fattachment%2F102498%2

FJamil1.pdf

&ei=KyOpUtnHLoawqQHDh4FI&usg=AFQjCNFOAtOD5eZZ

8WSiiXfa mvMKmbfPZg [4] K. Fertalj, H. Jerkovic y N. Hlupic. Comparison of e-learning

management systems. Presentado en the 5th WSEAS

International Conference on EACTIVITIES 2006.

[Online]. Disponible en: http://www.zpr.fer.hr/zpr/Portals/0/Predmeti/UIS/Comparison%

20of%20eL MS.pdf

31 CIIIS 2014 ISSN: 2382-3593

[5] M. Chacón-Rivas, y I. Solano. Modelo pedagógico para una

plataforma LMS. Presentado en EDUTEC 2009. [Online].

Disponible en:

http://digitum.um.es/jspui/bitstream/10201/14625/1/LMS_CS

C_edutec_09_ def.pdf [6] C. Aydin, y G. Tirkes. Open source learning management

systems in distance learnig. Presentado en TOJET: The

Turkish Online Journal of Educational Technology 2010.

[Online]. Disponible en: http://www.tojet.net/articles/v9i2/9218.pdf

[7] S. Alshomrani (2012, mar). Evaluation of technical factors in

distance learning with respect to Open Source LMS. Asian

Transactions on Computers [Online]. 2(1), pp. 11-17.

Disponible en:

http://www.asiantransactions.org/Journals/Vol02Issue01/ATC

/ATC-40232015.pdf [8] R. Correal, C. Montañez, J. Torres, V. Avendaño y Y.

Ramírez (2009). Educación Virtual. Prácticas

transformadoras de los procesos de @prendizaje, pp. 72-89. [9] Advanced Distributed Learning. (2013, may, 14). Choosing a

Learning Management System. (Versión 3.0) [Online].

Disponible en: http://www.adlnet.gov/wp-

content/uploads/2013/05/Choosing_an_LMS.pdf [10] A. Brown, J. Johnson. (2007, jul). Five advanteges of using a

learning management system. Microburs Learning [Online].

Disponible en:

http://microburstlearning.com/articles/Five%20Advantages%

20of%20Usin

g%20a%20Learning%20Management%20System.pdf [11] L. Ortíz (2007, jun). Campus Virtual: la educación más allá

del LMS. Revista de universidad y sociedad del conocimiento

[Online]. 4(1), pp. 1-7. Disponible en:

http://www.uoc.edu/rusc/4/1/dt/esp/ortiz.pdf [12] R. López (2012, abr). “LMS” respuesta al aprendizaje del

siglo XXI. Revista EducaPR [Online]. 1(1), pp. 1-9.

Disponible en: http://www.revistaeducapr.com/uploads/7/0/5/6/7056381/lms.pd

f [13] J. Hilera y R. Hoya. (2010). Estándares de e-learning: guía de

consulta . Universidad de Alcalá [Online]. Disponible

en: http://www.cc.uah.es/hilera/GuiaEstandares.pdf

[14] D. Jamwal (2010, dic). Analysis of software quality models

for organizations. International Journal of Latest Trends in

Computing [Online]. 1(2), pp. 19-23. Disponible

en: http://ijltc.excelingtech.co.uk/vol1issue2/04-vol1issue2.pdf

[15] O. Pérez y M. Torres, “Propuesta para la obtención del

Premio Nacional de Calidad para el grupo COPOLUSA,”

Proyecto de fin de Carrera, Admón. De Empresas,

Universidad de las Américas Pueba. México, 2003. [16] P. Eeles. (s.f.). Non-functional requeriments. IBM [Online].

Disponible en:

http://www.architecting.co.uk/presentations/NFRs.pdf [17] L. Mendoza, M. Pérez y A. Grimán (2005). Prototipo de

modelo sistemático de calidad (MOSCA) del software.

Computación y sistemas [Online]. 8(3), pp. 196-217. Disponible

en: http://www.journals.unam.mx/index.php/cys/article/download/2

691/2252

[18] SQuaRE, ISO/IEC 25000, 2005

[19] W3C (2012). Designing for inclusión. [Online].

http://www.w3.org/WAI/users/Overview.html