ANÁLISIS DIMENSIONAL DE LA USABILIDAD DEL SOFTWARE OPENERP ERIK MAURICIO DOMINGUEZ CASTRO COD 415631 Trabajo de grado presentado para optar al título de Administrador de Empresas DIRIGIDO POR: BEATRIZ HELENA DIAZ PINZON PhD. UNIVERSIDAD NACIONAL DE COLOMBIA FACULTAD DE CIENCIAS ECONÓMICAS Bogotá, 2011
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
ANÁLISIS DIMENSIONAL DE LA USABILIDAD DEL SOFTWARE OPENERP
ERIK MAURICIO DOMINGUEZ CASTRO
COD 415631
Trabajo de grado presentado para optar al título de Administrador de Empresas
En el Diagrama 17 se presenta la media de la calificación asignada por cada grupo encuestado a
cada dimensión. Aquí se observa que los integrantes del grupo GRIEGO y los estudiantes de
posgrado presentan en promedio una mejor puntuación que los demás, mientras que los
empleados de Redwings presentan en promedio las calificaciones más bajas para cada dimensión.
Por otro lado, en el Diagrama 18 se observa que la media total obtenida en cada dimensión (valor
ubicado en el eje vertical) se encuentran por encima de 4 en una escala de 7 con una desviación
estándar de 1.34, indicando que la percepción del sistema por parte de los encuestados es apenas
buena. Por otro lado, la desviación estándar (Representada por el diámetro de la circunferencia) es
muy similar para todas las dimensiones, oscilando entre 0,9 y 1,5.
Diagrama 17. Puntuación media por dimensión y grupo de muestra.
Diagrama 18. Media y desviación estándar de la puntuación por dimensión.
A continuación se presenta un análisis de los resultados obtenidos a nivel de cada dimensión
definida por la metodología WIS.
Dimensión de Confianza:
Esta dimensión evalúa en que forma el sistema guía a los nuevos usuarios y para el caso
de estudio obtuvo la puntuación más baja para todos los grupos encuestados (4,11) con
una desviación estándar de 1,31, la cual es causada por la diferencia de los puntajes
asignados por cada grupo encuestado.
La baja puntuación de esta dimensión se debe principalmente a que el sistema no cuenta
con manuales de ayuda en cada modulo y que no es fácil para el usuario restaurar las
configuraciones iníciales como por ejemplo el idioma. Al respecto, un integrante del grupo
GRIEGO indicó que el sistema no contaba con manuales en español al interior de cada
módulo, lo que afectaba su usabilidad. No obstante, en las entrevistas realizadas a los
empleados de la empresa Redwings se evidenció que a pesar de que se les había
entregado manuales en el proceso de implementación, ellos no los usaban porque
preferían llamar al equipo soporte para la solución de dudas en razón de que era más
rápida la respuesta. Una de las causas por las cuales los usuarios no utilizaban los
manuales era su formación técnica en la que el aprendizaje se da vía práctica y no a través
de la reflexión académica, por lo que no podría generalizarse este comportamiento per se.
Otro factor que afecta específicamente está dimensión es el hecho de que la mayoría de
los encuestados fuesen usuarios inexpertos en el uso del este tipo de sistemas, por lo que
tienen una mayor necesidad de contar con manuales y guías.
Dimensión navegación
4.609
4.110
4.744 4.826 4.476
5.116
4.357
4.721
3
4
5
6M
ed
ia
Total
confianza
seguridad
integración
Navegación
Control
Calidad de lainformación interacción
Esta dimensión hace referencia a las facilidades que brinda el sistema para entrar a sus
diferentes módulos de manera sencilla. Presenta una media total de 4.45 y una desviación
estándar de 1.17, dónde el grupo que mejor puntuación le dio fue el de posgrados. Esta
puntuación indica que el sistema tiene una interfaz que permite acceder de forma rápida a
los diferentes módulos, además de poder buscar información específica de forma rápida.
DimensiónSeguridad
Esta Dimensión indaga acerca de la percepción que el usuario tiene acerca de la
complejidad del sistema. Para este caso presenta una media total de 4,74 y una desviación
estándar de 1,325. La buena calificación de esta dimensión se debe a la similitud del
interfaz con el sistema operativo Windows y que adicionalmente a través de todos los
módulos utiliza los mismos íconos y un lenguaje amigable, facilitando la interacción con el
sistema. Por otro lado, la desviación esa causada por las diferentes percepciones entre los
usuarios encuestados, en lo cual juega un papel importante la baja puntuación asignada
por el grupo de los empleados Redwings en comparación con los otros.
Dimensión interacción:
Presenta una media total de 4,72 y una desviación estándar de 1,32. Para esta variable los
datos se encuentran dispersos tanto entre los grupos encuestados como en las respuestas
a las preguntas que la componen. Al respecto, el sistema obtiene una buena calificación
cuando se analizan características como la interfaz gráfica, pero se queda corto en brindar
opciones de ayuda al usuario o en hacerlas más visibles.
Dimensión Integración de la comunicación
Presentauna media de 4,826y una desviación de 1.079. El alto valor de la puntuación se
explica por el perfil de las personas encuestadas, quienes en su totalidad tenían
conocimiento y/o experiencia en las actividades que soporta el sistema, manejando de esta
forma el mismo lenguaje. Es de resaltar que esta dimensión es la mejor puntuada por el
grupo de empleados de Redwings.
Sin embargo, es necesario prestar atención a la traducción de diferentes términos al
interior del sistema dado que en las entrevistas a profundidad se presentaron
observaciones al respecto.
Dimensión Calidad de la información
Como su nombre lo indica se centra en la pertinencia y utilidad de la información brindada
por el sistema, presentando una mediade 4,357 y una desviación estándar de 1,57.
Presenta una alta dispersión de las puntuaciones medias arrojadas en los diferentes
grupos muestrales, siendo de nuevo los empleados de Redwings quienes le asignan la
menor puntuación, seguidos por los estudiantes de pregrado. En contraste, los grupos de
los estudiantes de posgrado y los investigadores del grupo GRIEGO presentaron una
calificación media muy favorable
Dimensión Control
Es la variable con la mejor puntuación para la mayoría de grupos encuestados al registrar
una media de 5,116 jalonada por la puntuación que le asignó el grupo GRIEGO. La buena
puntuación de esta dimensión se explica porque el sistema presenta de una forma clara el
orden jerárquico de los módulos y en adición permite salir en cualquier momento del
sistema.
El grupo encuestado que asignó una menor puntuación a las dimensiones evaluadas fueron los
empleados de la empresa Redwings. En las entrevistas a profundidad realizadas se pudo apreciar
que las principales situaciones que inciden en la mala percepción del sistema son su imposición
desde la dirección, la lentitud del sistema y un aumento en las actividades de los procedimientos
en comparación con el anterior sistema.
Este último punto fue notorio a través de toda la entrevista, dado que los empleados de Redwings
hacían bastante referencia al sistema que anteriormente usaban, el cual aunque presentaba
problemas de interfaz por estar diseñado con base en el sistema operativo DOS, presentaba una
mayor velocidad de respuesta y simplificación de pasos. No obstante, la diferencia en la cantidad
de pasos entre el anterior sistema y OpenERP radica en que este último es un sistema integrado,
lo que hace que un procedimiento en un área de la empresa afecte las demás, implicando que al
momento de insertar información para un proceso, el sistema solicite información de otros procesos
que afecta. En adición, uno de los investigadores del grupo GRIEGO indicó que el anterior sistema
en la empresa les permitía cometer errores, lo que por configuración no está permitido en
OpenERP y por tanto les genera más pasos.
Por otro lado, el grupo de estudiantes de pregrado también presentó puntuaciones inferiores a los
demás grupos, lo que en parte pudo ser causado por el desinterés de los estudiantes en el
ejercicio, lo cual fue observado durante el desarrollo del mismo.
2.1 Análisis por variables
En el diagrama consolidadode los gráficos de caja de los resultados de la encuesta
realizada(Diagrama 19¡Error! No se encuentra el origen de la referencia.) podemos
observar que para 6 preguntas la media está por encima de 5, para otras 10 por encima de 4 y
para las 4 restantes tan sólo por encima de 3, estando peor calificadas las preguntas que
hacen referencia a la posibilidad de cambio de idioma y restauración de la configuración inicial.
Por otro lado, las preguntas que hacían referencia la cortesía en los mensajes y la provisión de
herramientas para volver a un nivel superior fueron las mejor calificadas.
Es muy importante que la pregunta sobre la provisión de herramientas para volver a un nivel
superior haya obtenido la calificación más alta, porque como se presentó en el aparte de
análisis factorial esta es la variable con mayor peso al interior del componente 1, el cual a la
vez es el que mayor incidencia tiene sobre la variación total.
Por otro lado, es necesario destacar que en las preguntas relacionadas con la terminología,
gráficas y los botones del sistema se presentan las mejores percepciones. Esto indica que la
interfaz del sistema es amigable con el usuario, lo cual se explica dada su similitud con la
interfaz del sistema operativo Windows. Este ítem también sobresalió en las entrevistas a
profundidad con los integrantes del grupo GRIEGO y con los empleados de Redwings,
quienes por un lado resaltaron la importancia de la calidad de la interfaz gráfica para percibir
un sistema como usable y por otro lado indicaron que OpenERP contaba con estas
características.
Diagrama 19.Diagrama de Caja respuestas encuesta.
Aunque en términos generales se tenga una percepción favorable de la usabilidad del sistema, es
necesario prestar atención a las preguntas 1 y 20 dado que la posibilidad de cambiar el idioma del
sistema es un factor determinante para una percepción favorable de la usabilidad del mismo,
puesto que sólo en la medida que el usuario entienda lo que le dice el sistema lo podrá usar. Las
dificultades de cambiar el idioma también se hicieron evidentes en las tareas impuestas a los
empleados de Redwings de Colombia.
2.2 Relación entre el perfil del usuario y la percepción de usabilidad.
Finalmente, con el objetivo de establecer las relaciones entre la puntuación media de la usabilidad
y el perfil del usuario, el cual está definido por las características de edad, nivel de inglés y
experiencia usando el sistema; se realizó un análisis de correlaciones, encontrando que no había
correlaciones significativas entre las variables a un nivel de confianza del 90%.
Correlaciones
Media
Usabilidad Edad
Experiencia en
meses ingles
Media Usabilidad Correlación de Pearson 1 ,149 .a ,271
Sig. (bilateral) ,385 ,000 ,147
N 37 36 34 30
Edad Correlación de Pearson ,149 1 -,079 -,150
Sig. (bilateral) ,385 ,638 ,429
N 36 42 38 30
Experiencia en meses Correlación de Pearson .a -,079 1 .
a
Sig. (bilateral) ,000 ,638 ,000
N 34 38 39 28
ingles Correlación de Pearson ,271 -,150 .a 1
Sig. (bilateral) ,147 ,429 ,000
N 30 30 28 30
a. No se puede calcular porque al menos una variable es constante.
Tabla7. Correlaciones Usabilidad vs Perfil Usuarios.
3. CONCLUSIONES
A continuación se presentan las principales conclusiones de este trabajo, las cuales se deben
analizar teniendo en cuenta que la usabilidad fue abordada como la cantidad de esfuerzo percibida
por el usuario para hacer uso de un sistema de información.
La metodología escogida para el caso de estudio fueron los cuestionarios, para lo cual se escogió
el cuestionario desarrollado en la metodología UWIS porque combina la calidad del servicio basado
en web y las dimensiones de los principios heurísticos de usabilidad. Esta metodología fue
complementada con entrevistas a profundidad que permitieron tener mayor conocimiento de las
características propias del usuario y su contexto de uso.
La fiabilidad de las dimensiones propuestas en la metodología UWIS para la evaluación de la
usabilidad en el caso de estudio fue evaluada a partir del estadístico alfa de cronbach, índice que
fue satisfactorio para las dimensiones de confianza, seguridad, interacción, integración y control,
pero que para la dimensión de navegación presentaba un valor que aunque se encuentra en el
rango de validez media, es bajo; resultado que fue corroborado por el análisis factorial dónde todas
las preguntas de esta dimensión quedaron agrupadas en diferentes componentes.
Posteriormente, se evaluó la pertinencia del método de análisis factorial para analizar los
resultados obtenidos en la encuesta a través de la prueba KMO y la prueba de Barlett, estadísiticos
que arrojaron que era adecuado el uso de esta técnica, resultado que es reforzado por las
comunalidades obtenidas para cada variable.
El análisis factorial arrojó como resultado que las preguntas contenidas en las encuestas se podían
agrupar de forma significativa en 6 componentes, de los cuales el primero estaba compuesto por
las preguntas de las dimensiones calidad de la información y control, las cuales explican el
37.817% de la varianza total. Para este componente la variable con mayor peso fue la pregunta 6.2
que hace referencia a la capacidad que tiene el sistema para regresar a un nivel superior y es la
variable que mejor calificación presenta (5,29/7).
A partir de las dimensiones arrojadas por el análisis factorial se encontró que las respuestas dadas
por los grupos de usuarios expertos son similares (integrantes grupo GRIEGO y empleados
empresa Redwings), similitud que también seda entre los dos grupos de estudiantes que también
fueron encuestados. Este resultado muestra la influencia que tiene la experiencia con el sistema
en la percepción de su usabilidad.
Al revisar los puntajes medios por dimensión, los empleados de Redwings fueron los que menor
calificación dieron a la mayoría de las dimensiones, situación que se dio principalmente porque el
nuevo sistema fue impuesto y para ellos era mejor el anterior, el cual a pesar de tener una peor
interfaz gráfica realizaba los procedimientos en menos pasos y con mayor rapidez. No obstante, es
necesario aclarar que la cantidad de pasos se incrementa en el sistema OpenERP porque es un
sistema de información integrado, loque implica que una transacción afecta diferentes áreas y por
ende se deben realizar varios registros
La dimensión con menor calificación fue la confianza, lo cual según un integrante del grupo
GRIEGO se da porque el sistema no cuenta con manuales en español al interior de cada módulo.
A nivel de pregunta, las que peor calificación recibieron fueron las que hacían referencia a la
posibilidad de cambio de idioma y restauración de la configuración inicial.
En resumen, el análisis de Usabilidad del software OpenERP arroja una medida global entre
regular y buena, teniendo como puntos a favor una interfaz gráfica similar a Windows basada en
ventanas, con íconos representativos y lenguaje cortés; entorno que es muy amigable con el
usuario. No obstante, es necesario hacer más visual la opción de cambiar el idioma y mejorar la
traducción de algunos términos, dado que actualmente presentan problemas de lenguaje, el cual
es un elemento vital en la percepción de usabilidad por parte del usuario.
Para la implementación del software OpenERP no es necesario que los usuarios cuenten con
amplios conocimientos en sistemas, pero si son deseables los conocimientos de los
procedimientos que se desarrollarán con el sistema de información a implementar. Adicionalmente,
es preferible que el usuario no haya manejado anteriormente programas que sólo abarquen un
procedimiento de la empresa, porque el cambio de interfaz y del funcionamiento puede generar
confusiones y la percepción de que el sistema no es usable.
Al realizar el análisis cuantitativo no se encontraron evidencias significativas de la correlación entre
las características de cada individuo encuestado y su percepción global sobre la usabilidad del
sistema, evento que si se evidenció en las entrevistas a profundidad realizadas, por lo que surge la
necesidad de verificar esta hipótesis con un grupo muestral mayor y más heterogéneo.
4. POSIBLES LINEAS DE INVESTIGACIÓN
Es necesario incluir en el análisis de la usabilidad la dimensión de velocidad de respuesta del
sistema, factor que se presentó de forma reincidente en las entrevistas a los integrantes del grupo
GRIEGO y a los empleados de Redwings.
Para poder generalizar los resultados de la evaluación aquí presentada, se hace necesario ampliar
la muestra sobre la cual se realicen las encuestas, incluyendo a desarrolladores y miembros de
empresas tanto del sector privado como público con mayor experiencia en el uso de OpenERP.
LISTADO DE TABLAS
Tabla 1.Principales métodos de medición de la usabilidad. ............................................................. 22 Tabla 2. Estadístico alfa de cronbach. .............................................................................................. 30 Tabla 3. KMO y prueba de Bartlett ................................................................................................... 31 Tabla 4. Tabla de comunalidades ..................................................................................................... 31 Tabla 5. Varianza total explicada ...................................................................................................... 32 Tabla 6. Matriz componentes rotados. .............................................................................................. 33 Tabla 7. Correlaciones Usabilidad vs Perfil Usuarios. ...................................................................... 39
LISTADO DE GRÁFICOS
Diagrama 1. Sistema de información. ................................................................................................. 4 Diagrama 2. Concepto de usabilidad .................................................................................................. 6 Diagrama 3. Calidad de uso, medida determinada por el contexto de uso. ....................................... 7 Diagrama 4. Modelo Teoría unificada de la aceptación y uso de la tecnología. ................................ 9 Diagrama 5. Estrategias de medición de la usabilidad ..................................................................... 11 Diagrama 6. Relación entre Problemas de usabilidad encontrados y número de usuarios ............. 12 Diagrama 7. Estructura de usabilidad de QUIS ................................................................................ 13 Diagrama 8. Resultados caso de estudio sistema bancario ............................................................. 16 Diagrama 9. Efectividad de los evaluadores ..................................................................................... 17 Diagrama 10. La herramienta de evaluación PROKUS. ................................................................... 19 Diagrama 11. Forma para el ingreso de una pregunta a PROKUS .................................................. 19 Diagrama 12. Visiones evaluación del software ............................................................................... 20 Diagrama 13. Estructura general metodología UWIS ....................................................................... 24 Diagrama 14. Estructura OpenERP .................................................................................................. 26 Diagrama 15.Proceso traducción encuesta. ..................................................................................... 28 Diagrama 16. Gráfico respuestas por componente. ......................................................................... 33 Diagrama 17. Puntuación media por dimensión y grupo de muestra. .............................................. 34 Diagrama 18. Media y desviación estándar de la puntuación por dimensión. .................................. 34 Diagrama 19.Diagrama de Caja respuestas encuesta. .................................................................... 38
LISTADO DE ANEXOS
ANEXO 1. LISTA VERIFICACIÓN MODELO UTAUT ...................................................................... 46 ANEXO 2. CUESTIONARIO QUIS .................................................................................................... 47 ANEXO 3. CUESTIONARIO SUS ..................................................................................................... 48 ANEXO 4. LISTA DE VERIFIACIÓN UWIS ...................................................................................... 49 ANEXO 5. TRADUCCIÓN CUESTIONARIO WIS ............................................................................ 50 ANEXO 6. ENCUESTA ..................................................................................................................... 52
ANEXO 1. LISTA VERIFICACIÓN MODELO UTAUT
(Venkatesh, Morris, Davis, & Davis, 2003)
ANEXO 2.CUESTIONARIO QUIS
(Tullis & Stetson, 2004)
ANEXO 3. CUESTIONARIO SUS
(Tullis & Stetson, 2004)
ANEXO 4. LISTA DE VERIFIACIÓN UWIS
(Oztekin, 2011)
ANEXO 5. TRADUCCIÓN CUESTIONARIO WIS
1. Dimensión Confianza:
1.1. ¿Es posible reemplazar o restaurar fácilmente opciones configuradas por defecto?
1.2. ¿El sistema guía de forma suficiente a nuevos usuarios?
1.3. ¿Los registros innecesarios han sido evitados?
1.4. ¿Los sistemas deautorrespuesta y de correo electrónico le avisan al usuario cuando el servicio será
ejecutado?
2. Dimensiónde Seguridad
2.1. ¿La complejidad de una tarea es acorde con el tiempo de ejecución de la misma(planeación,
ejecución, corrección de un error)?
2.2. ¿Los botones de control relevantes están representados en la pantalla y es claro su
funcionamiento?
2.3. ¿El tono de los mensajes es lo suficientemente cortes?
2.4. ¿Los mensajes de seguridad y las notificaciones de correo electrónicoestán configurados en el
sistema?
2.5. ¿El sistema hace que le trabajo del usuario sea más fácil y rápido que sin la ayuda del sistema?
3. Dimensiónde Interacción
3.1. ¿Las respuestas por correo electrónico, automáticas o manuales, o las páginas de servicio le
brindan pronta atencióna los usuarios?
3.2. ¿Hay sistemas de correo electrónico, interno o externo, para lidiar con las quejas del usuario?
3.3. ¿El uso de terminología, gráficas y menúses consistente a través de todo el sistema?
3.4. ¿La ayuda necesaria es provista acualquiermomento (por ejemplo, títulos de las ventanas, las
instrucciones para proceder)?
4. Dimensión integración de la comunicación:
4.1. ¿La terminología y las abreviaturas formanparte del lenguaje técnico del usuario?
4.2. ¿Las “Respuestas a Preguntas Frecuentes” ayudana los usuarios aresolver los problemas por ellos
mismos?
4.3. ¿La funcionalidad de los botones en el dispositivo es obvia a partir de su etiqueta?
5. Dimensión Navegación:
5.1. ¿El sistema puede determinardonde estaba el usuario la última vez que entró a la sesión (y
cualquier progreso hecho)?
5.2. ¿Hay algún tipo de ayuda para la navegación (ejemplo: encontrar herramientas)?
5.3. ¿Ha sido evitada la aparición denuevas ventanas de búsqueda innecesarias?
6. DimensiónControl
6.1. ¿La interacción puede ser interrumpida en cualquier momento por medio de salidas definidas
claramente, haciendo posible continuar mas tarde?
6.2. ¿ Han sido provistas herramientas ( instalaciones) para regresar al nivel superioren cualquier etapa
(por ejemplo, enlaces a la página de inicio)?
7. Dimensión Calidad de la información
7.1. ¿La información contenida en el sistema es actual, oportuna, precisa y relevante?
7.2. ¿Existeunaorganización jerárquica de la información de lo general a lo especifico?
7.3. ¿La información ofrece opciones de lenguaje?
ANEXO 6. ENCUESTA
FACULTAD DE CIENCIAS ECONÓMICAS
Con el fin de medir la Usabilidad del software OPEN ERP, solicitamos amablemente responda las siguientes preguntas.
Agradecemos su valiosa colaboración al responderlas, es de aclarar que los datos aquí consignados se tratarán de forma
anónima, solamente como insumo de un estudio de investigación.
1. CARACTERIZACIÓN DEL USUARIO
1.1 Género M |__| F |__|
1.2 Edad ________
1.3 Formación profesional:
Ingeniería de Sistemas|__| Contaduría Pública |__| Economía |__|
Ingeniería Industrial |__| Otra Ingeniería |__|Ciencias de la Salud|__|
Administración de empresas |__| otra |__|¿Cuál? ___________
1.4 ¿Cuánto tiempo de experiencia tiene en el manejo delsoftware OPEN ERP?
Nunca|__| Menos de un año|__| Entre uno y tres años |__|Más de tres años |__|
2. PERCEPCIÓN DEL USUARIO
Evalúe las siguientes preguntas de 1 a 7, donde 1 es el menor valor y 7 el máximo.
¿Es posible reemplazar o restaurar fácilmente opciones configuradas
por defecto? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I
¿El sistema guía de forma suficiente a nuevos usuarios? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I
¿Los registros innecesarios han sido evitados? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I
¿La complejidad de una tarea es acorde con el tiempo de ejecución de
la misma(planeación, ejecución, corrección de un error)? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I
¿Los botones de control relevantes están representados en la pantalla y
es claro su funcionamiento? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I
¿El tono de los mensajes es lo suficientemente cortes? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I
¿El sistema hace que el trabajo del usuario sea más fácil y rápido que
sin la ayuda del sistema? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I
¿El uso de terminología, gráficas y menúses consistente a través de
todo el sistema? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I
¿La ayuda necesaria es provista acualquiermomento (por ejemplo,
títulos de las ventanas, las instrucciones para proceder)? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I
¿La terminología y las abreviaturas formanparte del lenguaje técnico del