FACULDADE DE ECONOMIA E FINANÇAS IBMEC PROGRAMA DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO E ECONOMIA DISSERTAÇÃO DE MESTRADO PROFISSIONALIZANTE EM ADMINISTRAÇÃO “DESENVOLVIMENTO DE UMA METODOLOGIA PARA AVALIAÇÃO DE USABILIDADE DE SISTEMAS UTILIZANDO A LÓGICA FUZZY BASEADO NA ISO” RODRIGO COSTA DOS SANTOS ORIENTADOR: Profa. Dra. Maria Augusta Soares Machado Rio de Janeiro, 04 de Janeiro de 2007
118
Embed
“DESENVOLVIMENTO DE UMA METODOLOGIA PARA AVALIAÇÃO DE …livros01.livrosgratis.com.br/cp047673.pdf · USABILIDADE DE SISTEMAS UTILIZANDO A LÓGICA FUZZY BASEADO NA ISO” RODRIGO
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
1
FACULDADE DE ECONOMIA E FINANÇAS IBMEC PROGRAMA DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO E ECONOMIA
“DESENVOLVIMENTO DE UMA METODOLOGIA PARA AVALIAÇÃO DE USABILIDADE DE SISTEMAS UTILIZANDO A LÓGICA FUZZY BASEADO NA
ISO”
RODRIGO COSTA DOS SANTOS
Dissertação apresentada ao curso de Mestrado Profissionalizante em Administração como requisito para obtenção do Grau de Mestre em Administração. Área de Concentração: Sistemas de Apoio à Decisão.
ORIENTADOR: Profa. Dra. Maria Augusta Soares Machado
Rio de Janeiro, 04 de Janeiro de 2007.
3
“DESENVOLVIMENTO DE UMA METODOLOGIA PARA AVALIAÇÃO DE USABILIDADE DE SISTEMAS UTILIZANDO A LÓGICA FUZZY BASEADO NA
ISO”
RODRIGO COSTA DOS SANTOS
Dissertação apresentada ao curso de Mestrado Profissionalizante em Administração como requisito para obtenção do Grau de Mestre em Administração. Área de Concentração: Sistemas de Apoio à Decisão.
Professora Dra. MARIA AUGUSTA SOARES MACHADO (Orientadora) Instituição: IBMEC/RJ _____________________________________________________
Professor Dr. LUIZ ALBERTO NASCIMENTO CAMPOS FILHO Instituição: IBMEC/RJ _____________________________________________________
Professor Dr. ANILTON SALLES GARCIA Instituição: UFES – Universidade Federal do Espírito Santo
Rio de Janeiro, 04 de Janeiro de 2007.
4
658.4038011 S237
Santos, Rodrigo Costa dos. Desenvolvimento de uma metodologia para avaliação de usabilidade de sistemas utilizando a lógica Fuzzy baseado na ISO / Rodrigo Costa dos Santos. Rio de Janeiro: Faculdades Ibmec. 2006. Dissertação de Mestrado Profissionalizante apresentada ao Programa de Pós-Graduação em Administração das Faculdades Ibmec, como requisito parcial necessário para a obtenção do título de Mestre em Administração. Área de concentração: Administração Geral. 1. Sistemas de informação - Administração. 2. Usabilidade de sistemas. 3. Interfaces Homem-Máquina. 4. Ergonomia. 5. Lógica Fuzzy.
v
DEDICATÓRIA
À minha querida esposa Flávia pela paciência, apoio e por
me iluminar em mais essa etapa da minha vida.
Aos meus pais, Antonio e Marli, pela dedicação e amor
que investiram na minha caminhada.
À DEUS que está sempre presente em todos os momentos
da minha vida.
vi
AGRADECIMENTOS
À minha orientadora Maria Augusta, por todos os conhecimentos transmitidos, pelo
incentivo e por estar sempre à disposição para ajudar e tirar dúvidas.
Aos professores e funcionários do Ibmec/RJ, por tudo que aprendi nesse período que
estudei aqui.
Ao “Grupo de Usabilidade” formado por alunos do curso de graduação de
administração do Ibmec/RJ, que se prontificaram a estudar o assunto usabilidade e cooperar
com a pesquisa.
Aos amigos da Eletrobrás e à Eletrobrás pelo apoio na realização deste curso de
mestrado.
vii
RESUMO
A usabilidade de sistemas é um conceito que vai além da facilidade de uso ou de
aprendizagem, é conceito mais abrangente do que isso e compreende vários critérios para
medi-la. Diversos estudos relevantes foram desenvolvidos, cada qual com seu conjunto de
métricas com o propósito de avaliar a usabilidade de sistemas. O objetivo dessa pesquisa é
apresentar essas métricas e unificá-las em critérios mensuráveis em conformidade com as
normas da ISO e propor uma metodologia para avaliação de usabilidade de sistema, seja ele
executado em computadores ou em equipamentos diversos. A lógica fuzzy é a ferramenta
fundamental para consolidação e análise dos dados que são obtidos através das opiniões dos
seus usuários. A pesquisa se mostra exploratória quando é feita a revisão dos critérios de
usabilidade e experimental e aplicada quando se propõe a metodologia de avaliação de
usabilidade de sistemas. Por fim essa metodologia é aplicada para um sistema real e os
resultados são apresentados e validados.
Palavras Chave: Usabilidade de Sistemas, Interfaces Homem-Máquina, Ergonomia, Lógica
Fuzzy.
viii
ABSTRACT
The systems usability is a concept that goes besides the easiness of use or of
learnability it is more complex than that and it understands several metrics to measure it.
Several relevant studies were developed, each one with his set of metrics with the purpose of
evaluate the systems usability. The objective of this thesis is to present these metrics and to
unify them in measurable metrics in accordance with the standards of the ISO’s standards and
to propose a methodology for evaluation of systems usability, be it executed in computers or
in different equipments. The fuzzy logic is the basic tool for consolidation and analysis of the
data that are obtained through the opinions of his users. The research is shown exploratory
when the revision of the metrics is done and experimental and applied when the methodology
of evaluation is proposed for systems usability. Finally this methodology is applied for a real
system and the results are presented and validated.
Key Words: Systems Usability, Human Computer Interface, Ergonomics, Fuzzy Logic.
ix
LISTA DE FIGURAS Figura 1 – Pertinência de um elemento a um conjunto.............................................................24
Figura 2 – Gráfico de pertinência de um conjunto fuzzy..........................................................26
Figura 3 – Representação gráfica de um número triangular nebuloso......................................29
Figura 4 – Quadro com a unificação dos critérios de usabilidade de sistemas.........................37
Figura 5 - Atividades de usabilidade, adaptado de (ISO 9241)................................................39
Figura 6 – Passos para avaliação da usabilidade, segundo a metodologia proposta.................42
Figura 7 – Gráfico da Questão 1 da métrica Facilidade de Aprender.......................................60
Figura 8 – Gráfico da Questão 2 da métrica Facilidade de Aprender.......................................60
Figura 9 – Gráfico da Questão 3 da métrica Facilidade de Aprender ......................................61
Figura 10 – Gráfico da Questão 4 da métrica Facilidade de Aprender.....................................62
Figura 11 – Gráfico da Questão 5 da métrica Facilidade de Aprender.....................................62
Figura 12 – Gráfico da Questão 6 da métrica Facilidade de Aprender.....................................63
Figura 13 – Gráfico da Questão 7 da métrica Facilidade de Aprender.....................................64
Figura 14 – Gráfico da Questão 8 da métrica Facilidade de Aprender.....................................65
Figura 15 – Gráfico da Questão 9 da métrica Facilidade de Aprender.....................................65
Figura 16 – Gráfico da Questão 10 da métrica Facilidade de Aprender...................................66
Figura 17 – Gráfico do resultado final para a métrica Facilidade de Aprender........................66
Figura 18 – Gráfico da Questão 1 da métrica Facilidade de Relembrar...................................67
Figura 19 – Gráfico da Questão 2 da métrica Facilidade de Relembrar...................................68
x
Figura 20 – Gráfico da Questão 3 da métrica Facilidade de Relembrar...................................68
Figura 21 – Gráfico do resultado final para a métrica Facilidade de Relembrar......................69
Figura 22 – Gráfico da Questão 1 da métrica Controle de Erros..............................................70
Figura 23 – Gráfico da Questão 2 da métrica Controle de Erros..............................................70
Figura 24 – Gráfico da Questão 3 da métrica Controle de Erros..............................................71
Figura 25 – Gráfico da Questão 4 da métrica Controle de Erros..............................................72
Figura 26 – Gráfico da Questão 5 da métrica Controle de Erros..............................................72
Figura 27 – Gráfico da Questão 6 da métrica Controle de Erros..............................................73
Figura 28 – Gráfico da Questão 7 da métrica Controle de Erros..............................................73
Figura 29 – Gráfico do resultado final para a métrica Controle de Erros.................................74
Figura 30 – Gráfico da Questão 1 da métrica Eficiência..........................................................75
Figura 31 – Gráfico da Questão 2 da métrica Eficiência..........................................................75
Figura 32 – Gráfico da Questão 3 da métrica Eficiência..........................................................76
Figura 33 – Gráfico da Questão 4 da métrica Eficiência..........................................................76
Figura 34 – Gráfico do resultado final para a métrica Eficiência.............................................77
Figura 35 – Gráfico da Questão 1 da métrica Eficácia.............................................................78
Figura 36 – Gráfico da Questão 2 da métrica Eficácia.............................................................78
Figura 37 – Gráfico da Questão 3 da métrica Eficácia.............................................................79
Figura 38 – Gráfico do resultado final para a métrica Eficácia................................................80
Figura 39 – Gráfico da Questão 1 da métrica Satisfação..........................................................80
Figura 40 – Gráfico da Questão 2 da métrica Satisfação..........................................................81
Figura 41 – Gráfico da Questão 3 da métrica Satisfação..........................................................81
Figura 42 – Gráfico do resultado final para a métrica Satisfação.............................................82
xi
LISTA DE TABELAS Tabela 1 – Resultado dos autores citados na revisão da literatura sobre usabilidade...............14
Tabela 2 – Quadro dos critérios de usabilidade X medidas da ISO 9241.................................46
Tabela 3 – Quadro das métricas, número e a quantidade de questões elaboradas....................47
Tabela 4 – Resultado dos cálculos de semelhanças entre conjuntos.........................................59
Tabela 5 – Resultado final da avaliação da usabilidade da Intranet da Eletrobrás...................83
xii
LISTA DE ABREVIATURAS ISO – International Organization for Standardization
FOU – Freqüência das Opiniões dos Usuários
FOUN – Freqüência das Opiniões dos Usuários Normalizada
NN – Número Nebuloso
NNM – Número Nebuloso Médio
NNMN – Número Nebuloso Médio Normalizado
xiii
SUMÁRIO
RESUMO ............................................................................................................................ vii
ABSTRACT ....................................................................................................................... viii
LISTA DE FIGURAS........................................................................................................... ix
LISTA DE TABELAS.......................................................................................................... xi
LISTA DE ABREVIATURAS ............................................................................................ xii
SUMÁRIO ......................................................................................................................... xiii
Como a moda do conjunto FOUN encontrada foi 6, foram selecionados os 4 conjuntos
triangulares nebulosos de Moda 6 e Amplitude variando de 1 a 4: (6|1) , (6|2) , (6|3) e (6|4) e
comparados ao conjunto nebuloso FOUN através da fórmula (04). O resultado está
representado na Tabela 4.
Fórmula Resultado
)1|6()()1|6()(
)1|6(),( ∪∩
=XAXA
S XA 0.5556
)2|6()()2|6()(
)2|6(),( ∪∩
=XAXA
S XA 0.7538
)3|6()()3|6()(
)3|6(),( ∪∩
=XAXA
S XA 0.6750
)4|6()()4|6()(
)4|6(),( ∪∩
=XAXA
S XA 0.5538
Tabela 4 – Resultado dos cálculos de semelhanças entre conjuntos
Observa-se que o maior resultado, ou seja, o que mais tende a 1 (um) foi a semelhança
encontrada com o número (6|2), logo, o número triangular nebuloso mais semelhante à FOUN
60
e o de moda 6 amplitude 2. A representação gráfica da FOUN da questão 1 da métrica
Facilidade de Aprender sobreposta do número triangular nebuloso (6|2) é apresentada no
Gráfico 7.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 1
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 7 – Gráfico da Questão 1 da métrica Facilidade de Aprender
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 2
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 8 – Gráfico da Questão 2 da métrica Facilidade de Aprender
61
Observou-se para as questões 1 e 2 (Figuras 7 e 8) que o número triangular nebuloso
mais semelhante foi o (6|2) que representa a opinião média igual a 6 (Boa) com amplitude 2,
indicando uma dispersão Média na opinião dos usuários.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 3
Opinião
Per
tinên
cia
FOUNNN (6|1)
Figura 9 – Gráfico da Questão 3 da métrica Facilidade de Aprender
A questão 3 (Figura 9) apresentou o número triangular nebuloso (6|1) que representa a
opinião média igual a 6 (Boa) com amplitude 1, indicando uma dispersão Mínima, ou seja,
as opiniões dos usuários para esse questão foram mais convergentes.
62
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 4
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 10 – Gráfico da Questão 4 da métrica Facilidade de Aprender
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 5
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 11 – Gráfico da Questão 5 da métrica Facilidade de Aprender
63
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 6
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 12 – Gráfico da Questão 6 da métrica Facilidade de Aprender
As questões 4, 5 e 6 (Figuras 10, 11 e 12) tiveram como o número triangular nebuloso
mais semelhante o (6|2) que representa a opinião média igual a 6 (Boa) com amplitude 2,
indicando uma dispersão Média na opinião dos usuários e mantendo uma tendência já
observada nas questões 1 e 2.
64
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 7
Opinião
Per
tinên
cia
FOUNNN (2|3)
Figura 13 – Gráfico da Questão 7 da métrica Facilidade de Aprender
Observou-se para a questão 7 (Figura 13) que o número triangular nebuloso mais
semelhante foi o (2|3) que representa uma avaliação geral Ruim, pois a opinião média foi
igual a 2 (Ruim). Em contrapartida a amplitude foi igual a 3, indicando uma dispersão Alta
da opinião dos usuários.
65
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 8
Opinião
Per
tinên
cia
FOUNNN (4|2)
Figura 14 – Gráfico da Questão 8 da métrica Facilidade de Aprender
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 9
Opinião
Per
tinên
cia
FOUNNN (4|2)
Figura 15 – Gráfico da Questão 9 da métrica Facilidade de Aprender
66
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 10
Opinião
Per
tinên
cia
FOUNNN (4|2)
Figura 16 – Gráfico da Questão 10 da métrica Facilidade de Aprender
As questões 8, 9 e 10 (Figuras 14, 15 e 16) tiveram como o número triangular
nebuloso mais semelhante o (4|2) que representa a opinião média igual a 4 (Média) com
amplitude 2, indicando uma dispersão Média na opinião dos usuários.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Resultado Final para métrica Facilidade de Aprender
Opinião
Per
tinên
cia
NNMNNN (6|3)
Figura 17 – Gráfico do resultado final para a métrica Facilidade de Aprender
67
O resultado final para a métrica Facilidade de Aprender apresentou o número
triangular nebuloso (6|3) como resposta, o que, como a metodologia propõe, representa a
convergência de todos os resultados das questões que compõem essa mesma métrica.
O número nebuloso (6|3) representa uma avaliação Boa para a Facilidade de Aprender
para o sistema analisado (Intranet da Eletrobrás), porém com amplitude 3, que representa uma
dispersão Alta das opiniões dos usuários.
A próxima métrica a ser analisada é a Facilidade de Relembrar que é composta de 3
questões e apresentou os seguintes resultados:
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 1
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 18 – Gráfico da Questão 1 da métrica Facilidade de Relembrar
Observou-se para a questão 1 (Figura 18) que o número triangular nebuloso mais
semelhante foi o (6|2) que representa a opinião média igual a 6 (Boa) com amplitude 2,
indicando uma dispersão Média na opinião dos usuários.
68
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 2
Opinião
Per
tinên
cia
FOUNNN (6|3)
Figura 19 – Gráfico da Questão 2 da métrica Facilidade de Relembrar
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 3
Opinião
Per
tinên
cia
FOUNNN (6|3)
Figura 20 – Gráfico da Questão 3 da métrica Facilidade de Relembrar
69
Para as questões 2 e 3 (Figuras 19 e 20) observou-se que o número triangular nebuloso
mais semelhante foi o (6|3) que representa também uma opinião média igual a 6 (Boa), porém
com amplitude 3, indicando uma dispersão Alta na opinião dos usuários.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Resultado Final para métrica Facilidade de Relembrar
Opinião
Per
tinên
cia
NNMNNN (6|3)
Figura 21 – Gráfico do resultado final para a métrica Facilidade de Relembrar
O resultado final para a métrica Facilidade de Relembrar apresentou o número triangular
nebuloso (6|3) como resposta, o que representa uma avaliação Boa, com uma dispersão Alta
das opiniões dos usuários. Pelo gráfico também percebe-se que o NNMN se aproximou muito
do número triangular nebuloso (6|3).
A próxima métrica a ser analisada é a que se refere à Controle de Erros e é composta
de 7 questões, apresentando os seguintes resultados:
70
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 1
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 22 – Gráfico da Questão 1 da métrica Controle de Erros
As questões 1 e 4 (Figuras 22 e 25) obtiveram o número triangular nebuloso mais
semelhante o (6|2) que representa uma opinião média igual a 6 (Boa), com amplitude 2,
indicando uma dispersão Média na opinião dos usuários.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 2
Opinião
Per
tinên
cia
FOUNNN (4|3)
Figura 23 – Gráfico da Questão 2 da métrica Controle de Erros
71
A questão 2 (Figura 23) obteve o número triangular nebuloso mais semelhante o (4|3)
que representa uma opinião média igual a 4 (Média), e uma amplitude igual a 3, indicando
uma dispersão Alta na opinião dos usuários.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 3
Opinião
Per
tinên
cia
FOUNNN (6|3)
Figura 24 – Gráfico da Questão 3 da métrica Controle de Erros
As questões 3 e 5 (Figuras 24 e 26) obtiveram o número triangular nebuloso mais
semelhante o (6|3) que representa uma opinião média igual a 6 (Boa), com amplitude 3,
indicando uma dispersão Alta na opinião dos usuários.
72
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 4
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 25 – Gráfico da Questão 4 da métrica Controle de Erros
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 5
Opinião
Per
tinên
cia
FOUNNN (6|3)
Figura 26 – Gráfico da Questão 5 da métrica Controle de Erros
73
0 2 4 6 80.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 6
Opinião
Per
tinên
cia
FOUNNN (2|4)
Figura 27 – Gráfico da Questão 6 da métrica Controle de Erros
A questão 6 (Figura 27) obteve o número triangular nebuloso mais semelhante o (2|4)
que representa uma opinião média igual a 2 (Ruim), e uma amplitude igual a 4, indicando
uma dispersão Muito Alta na opinião dos usuários.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 7
Opinião
Per
tinên
cia
FOUNNN (4|2)
Figura 28 – Gráfico da Questão 7 da métrica Controle de Erros
74
A questão 7 (Figura 28) obteve o número triangular nebuloso mais semelhante o (4|2)
que representa uma opinião média igual a 4 (Média), e uma amplitude igual a 2, indicando
uma dispersão Média na opinião dos usuários.
0 2 4 6 80.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Resultado Final para métrica Controle de Erros
Opinião
Per
tinên
cia
NNMNNN (6|4)
Figura 29 – Gráfico do resultado final para a métrica Controle de Erros
O resultado final para a métrica Controle de Erros apresentou o número triangular
nebuloso (6|4) como resposta, o que representa uma avaliação Boa, contudo com uma
dispersão Muito Alta (Amplitude igual a 4) das opiniões dos usuários. Isso que dizer que
embora a avaliação seja classificada como Boa, as opiniões dos usuários estão muito
espalhadas o que deixa o resultado final impreciso. Como visto, os resultados das questões
variaram entre Ruim, Média e Boa. Essa avaliação deve ser sinalizada com um “ponto de
atenção” e deve ser revista para o sistema analisado.
75
A próxima métrica a ser analisada é a Eficiência que é composta de 4 questões, e
apresentou os seguintes resultados:
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 1
Opinião
Per
tinên
cia
FOUNNN (6|3)
Figura 30 – Gráfico da Questão 1 da métrica Eficiência
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 2
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 31 – Gráfico da Questão 2 da métrica Eficiência
76
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 3
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 32 – Gráfico da Questão 3 da métrica Eficiência
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 4
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 33 – Gráfico da Questão 4 da métrica Eficiência
As questões 1, 2, 3 e 4 (Figuras 30, 31 , 32 e 33) obtiveram o número triangular
nebuloso com uma opinião média igual a 6 (Boa), foi observado uma pequena diferença na
77
amplitude que, para a questão 1 foi Alta e para as questões 2, 3 e 4 a dispersão foi
considerada Média com relação às opinião dos usuários.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Resultado Final para métrica Satisfação
Opinião
Per
tinên
cia
NNMNNN (6|2)
Figura 34 – Gráfico do resultado final para a métrica Eficiência
O resultado final para a métrica Eficiência apresentou o número triangular nebuloso
(6|2) como resposta, o que representa uma avaliação Boa. A amplitude foi de 2, que
representa uma dispersão Média entre as opiniões dos usuários.
A próxima métrica a ser analisada é a Eficácia que é composta de 3 questões e
apresentou os seguintes resultados:
78
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 1
Opinião
Per
tinên
cia
FOUNNN (4|2)
Figura 35 – Gráfico da Questão 1 da métrica Eficácia
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 2
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 36 – Gráfico da Questão 2 da métrica Eficácia
79
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 3
Opinião
Per
tinên
cia
FOUNNN (4|2)
Figura 37 – Gráfico da Questão 3 da métrica Eficácia
As questões 1 e 3 (Figuras 35 e 37) obtiveram o número triangular nebuloso mais
semelhante o (4|2) que representa uma opinião média igual a 4 (Média), com amplitude 2,
indicando uma dispersão Média na opinião dos usuários.
A questão 2 (Figura 36) obteve o número triangular nebuloso (6|2) que representa a
opinião média igual a 6 (Boa) com amplitude 2, indicando uma dispersão Média na opinião
dos usuários.
O resultado final para a métrica Eficácia apresentou o número triangular nebuloso
(4|2) como resposta, o que representa uma avaliação Média. A amplitude foi de 2, que
representa uma dispersão também Média entre as opiniões dos usuários.
80
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Resultado Final para métrica Eficácia
Opinião
Per
tinên
cia
NNMNNN (4|2)
Figura 38 – Gráfico do resultado final para a métrica Eficácia
A última métrica a ser analisada é a Satisfação que é composta de 3 questões e
apresentou os seguintes resultados:
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 1
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 39 – Gráfico da Questão 1 da métrica Satisfação
81
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 2
Opinião
Per
tinên
cia
FOUNNN (6|3)
Figura 40 – Gráfico da Questão 2 da métrica Satisfação
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 3
Opinião
Per
tinên
cia
FOUNNN (6|1)
Figura 41 – Gráfico da Questão 3 da métrica Satisfação
82
Todas as 3 questões dessa métrica (Figuras 39, 40 e 41) obtiveram o número triangular
nebuloso com uma opinião média igual a 6 (Boa), entretanto as amplitudes variaram entre 1, 2
e 3. A questão 1 apresentou amplitude 2, que representa uma dispersão Média entre as
opiniões dos usuários. A questão 2 apresentou amplitude 3 que representa uma dispersão Alta
entre as opiniões dos usuários. A questão 3 apresentou amplitude 1 que representa uma
dispersão Mínima entre as opiniões dos usuários, ou seja, os usuários foram quase unânimes
ao escolherem o conceito “Bom” para essa questão.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Resultado Final para métrica Satisfação
Opinião
Per
tinên
cia
NNMNNN (6|2)
Figura 42 – Gráfico do resultado final para a métrica Satisfação
O resultado final para a métrica Satisfação apresentou o número triangular nebuloso
(6|2) como resposta, o que representa uma avaliação Boa, com uma dispersão Média
(Amplitude igual a 2) das opiniões dos usuários.
O resultado final da avaliação da usabilidade da Intranet da Eletrobrás, representado na
tabela 5, mostra que das seis métricas de usabilidade, as seis não foram aceitas por apresentar
83
amplitude maior ou igual a 2 (Média), ou por uma segunda interpretação, apresentaram graus
de confiança muito baixo nos dados pesquisados. Portanto, recomenda-se que a Intranet da
Eletrobrás deva ser repensada sob esse seis aspectos da usabilidade, ou, conforme proposto
pela metodologia, se faça uma nova avaliação da Intranet aumentando a amostra dos usuários.
As métricas Eficiência, Eficácia e Satisfação apresentaram amplitude Média,
representando um maior grau de confiança no resultado obtido. As métricas Facilidade de
Aprender e Facilidade de Relembrar apresentaram amplitude Alta o que representa um grau
de confiança baixo. A métrica Controle de Erros foi a que apresentou a maior Amplitude,
Muito Alta, o que representa uma total dispersão das opiniões dos usuários e é a métrica que
deve ter a maior atenção na sua reavaliação.
Métrica Avaliação Amplitude Resultado
Facilidade de Aprender 6 - Boa 3 - Alta Amplitude >= 2.
Resultado não aceito. Reavaliar o sistema.
Facilidade de Relembrar 6 - Boa 3 - Alta Amplitude >= 2.
Resultado não aceito. Reavaliar o sistema.
Controle de Erros 6 - Boa 4 - Muito Alto Amplitude >= 2.
Resultado não aceito. Reavaliar o sistema.
Eficiência 6 - Boa 2 - Média Amplitude >= 2.
Resultado não aceito. Reavaliar o sistema.
Eficácia 4 - Média 2 - Média Amplitude >= 2.
Resultado não aceito. Reavaliar o sistema.
Satisfação 6 - Boa 2 - Média Amplitude >= 2.
Resultado não aceito. Reavaliar o sistema.
Tabela 5 – Resultado final da avaliação da usabilidade da Intranet da Eletrobrás
84
6. CONCLUSÕES
A presente pesquisa teve por objetivo identificar um conjunto de critérios mensuráveis
para avaliação da usabilidade de sistemas, baseando-se entre outros estudos, nas normas da
ISO e propor uma metodologia para medi-los.
A metodologia proposta conseguiu atender às expectativas de se criar um instrumento
que “quantificasse” o grau de usabilidade de um sistema, e se não bastasse isso, gerou um
conceito para cada critério, ficando claro em que ponto a usabilidade está mais ou menos
deficitária ou em que aspecto o sistema pode melhorar. Isso foi comprovado após a aplicação
da metodologia para Intranet da Eletrobrás em que foram obtidos resultados coerentes e
condizentes com a realidade vivenciada na empresa.
Na etapa do pré-teste, a metodologia se mostrou eficiente quando aplicada na
avaliação de sistemas diversos, tanto para sistemas que são executados em computadores
quanto para aqueles executados em equipamento diversos, cumprindo assim um dos objetivos
específicos do estudo.
85
Uma revisão dos critérios de avaliação de usabilidade de sistemas foi realizada, e
resultou em seis métricas unificadas de usabilidade. O que se constatou foi que muitos desses
critérios, embora especificados em estudos diferentes, no fundo tinham o objetivo de medir as
mesmas coisas.
Ficou evidenciada com a pesquisa a importância de se conhecer o sistema que está
sendo utilizado, contextualizando-o sob o ponto de vista do usuário, tarefa, equipamento e
ambiente para não se criar um viés nos resultados. Cabe ao pesquisador identificar quais
contextos são críticos para cada sistema e dividir a aplicação da avaliação em amostras
diferenciadas.
Os resultados obtidos com esse estudo visa apoiar o processo de decisão de uma
empresa que necessite rever a usabilidade de seus softwares, do seu site ou dos seus
equipamentos. Dependendo do sistema analisado, esse resultado pode ser interpretado como
retenção de clientes, aumento de lucro, aumento da produtividade e satisfação dos
empregados, entre outros benefícios.
A utilização da lógica fuzzy permitiu criar um mecanismo robusto com a utilização de
expressões verbais. A transposição dessas expressões para números possibilitou a execução de
cálculos, aumentado a precisão das opiniões dos usuários.
Como sugestão para dar continuidade ao trabalho, destaca-se a criação de uma lista de
recomendações atrelada ao resultado final das métricas, para não só apresentar um conceito
literal para cada métrica, mas também indicar quais pontos exatamente o sistema pode ser
86
melhorado ou qual quesito a avaliação ficou comprometida, uma vez que cada questão do
questionário corresponde a uma característica do sistema.
87
REFERÊNCIAS BIBLIOGRÁFICAS
BASTIEN, J.M.C.; SCAPIN, D.L. Human factors criteria, principles, and recommandations for HCI: methodological and standatdisation issues. França: INRIA, 1993. BENNETT, John L. The Commercial Impact of Usability in Interactive Systems. In: Man/Computer Communication, Inglaterra, Infotech International, v. 2, p. 1-17,1979. BRAGA, Mario J. F.; BARRETO, Jorge M.; MACHADO, Maria Augusta S. Conceitos da Matemática Nebulosa na Análise de Risco. Rio de Janeiro: Artes& Rabiskus, 1995. COOPER, Donald R.; SCHINDLER, Pamela S. Métodos de Pesquisa em Administração. 7. ed. Porto Alegre: Bookman, 2003. COSTA, Alex da; RODRÍGUEZ, Antonio Gabriel; SIMAS, Etiene P. L.; ARAÚJO, Roberto da S. Lógica Fuzzy: Conceitos e Aplicações. Disponível em: <http://www.inf.unisinos.br/~cazella/dss/fuzzy_relatorio.pdf>. Acesso em: 04 nov. 2005. CYBIS, Walter de Abreu. Engenharia de Usabilidade: Uma Abordagem Ergonômica. Florianópolis, Maio de 2003. Disponível em: <http://www.unoescsmo.edu.br/poscomp/cybis/Apostila_v51.pdf>. Acesso em: 24 mar. 2006. DEMO, P. Metodologia do Conhecimento Científico. São Paulo: Atlas, 2000. DUBOIS D., PRADE H., Fuzzy Sets and Systems: Theory and Applications. San Francisco: Academic Press, 1980. GIL, Antonio Carlos. Como elaborar projetos de pesquisa. 3. ed. São Paulo: Atlas, 1996. ISO 9126-1. Engenharia de software – Qualidade de produto. Parte 1: Modelo de qualidade. NBR ISO/IEC 9126-1. Rio de Janeiro: ABNT, 2003. ISO 9241. Ergonomic requirements for office work with visual display terminals (VDTs). ISO 9241. Switzerland: ISO, 1998. JORDAN, Patrick W. An Introduction to Usability. London, UK: Taylor & Francis, 1998.
MALHOTRA, Naresh K. Pesquisa de marketing: uma orientação aplicada. Porto Alegre: Bookman, 2001. MATTAR, F.. Pesquisa de Marketing. São Paulo: Editora Atlas, 1997. MILLER, R. B. Human ease of use criteria and their tradeoffs. Relatório técnico. New York: IBM Corporation, 1971. MORAES, Anamaria de. História da Ergonomia. Disponível em: <http://wwwusers.rdc.puc-rio.br/leui/leui.html>. Acesso em 03 Out. 2006. NASCIMENTO, José Antonio Machado do. Usabilidade no contexto de gestores, desenvolvedores e usuários do website da Biblioteca Central da Universidade de Brasília. Dissertação de Mestrado do curso de Ciência da Informação. Brasília: Universidade de Brasília, 2006. NIELSEN, J. Usability Engineering. Boston, MA: Academic Press, 1993. OLIVEIRA JR., Hime A. E. Lógica Difusa: Aspectos Práticos e Aplicações. Rio de Janeiro: Interciência, 1999. QUESENBERY, W. What does usability mean: Looking beyond 'ease of use'. In: 48th Annual Conference Society for Technical Communication. Chicago, 2001. SHACKEL, B. Ergonomics in design for usability. In: Harrison, M. D., & Monk, A. F. People and computers: Designing for usability, In: HCI 86 Conference on People and Computer. New York: Cambridge University Press, p. 44-64, 1986. SHNEIDERMAN, B. Designing the User Interface: Strategies for Effective Human-Computer Interaction. 3. ed. EUA: Addison Wesley, 1998. SIMÕES, Marcelo G.; SHAW, Lan. Controle e Modelagem Fuzzy. São Paulo: Edgard & Blucher, 1999. TEIXEIRA, Gilberto. O que Significa Metodologia?. Disponível em: <http://www.serprofessoruniversitario.pro.br/>. Acesso em: 11 nov. 2006. VERGARA, Sylvia C. Projetos e Relatórios de Pesquisa em Administração. 3 ed. São Paulo: Atlas, 2000.
AMENDOLA, Mariangela; SOUZA, Anderson Luiz de; BARROS, Laécio Carvalho. Manual do uso da teoria dos conjuntos Fuzzy no MATLAB 6.5. Versão II, 2005. Disponível em: < http://www.ime.unicamp.br/>. Acesso em: 08 nov. 2006. CONGRESSO ANUAL DE TECNOLOGIA DE INFORMAÇÃO (CATI). 2004, São Paulo, Anais Eletrônicos..., 2004, CD-ROM. ______. 2005, São Paulo, Anais Eletrônicos..., 2005, CD-ROM. ______. 2006, São Paulo, Anais Eletrônicos..., 2006, CD-ROM. ENCONTRO DA ASSOCIAÇÃO NACIONAL DOS PROGRAMAS DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO (EnANPAD). XXII, Paraná, Anais Eletrônicos..., 1998, CD-ROM. ______. XXIII, Paraná, Anais Eletrônicos..., 1999, CD-ROM. ______. XXIV, Santa Catarina, Anais Eletrônicos..., 2000, CD-ROM. ______. XXV, São Paulo, Anais Eletrônicos..., 2001, CD-ROM. ______. XXVI, Bahia, Anais Eletrônicos..., 2002, CD-ROM. ______. XXVII, São Paulo, Anais Eletrônicos..., 2003, CD-ROM. ______. XXVIII, Paraná, Anais Eletrônicos..., 2004, CD-ROM. ______. XXIX, Brasília, Anais Eletrônicos..., 2005, CD-ROM.
REVISTA CIÊNCIA DA INFORMAÇÃO. IBCT, Brasília, 2006. Disponível em: <http://www.scielo.br/>. Acesso em: 28 out. 2006. REVISTA DE ADMINISTRAÇÃO CONTEPORÂNEA. ANPAD, Paraná, 2006. Disponível em: < http://www.anpad.org.br/rac/>. Acesso em: 28 out. 2006.
REVISTA DE ADMINISTRAÇÃO DA UNIVERSIDADE DE SÃO PAULO. USP, São Paulo, 2006. Disponível em: < http://www.rausp.usp.br/>. Acesso em: 28 out. 2006. REVISTA DE ADMINISTRAÇÃO DE EMPRESAS ELETRÔNICA - RAE. FGV-EAESP, Santa Catarina, 2006. Disponível em: <http://www.rae.com.br/eletronica/index.cfm/>. Acesso em: 28 out. 2006. REVISTA ELETRÔNICA DE SISTEMAS DE INFORMAÇÃO - RESI. UFSC, Santa Catarina, 2006. Disponível em: <http://www.inf.ufsc.br/resi/>. Acesso em: 28 out. 2006.
APÊNDICE A – QUESTIONÁRIO PARA USABILIDADE DE SISTEMAS Nome do Sistema Analisado: _____________________________
Nome do usuário: ________________________________________
Sexo: ( ) Masculino ( ) Feminino
Idade: __________
Escolaridade: __________
Possui alguma limitação física? ______ (Sim/Não) Qual: __________________
Tempo de experiência no uso de computador (em anos): __________
Tempo de experiência no uso do sistema (em anos): __________
Tempo de experiência no uso do sistema (em anos): __________
Periodicidade do uso do sistema: ( ) Frequentemente ( ) Eventualmente ( ) Raramente
01) Ao completar uma tarefa com sucesso no sistema pela primeira vez, você achou: ( ) Muito Difícil ( ) Difícil ( ) Médio ( ) Fácil ( ) Muito Fácil 02) Qual foi sua primeira impressão ao utilizar o sistema: ( ) Muito Insatisfeito
08) Quantas são as maneiras diferentes que o sistema oferece para realizar a mesma tarefa, por exemplo: caminho padrão versus teclas de atalhos, caminhos mais curtos, macros, botões específicos, etc. Você acha que: ( ) Existe um número muito baixo de possibilidades
( ) Existe um número baixo de possibilidades
( ) existe um número razoável de possibilidades
( ) Existe um número alto de possibilidades
( ) Existe um número muito alto de possibilidades
92
09) Com relação a maneira mais rápida que você consegue realizar uma tarefa, comparando com a maneira padrão que o sistema oferece por padrão, você considera um ganho de produtividade: ( ) muito baixo ( ) baixo ( ) médio ( ) alto ( ) Muito alto 10) Com relação a flexibilidade que o sistema permite de executar suas tarefas de maneiras diferentes, como por exemplo: personalização de atalhos, valores, menus, macros, etc. você se sente: ( ) Muito Insatisfeito
13) Após um período de tempo sem utilizar o sistema, você consegue relembrar como executar uma tarefa com: ( ) Muita Dificuldade
( ) Certa Dificuldade
( ) Um Esforço Médio
( ) Certa Facilidade
( ) Muita Facilidade
14) Toda vez que você precisa reutilizar o sistema com relação a relembrar sua utilização, você se sente: ( ) Muito Desconfortável
( ) Desconfortável
( ) Médio ( ) Confortável ( ) Muito Confortável
15) Após um período de tempo sem utilizar o sistema, você consegue relembrar a utilização do sistema de forma: ( ) Muito Lenta ( ) Lenta ( ) Média ( ) Rápido ( ) Muito Rápido 16) A quantidade de erros provocados pelo sistema é: ( ) Muito Grande ( ) Grande ( ) Média ( ) Pequena ( ) Muito
Pequena 17) Quando um erro ocorre, a retomada ao funcionamento normal do sistema é: ( ) Muito Demorada
( ) Demorada ( ) Média ( ) Rápida ( ) Muito Rápida
18) Como você se sente com relação à quantidade de erros provocados pelo sistema: ( ) Muito Insatisfeito
19) A Quantidade de erros provocados pelo sistema que causa alguma perda de informação ou retrabalho é: ( ) Muito Grande ( ) Grande ( ) Média ( ) Pequena ( ) Muito
Pequena 20) Quando um erro ocorre, o tempo gasto para você retomar a execução da tarefa no sistema no ponto em que você parou é: ( ) Muito Demorado
( ) Demorado ( ) Média ( ) Rápido ( ) Muito Rápido
93
21) Como você se sente com relação à recuperação do erro por parte do sistema, desfazer, refazer, voltar, salvar antes de fechar, etc. ( ) Muito Insatisfeito
22) Como você considera a performance apresentada pelo sistema: ( ) Muito Baixa ( ) Baixa ( ) Média ( ) Alta ( ) Muito Alta 23) Como você considera a velocidade na realização das tarefas: ( ) Muito Demorado
( ) Demorado ( ) Média ( ) Rápido ( ) Muito Rápido
24) Como você se sente com relação a produtividade do sistema: ( ) Muito Insatisfeito
*Regra de Formação: X99 Onde X equivale a letra da métrica e 99 ao ao seqüencial da questão Q3= [ 0 1 5 20 1 ];
Livros Grátis( http://www.livrosgratis.com.br )
Milhares de Livros para Download: Baixar livros de AdministraçãoBaixar livros de AgronomiaBaixar livros de ArquiteturaBaixar livros de ArtesBaixar livros de AstronomiaBaixar livros de Biologia GeralBaixar livros de Ciência da ComputaçãoBaixar livros de Ciência da InformaçãoBaixar livros de Ciência PolíticaBaixar livros de Ciências da SaúdeBaixar livros de ComunicaçãoBaixar livros do Conselho Nacional de Educação - CNEBaixar livros de Defesa civilBaixar livros de DireitoBaixar livros de Direitos humanosBaixar livros de EconomiaBaixar livros de Economia DomésticaBaixar livros de EducaçãoBaixar livros de Educação - TrânsitoBaixar livros de Educação FísicaBaixar livros de Engenharia AeroespacialBaixar livros de FarmáciaBaixar livros de FilosofiaBaixar livros de FísicaBaixar livros de GeociênciasBaixar livros de GeografiaBaixar livros de HistóriaBaixar livros de Línguas
Baixar livros de LiteraturaBaixar livros de Literatura de CordelBaixar livros de Literatura InfantilBaixar livros de MatemáticaBaixar livros de MedicinaBaixar livros de Medicina VeterináriaBaixar livros de Meio AmbienteBaixar livros de MeteorologiaBaixar Monografias e TCCBaixar livros MultidisciplinarBaixar livros de MúsicaBaixar livros de PsicologiaBaixar livros de QuímicaBaixar livros de Saúde ColetivaBaixar livros de Serviço SocialBaixar livros de SociologiaBaixar livros de TeologiaBaixar livros de TrabalhoBaixar livros de Turismo