上級ユーザビリティテスト手法

2014年9月27日（土）

アドバンスト・ユーザビリティテスト

オープンなタスク、質問紙法、ウォークスルービデオ

利用品質ラボ 樽本徹也

「ユーザビリティエンジニアリング(第２版)」

1章 ユーザ中心設計概論2章 インタビュー法3章 インタビューの実践4章 データ分析法5章 発想法6章 プロトタイプ7章 ユーザビリティ評価法8章 ユーザテスト9章 ユーザテストの準備10章 ユーザテストの実施11章 分析と再設計12章 ユーザ中心設計活動

*無料サンプル版（第2章全文）http://www.slideshare.net/barrelbook/ss‐26183115

全面広告

全面広告

第一部：オープンなタスク

1. Guess the height of the tallest trophy in the trophy case.2. What is the last English book on the library book rack?3. How many stain glass windows are in the chapel?4. How many student lockers are outside classroom 5‐1?5. From the vending machine, which drink does our guest like 

the most?6. How many people have desks in the teacher's room?7. How many fish are in the pond in the courtyard?8. How many windows are in the passage way connecting the 

Junior High School Building and the 4‐go‐kan?9. Count the number of steps in the Junior High School Building, 

from ground floor to the top floor.10.How many different drinks are sold from the vending 

machines outside the gym building?

【引用元】関東学院六浦中学校・高等学校ブログ：留学生交流プログラム その２：Scavenger Hunthttp://blog.kgm.ed.jp/?eid=1081

School Scavenger Hunt Task List

Scavenger-hunt

Interviewbased

Usability test

「夏休みに、ハワイ旅行を予定しているとします。8月、ホノルルに7日間の旅行を15万円以内（1名当たり）で探してください。」

「最近、家族で海外旅行に行かれたとのことですが、どのように旅行の計画を立てて、チケットやホテルを予約したのか教えてください。」

‐ 中略 ‐「今、仮に、夏休みに同じような海外旅行を計画しているとします。このアプリを使って、旅行の手配をしてください。」

Jared Spool

「仮に、あなたはレオナルド・ディカプリオのファンだとします。“レオ様”について、ま

だあなたが知らないことを調べてください。」

【引用元】Interview‐Based Tasks: Learning from Leonardo DiCapriohttp://www.uie.com/articles/interview_based_tasks/

Scavenger-hunt↓

Role playing↓

Interview based↓

(Field study)タスクの「進化」

「何か検索してください」「好きなものを購入してください」

「自由に使ってください」etc…

オープンとは「ユーザ任せ」という意味ではない

普段の体験

直近の体験

トム・クルーズ ディカプリオ

実体験 類似体験映画スター

「では、このサイトを使って、○○さんの希望に合うような物件を探してください。」

「○○さんは、住宅の購入をご希望とのことですが、どんな物件を探していらっしゃるのですか？」• 種別：マンション｜戸建て ＊ 新築｜中古

• 物件概要：広さ、間取り、交通手段、築年数、エリア（沿線）、etc

• 予算：X 千万円からY 千万円etc…

リアルなタスクはリアルな結果を

生む

リアルな結果＝ユーザが「本気で使うと（上手く）使えない」

第二部：質問紙法

Post task Post test

Usability Questionnaire

SUS: System Usability Scale• 1986年(一般公開は1996年)• ジョン・ブルック(DEC)• 10問/5段階尺度 SUS Score• 無料• “Quick and Dirty”

John Brooke

1. I think that I would like to use this system frequently2. I found the system unnecessarily complex3. I thought the system was easy to use4. I think that I would need the support of a technical person to 

be able to use this system5. I found the various functions in this system were well 

integrated6. I thought there was too much inconsistency in this system7. I would imagine that most people would learn to use this 

system very quickly8. I found the system very cumbersome(/awkward) to use9. I felt very confident using the system10. I needed to learn a lot of things before I could get going with 

this system 

System Usability Scale < スコア計算例>

#1,3,5,7,9 : scale ‐ 1#2,4,6,8,10 : 5 ‐ scale‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐Total score = 22SUS Score = 22 *2.5 = 55( range: 0 ‐ 100)

SUS Score Range Grade Percentile Range84.1 ~ 100 A+ 96 ~ 10080.8 ~ 84 A 90 ~ 9578.9 ~ 80.7 A‐ 85 ~ 8977.2 ~ 78.8 B+ 80 ~ 8474.1 ~ 77.1 B 70 ~ 7972.6 ~ 74 B‐ 65 ~ 6971.1 ~ 72.5 C+ 60 ~ 6465 ~ 71 C 41 ~ 5962.7 ~ 64.9 C‐ 35 ~ 4051.7 ~ 62.6 D 15 ~ 340 ~ 51.7 F 0 ~ 14

SUS Score Average: 68

【引用元】Jeff Sauro 「Quantifying the User Experience」p204

+ 無料+ 簡便+ 明快+ Quick and Not So Dirty‐ 公式日本語版が無い

例１ 例２ 例３

#1このシステムをしばしば使いたいと思う

このウェブサイトをしばしば利用したいと思う

このシステムを今後も繰り返し使いたい

#2このシステムは不必要なほど複雑であると感じた

このウェブサイトを利用するには説明が必要となるほど複雑であると感じた

このシステムは必要以上に複雑だった

#3このシステムは容易に使えると思った

このウェブサイトは容易に使いこなす事ができると思った

このシステムは簡単に使えた

#4このシステムを使うのに技術専門家のサポートを必要とするかもしれない

このウェブサイトを利用するのに専門家のサポートが必要だと感じる

このシステムを使えるようになるには、技術に詳しい人のサポートが必要だ

#5このシステムにあるさまざまな機能がよくまとまっていると感じた

このウェブサイトにあるコンテンツやナビゲーションは十分に統一感があると感じた

このシステムは機能がよくまとまっていた

#6このシステムでは、一貫性のないところが多くあったと思った

このウェブサイトでは一貫性のないところが多々あったと感じた

このシステムは一貫性に欠けるところが多かった

#7たいていのユーザは、このシステムの使用方法について、とても素早く学べたろう

たいていの人は、このウェブサイトの利用方法をすぐに理解すると思う

たいていの人は、このシステムをすぐ使えるようになるだろう

#8このシステムはとても扱いにくいと思った

このウェブサイトはとても操作しづらいと感じた

このシステムはとても使いづらかった

#9このシステムを使うのに自信があると感じた

このウェブサイトを利用できる自信がある

このシステムを使っていて不安を感じることはなかった

#10このシステムを使い始める前に多くのことを学ぶ必要があった

このウェブサイトを利用し始める前に知っておくべきことが多くあると思う

このシステムを使い始める前に、多くのことを学ぶ必要があった

例1）山岡俊樹(著)「ヒューマンデザインテクノロジー入門」p85例2）Marketing Sphere:ウェブサイトユーザビリティ評価のためのSUS(System Usability Scale)http://marketing‐sphere.blogspot.jp/2014/05/sussystem‐usability‐scale.html例3）樽本徹也(著)「ユーザビリティエンジニアリング(第2版)」p167

SUSはオフコン端末全盛の時代に作られた

WUS: ウェブユーザビリティ評価スケール

• 2001年• 富士通＆イード• 21問/5段階尺度 7評価因子• 無料• 純国産

評価因子 質問文（▼は反問）操作のわかりやすさ このウェブサイトの操作手順はシンプルでわかりやすい。

このウェブサイトの使い方はすぐ理解できる。このウェブサイトでは、次に何をすればよいか迷わない。

構成のわかりやすさ このウェブサイトには統一感があると思う。このウェブサイトは、メニューの構成がわかりやすい。自分がこのウェブサイト内のどこにいるかわかりやすい。

見やすさ このウェブサイトの文章は読みやすい（行間、文章のレイアウトなど）。このウェブサイトの絵や図表は見にくい。（▼）このウェブサイトを利用していると、目が疲れる感じがする。（▼）

反応のよさ このウェブサイトでは、操作に対してすばやい反応が返ってくる。このウェブサイトを利用しているときに、画面が正しく表示されないことがある。（▼）このウェブサイトを利用しているときに、表示が遅くなったり、途中で止まってしまうことがある。（▼）

好感度 このウェブサイトのビジュアル表現は楽しい。このウェブサイトは印象に残る。このウェブサイトには親しみがわく。

役立ち感 このウェブサイトではすぐに私の欲しい情報が見つかる。このウェブサイトにはわからない言葉が出てくる。（▼）このウェブサイトを使用するのは時間の浪費である。（▼）

内容の信頼性 このウェブサイトに掲載されている内容は信用できる。このウェブサイトは信頼できる。このウェブサイトの文章表現は適切である。

• 5段階尺度（1:全くそう思わない～5：大変そう思う）

• 正問は素点をそのまま使用する。• 反問は6から素点を引いたものを使用

する。• 評価軸毎の得点は3項目の単純平均と

する。

0.0

1.0

2.0

3.0

4.0

5.0F1：操作

F2：構成

F3：見やすさ

F4：反応F5：好感度

F6：信頼

F7：役立ち感

リニューアル前 リニューアル後

+ 国産+ 簡便+ 明快+ 無料‐ 無名‐ Web1.0

■ 論文• SUS ‐ A quick and dirty usability scale

SUSのオリジナル論文• Journal of Usability Studies: "SUS: A Retrospective"

SUSの25周年を記念したジョン・ブルックによる回顧的寄稿• 「ウェブサイトユーザビリティアンケート評価手法の開発」

WUSのオリジナル論文

■ ウェブ記事• Measuring Usability With The System Usability Scale (SUS)

http://www.measuringusability.com/sus.php

■ 書籍• William Albert, Thomas Tullis "Measuring the User Experience, Second Edition"• Jeff Sauro, James R Lewis "Quantifying the User Experience"

Learn more…

第三部：ウォークスルービデオ

一般にテスト映像の上映会は不評

problem OK OKproblem problem

problem problem

problem problem problem

OK OK OK

OK OK

Scene 1 Scene 2 Scene 3 Scene 4 Scene 5

生のテスト映像は冗長で退屈

Scene 1

Scene 3

Scene 4

ハイライト・ビデオを作る

problem problem problem problemOK

Scene 1 Scene 2 Scene 3 Scene 4 Scene 5

ウォークスルービデオを作る

トレーニングコースご案内

• ⽇本では唯⼀“通年開催”しているユーザテストの専⾨トレーニングコースです。

• ユーザテストの第⼀⼈者が直接指導します。• 基礎講座に加えて、別途、実践ワークショップも開催しています。

http://growthhack.academy/

樽本徹也 ‐ 利用品質ラボ代表

• UXリサーチャ/ユーザビリティエンジニア• 認定人間中心設計専門家• 認定スクラムプロダクトオーナー（CSPO）• NPO  人間中心設計推進機構 評議員• アジャイルUCD研究会 共同代表

◎人机交互論 ‐ユーザビリティエンジニア的HCI論http://www.usablog.jp/◎アジャイルUCD研究会 ‐リーン/アジャイルUX最新Newshttp://groups.google.com/group/agileucdja?hl=ja◎Facebook ‐樽本徹也https://www.facebook.com/tetsuya.tarumoto

UX/UCDの講演・研修 UX/UCDの社内導入支援 UX/UCDによる製品開発支援

Keep in touch!

簡単・便利なコトづくり応援します。

UX/UCDの講演・研修UX/UCDの社内導入支援UX/UCDによる製品開発支援

東京都台東区下谷1‐11‐15ソレイユ入谷4F