KRZYSZTOF PIWOWAR · DESIGN MANAGER · @XYSIU (Nie)wiarygodne obserwacje praktyków UX czyli o gł upich błędach w interpretacji wyników
KRZYSZTOF PIWOWAR · DESIGN MANAGER · @XYSIU
(Nie)wiarygodne obserwacje praktyków UX
czyli o głupich błędach w interpretacji wyników
Ekspert
Rezultaty
Jednak czasem…
W czym problem?
Troszkę teorii… ale tylko odrobinę. Obiecuję!
Prawdopodobieństwo Szansa na wydarzenie się czegoś
w ustalonych warunkach (kontekście). Nie istnieje coś takiego jak 100% pewność. Statystyka zawsze porusza się w obszarze
zarządzania ryzykiem.
Made with by PGS Software ·
Dyskretne Skończone wartości, które da się policzyć
np. liczba jabłek.
Ciągłe Dane o nieskończonej
liczbie możliwych wartości np. czas.
Rodzaje danych
10
Made with by PGS Software · 11
Średnia (populacji) Wartość wyniku, jaką spodziewamy się uzyskać najczęściej.
Poziom istotności Najmniejsze p-stwo, że uzyskany
wynik jest dalej prawidłowy (będziemy brali go pod uwagę).
Przedział ufności Jak bardzo pewni jesteśmy, że dana wartość mieści się w przedziale, który ustaliliśmy.
0,0 (0%)
1,0 (100%)
PRAW
DO
POD
OBI
EŃST
WO
Rozkład Gaussa
Dane dyskretneoraz historia pewnego przypadku
w interpretacji wyników
Made with by PGS Software ·
Nazywasz się Krzysztof Kajak i pracujesz w firmie “Daleko od Brzegu”.
Chcesz kupić nowe wiosła. Podesłany przez znajomą link na Facebooku, kieruje cię na stronę wiosluj.pl.
Zamów zestaw drewnianych wioseł i poinformuj moderatora, gdy wykonasz zadanie.
HISTORIA PEWNEGO BADANIA 13
Made with by PGS Software ·
10 8 2
Wyniki badania
14
Uczestników Pojawili się na badaniu i przeszli przez cały scenariusz badawczy.
Sukces Zakończyły się zamówieniem wioseł. Oznaczamy jako “1”.
Porażka Zakończyły się brakiem zamówienia wioseł. Oznaczamy jako “0”.
Made with by PGS Software · 15
80%zrealizowało zadanie → Ile zrealizuje w przyszłości?
Made with by PGS Software · 16
80% zrealizowało zadanie → 80% zrealizuje w przyszłości
Co mówi matma?
Made with by PGS Software · 18
Krok 1 - średnia i jej normalizacja
0,0 (0%)
1,0 (100%)
PRAW
DO
POD
OBI
EŃST
WO
Made with by PGS Software ·
Krok 1 - średnia i jej normalizacja (metodą Walda)
19
SRno ≈ 0,72SRar = 0,80
Made with by PGS Software · 20
Krok 1 SRno ≈ 0,72
Krok 2 - błąd standardowy średniej
0,0 (0%)
1,0 (100%)
PRAW
DO
POD
OBI
EŃST
WO
Made with by PGS Software ·
Krok 2 - błąd standardowy (średniej)
21
SEM ≈ 0,12
Made with by PGS Software · 22
Krok 1 SRno ≈ 0,72
Krok 2 SEM ≈ 0,12
Krok 3 - margines błędu
0,0 (0%)
1,0 (100%)
PRAW
DO
POD
OBI
EŃST
WO
Made with by PGS Software ·
Krok 3 - margines błędu
23
Made with by PGS Software ·
51%wiarygodność kasynowa
24
Made with by PGS Software ·
80%wiarygodność badawcza
25
Made with by PGS Software ·
90%wiarygodność przemysłowa
26
Made with by PGS Software ·
95%wiarygodność publikacyjna
27
Made with by PGS Software ·
99%wiarygodność farmaceutyczna
28
Made with by PGS Software ·
Krok 3 - margines błędu
29
ME ≈ 0,24
Made with by PGS Software · 30
Krok 1 SRno ≈ 0,72
Krok 2 SEM ≈ 0,12
Krok 3 ME ≈ 0,24
95% przedział ufności / wiarygodność
0,0 (0%)
1,0 (100%)
PRAW
DO
POD
OBI
EŃST
WO
Made with by PGS Software ·
Krok 4 - przedział ufności
31
dLO ≈ 0,48 dUP ≈ 0,96
Made with by PGS Software · 32
0,0
0,5
1,0
ME ≈ 0,24
SRno ≈ 0,72
1
Made with by PGS Software · 33
80% zrealizowało zadanie → 80% zrealizuje w przyszłości
Made with by PGS Software · 34
80% zrealizowało zadanie → 48-96% zrealizuje w przyszłości
95%
measuringu.com/wald
Dane ciągłeoraz kolejna historia pewnego przypadku
w komunikacji wyników
Made with by PGS Software ·
Nazywasz się Anna Netflik i właśnie obejrzałaś nowy trailer serialu Stranger Things.
Na skali 1-10 oceń, jak bardzo ci się spodobał.
HISTORIA PEWNEGO BADANIA 37
1 10
Made with by PGS Software ·
10 2, 4, 3, 7, 8, 9, 6, 7, 8, 5
Wyniki badania
38
Uczestników Obejrzeli trailer i ocenili go za pomocą dołączonej skali.
Made with by PGS Software · 39
5,9ocena trailera teraz → Jaka ocena trailera w przyszłości?
Made with by PGS Software · 40
5,9 średnia ocen teraz → 5,9 średnia ocen w przyszłości
Co mówi matma?
Made with by PGS Software · 42
Krok 1 - obliczenie średniej
Krok 2 - a) odchylenie standardowe bonus
b) błąd standardowy
Krok 3 - margines błędu
95% przedział ufności / wiarygodność
0,0 (0%)
1,0 (100%)
PRAW
DO
POD
OBI
EŃST
WO
Made with by PGS Software ·
Krok 1 - obliczenie średniej
43
SR = 5,9
Made with by PGS Software ·
Krok 2 - obliczenie odchylenia standardowego
44
SD ≈ 2,33
bonus
Made with by PGS Software ·
Krok 2 - błąd standardowy
45
SE ≈ 0,74
Made with by PGS Software ·
Krok 3 - margines błędu
46
ME ≈ 1,44
Made with by PGS Software ·
Krok 4 - przedział ufności
47
dLO ≈ 4,46 dUP ≈ 7,35
Made with by PGS Software · 48
5,9 średnia ocen teraz → 5,9 średnia ocen w przyszłości
Made with by PGS Software · 49
5,9 śr. ocen teraz → 4,46 - 7,35 śr. ocen w przyszłości
95%
measuringu.com/ci-calc
Porównywanieróżnych typów wyników
Made with by PGS Software ·
Badasz pięć wersji tego samego narzędzia. Każda wersja testowana jest przez różną ilość różnych osób.
Na zakończenie badania prosisz każdą z osób, aby oceniła przydatność testowanej wersji.
Chcesz porównać wyniki i stwierdzić, które rozwiązania są dobre i podbiją świat.
HISTORIA PEWNEGO BADANIA 52
Made with by PGS Software ·
0
100
200
A B C D E
53
Wyniki badania
Co mówi matma?
Made with by PGS Software · 55
0
100
200
A B C D E
Wyniki badania
Made with by PGS Software · 56
0
100
200
A B C D E
Nie nachodzą na siebie - istnieje znacząca różnica
Wyniki badania
Made with by PGS Software · 57
0
100
200
A B C D E
Wyniki badaniaCzęściowo nachodzą na siebie - wykorzystaj test t Studenta
Made with by PGS Software · 58
0
100
200
A B C D E
Częściowo nachodzą na siebie - wykorzystaj test t Studenta
Wyniki badania
Made with by PGS Software · 59
0
100
200
A B C D E
Całkowicie nachodzą na siebie - brak znaczącej różnicy
Wyniki badania
Made with by PGS Software · 60
Wyniki badania
A, B, C, D, E
A, C, B, D, E
A, D, B, C, E
A, D, C, B, E
A, B, C, E, D
A, C, B, E, D
Made with by PGS Software ·
Na badanie zostało zrekrutowanych 30 osób. Grupa 15 osób wykonała zadania dla wersji A i wypełniła arkusz oceny. Następnie wykonała te same zadania dla wersji B i ponownie wypełniła arkusz oceny. Kolejne 15 osób wykonało zadania i wypełniło oceny najpierw dla B a potem dla A. Łącznie masz 30 ocen dla A i 30 ocen dla B.Która wersja jest lepsza?
HISTORIA PEWNEGO BADANIA 61
Made with by PGS Software ·
30
Wyniki badania
62
Uczestników Wykonali scenariusz zadań i wypełnili arkusz ocen.
…
Co mówi matma?
Made with by PGS Software ·
Dyskretne
Czy grupy są niezależne?
tak nie
• Chi-squre• Adj. Wald Diff.
in proportions
• N-1 Two Proportion Test
• Fisher Exact Test
tak nie
• Adj. Wald CI for Diff. in Matched Proportions
• McNemar Exact Test
tak nie
Trzy lub więcej grup?
Trzy lub więcej grup?
Ciągłe
tak nie
Czy grupy są niezależne?
tak nie
• ANOVA• Multiple Two-Sample t
• Two-Sample t
tak nie
• ANOVA• Multiple paiered t
• Paired t
Trzy lub więcej grup?
Trzy lub więcej grup?
64
Na podstawie Quantifying The User Experience, Jeff Sauro, James R. Lewis
Made with by PGS Software ·
Dyskretne
Czy grupy są niezależne?
tak nie
• Chi-squre• Adj. Wald Diff.
in proportions
• N-1 Two Proportion Test
• Fisher Exact Test
tak nie
• Adj. Wald CI for Diff. in Matched Proportions
• McNemar Exact Test
tak nie
Trzy lub więcej grup?
Trzy lub więcej grup?
tak
tak nie
• ANOVA• Multiple Two-Sample t
• Two-Sample t
tak nie
• ANOVA• Multiple paiered t
Trzy lub więcej grup?
• Paired t
Trzy lub więcej grup?
nie
Ciągłe
Czy grupy są niezależne?
65
Na podstawie Quantifying The User Experience, Jeff Sauro, James R. Lewis
Made with by PGS Software ·
Dyskretne
Czy grupy są niezależne?
tak nie
• Chi-squre• Adj. Wald Diff.
in proportions
• N-1 Two Proportion Test
• Fisher Exact Test
tak nie
• Adj. Wald CI for Diff. in Matched Proportions
• McNemar Exact Test
tak nie
Trzy lub więcej grup?
Trzy lub więcej grup?
tak
tak nie
• ANOVA• Multiple Two-Sample t
• Two-Sample t
tak nie
• ANOVA• Multiple paiered t
Trzy lub więcej grup?
• Paired t
Trzy lub więcej grup?
nie
Ciągłe
Czy grupy są niezależne?
66
Na podstawie Quantifying The User Experience, Jeff Sauro, James R. Lewis
Made with by PGS Software ·
Dyskretne
Czy grupy są niezależne?
tak nie
• Chi-squre• Adj. Wald Diff.
in proportions
• N-1 Two Proportion Test
• Fisher Exact Test
tak nie
• Adj. Wald CI for Diff. in Matched Proportions
• McNemar Exact Test
tak nie
Trzy lub więcej grup?
Trzy lub więcej grup?
tak
tak nie
• ANOVA• Multiple Two-Sample t
• Two-Sample t
tak nie
• ANOVA• Multiple paiered t
Trzy lub więcej grup?
• Paired t
Trzy lub więcej grup?
nie
Ciągłe
Czy grupy są niezależne?
67
Na podstawie Quantifying The User Experience, Jeff Sauro, James R. Lewis
Made with by PGS Software ·
Krok 1 - obliczenie średniej
68
SRRO ≈ -54,47
Made with by PGS Software ·
Krok 2 - obliczenie odchylenia standardowego
69
SD ≈ 14,33
Made with by PGS Software ·
Krok 3 - obliczanie t
70
t ≈ 20,817
Five trillion to one! Punter scoops second lottery win
with the same numbers
źródło artykułu
Made with by PGS Software · Definicja dla o(d)pornych
p - prawdopodobieństwo testowe ilustruje, jaka jest szansa, że zaobserwowana różnica jest dziełem przypadku (nie reguły).
72
Made with by PGS Software ·
Krok 4 - obliczanie p
73
p ≈ 0,000000001
usablestats.com/calcs/tdist
Made with by PGS Software · 74
Na 99.99% wersja B ma znacząco różne wyniki oceny od A. Dlatego wersja z wyższymi ocenami (B) jest lepsza.
99%
graphpad.com/quickcalcs
Zapamiętajwnioski dla zabieganych (lub zmęczonych)
Made with by PGS Software ·
Bądź jak Renata Renata włożyła wiele starań w opracowanie wiarygodnej interpretacji wyników swoich badań. Nie była leniem. Bądź jak ona.
77
Made with by PGS Software ·
Statystyka nie gryzie Statystyka i matematyka nie są straszne. Wystarczy zapamiętać kilka prostych zasad. Nie musisz znać wzorów na pamięć. Wykorzystaj…
78
Made with by PGS Software ·
Kalkulatory Mamy czasy, gdzie technologia pomaga ludziom. Czemu więc z niej nie skorzystać? Zapomnij o liczeniu na kartce czy w Excelu. Skorzystaj z algorytmu.
79
Made with by PGS Software ·
Hipotezy vs. fakty Już wiesz, że interpretacja ma kluczowe znaczenie dla dalszych decyzji. Oprzyj je o fakty. Nie koloruj rzeczywistości i nie idź na skróty.
80
Made with by PGS Software ·
Decyzje Samodzielnie podejmuj decyzje. Nawet, jeśli będziesz ignorować fakty, rób to świadomie i z pełną odpowiedzialnością.
81
Made with by PGS Software ·
Dokładność Jeśli uzyskana dokładność cię nie satysfakcjonuje, szukaj sposobów na zwiększenie liczby wyników, którymi dysponujesz. Teraz już wiesz, jak to działa.
82
Co mówi matma?
Made with by PGS Software · 84
Stosując się do tych zasad nie popełnicie głupich błędów w interpretacji wyników.
80%
Bądźmy w kontakcieKrzysztof Piwowar
@xysiu
1. How confident do you need to be in your research? (źródło). 2. Strong MeasuringU (źródło). 3. Z-score calculator (źródło). 4. Confidence interval calculator for a completion rate (źródło). 5. Confidence interval calculator (źródło). 6. Percentiles from the t-Distribution Calculator (źródło). 7. Kalkulatory - Quick calcs (źródło). 8. Kalkulatory - Usable Stats (źródło). 9. Jaki test statystyczny dobrać? (źródło). 10. Pojęcia stosowane w analizie statystycznej (źródło).
LINKI
11. Trochę linków o statystyce (źródło). 12. Garść informacji o istotności statystycznej/wiarygodności (źródło). 13. Stosowane przedziały wiarygodności (źródło). 14. Książka Quantifying the User Experience: Practical Statistics
for User Research, Jeff Sauro, James R. Lewis (źródło). 15. Unsplash - beautiful free photos (źródło).
LINKI
KRZYSZTOF PIWOWAR · @XYSIU
Dzięki za cierpliwość!Odwiedź pgs-soft.com