LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
1
Psychologische Forschungsmethodik III Allgemeine Psychologie
Abschlussreferat
Wie wirken sich die beiden Varianten „Scrollen“ vs. „Nicht Scrollen“ auf die Zufriedenheit und die Leistung der
BenutzerInnen des CbKST-Kurses aus
Höfler EvaLercher Eva
Weißenberger Verena
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
2
ÜBERBLICK Stand der Forschung
Allgemeines zum E-Learning Allgemeines zum Scrollen Allgemeines zur Motivation Untersuchung zum Scrollen
Fragestellungen Hypothesen Methode Datenauswertung Verständnisfragen Literatur
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
3
Allgemeines zum E-Learning Problem:
Tendenz, die Seite zu verlassen, wenn diese nicht benutzergerecht, sprich gebrauchstauglich (wie beispielsweise unübersichtlich) ist.
Definition Gebrauchstauglichkeit (Usability):The extend to which a product can be used by specific users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use. (Norm ISO 9241, Teil 11)
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
4
Allgemeines zum ScrollenDefinition „Scrollen“: Scrollen bezeichnet den Vorgang in der EDV, bei dem maneine umfangreiche Datei, die auf dem Bildschirm nicht imGanzen dargestellt werden kann, [durch vor allem vertikales Verschieben der Darstellung] in Ausschnittennach und nach auf dem Bildschirm erscheinen lässt. (Fremdwörterduden Band 5)
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
5
Allgemeines zur Motivation Das ARCS-Modell von Keller/Kopp 1987 wurde auf
Basis des bereits bestehenden motivationalen Designs von Keller (1983) erstellt, wobei das Akronym ARCS für die vier motivationalen Bedingungen steht (vgl. Keller/Kopp 1987; Niegemann 2001; Niegemann et al. 2004): Aufmerksamkeit (attention) Relevanz (relevance) Erfolgszuversicht (confidence) Zufriedenheit (satisfaction)
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
6
Allgemeines zur Motivation Definition zufrieden:
Innerlich ausgeglichen, sich mit denGegebenheiten in Einklang befindend undkeine Veränderung der Umstände wünschend ist ein zufriedener Mensch. (Duden, das Bedeutungswörterbuch)
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
7
Allgemeines zur Motivation Unsere Fragestellung: Wirkt sich die
Reduktion des Scrollens auf die Befindlichkeit bzw. Zufriedenheit der BenutzerInnen des CbKST-Kurses aus?
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
8
Untersuchung zum Scrollen
Paging vs. Scrolling: examining ways to present search results
Bernard, M., Baker, R., Chaparro, B.& Fernandez, M. (2002)
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
9
Untersuchung zum Scrollen Einleitung
Aus Vorgängerstudien :
widersprüchliche Ergebnisse hinsichtlich „Paging“ und „Scrollen“ in Bezug auf die Leistung („Paging“ führt zu besserer Leistung als „Scrollen“ bzw. es gibt keinen Unterschied zwischen „Paging“ und „Scrollen“ in Hinblick auf die Leistung)
Paging wird von nicht erfahrenen BenutzerInnen gegenüber Scrollen bevorzugt.
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
10
Untersuchung zum Scrollen Unsere Fragestellungen
Führt die Reduktion des Scrollens zu besserer Leistung im CbKST-Kurs?
Gibt es einen Unterschied in der Präferenz in den Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ zwischen erfahrenen und weniger erfahrenen BenutzerInnen?
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
11
Untersuchung zum Scrollen
Fragestellung in der Studie:Wie viel Information soll auf einer Seite (Suchergebnisse) präsentiert werden?
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
12
Untersuchung zum Scrollen Methode
UntersuchungsteilnehmerInnen: Durchschnittliche Internetbenutzung: 7 – 14 Std / Woche
UV I: 3 Layouts: 10 Links / Seite (10 Seiten) 50 Links / Seite (2 Seiten) 100 Links / Seite (1 Seite)
AV I: Leistung (Sucheffektivität) AVII: wahrgenommene Sucheffektivität
(Zufriedenheit) AVIII: Präferenz
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
13
Untersuchung zum Scrollen Conclusio:
50 Links / Seite ist die Schnellste (In Sekunden: M50=450; M100=550; M10=590) und am häufigsten bevorzugte Bedingung (Mittlere Präferenz: 50 Links:49%,100 Links:11%, 10 Links:40%) Geringe Anzahl an „Paging“ (nur 2 Seiten) und geringe Anzahl an
„Scrolling“ 100 Links / Seite ist die am wenigsten bevorzugte
Bedingung – ist auch die schwierigste Bedingung, um die korrekte Antwort zu finden Leicht Informationen zu finden (M100=3,50; M50=4,20; M10=4,30) Überhäufteste Bedingung (M100=5,00; M50=4,25; M10=3,70) Am unprofessionellsten wirkend (M100=3,50; M50=3,90; M10= 4,00)
Daraus folgt: beste Leistung bei reduziertem „Paging“ und reduziertem „Scrolling“
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
14
ÜBERBLICK Theoretischer Hintergrund Fragestellungen Hypothesen Versuchsaufbau Datenauswertung Verständnisfragen Literatur
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
15
Fragestellungen
Wirkt sich die Reduktion des „Scrollens“ auf die Befindlichkeit bzw. die Zufriedenheit der BenutzerInnen des CbKST-Kurses aus?
Führt die Reduktion des „Scrollens“ zu besserer Leistung im CbKST-Kurs?
Gibt es einen Unterschied in der Präferenz in den Bedingungen „Scrollen“ vs. „Nicht Scrollen“?
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
16
ÜBERBLICK Theoretischer Hintergrund Fragestellungen Hypothesen
Forschungshypothesen Statistische Hypothesen
Methode Datenauswertung Verständnisfragen Literatur
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
17
Forschungshypothesen1, 2, 3 & 4 Die Reduktion des „Scrollens“ wirkt sich auf die
Befindlichkeit bzw. die Zufriedenheit der BenutzerInnen aus
Die Reduktion des „Scrollens“ führt zu besserer Leistung im CbKST-Kurs
Es gibt einen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“
Es gibt einen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ zwischen erfahrenen und weniger erfahrenen BenutzerInnen
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
18
Statistische Hypothesen
H0-1: Es gibt keinen Unterschied zwischen „Scrollen“ und „Reduziertem Scrollen“ im Hinblick auf die Leistung
H1-1: Die Reduktion des „Scrollens“ führt zu besserer Leistung
H0-2: Es gibt keinen Einfluss der Reduktion des „Scrollens“ auf die
Befindlichkeit bzw. die Zufriedenheit der BenutzerInnen H1-2: Es gibt einen Einfluss der Reduktion des „Scrollens“ auf die
Befindlichkeit bzw. die Zufriedenheit der BenutzerInnen
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
19
Statistische Hypothesen
H0-3: Es gibt keinen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“
H1-3: Es gibt einen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“
H0-4: Es gibt keinen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ zwischen erfahrenen und weniger erfahrenen BenutzerInnen
H1-4: Es gibt einen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ zwischen erfahrenen und weniger erfahrenen BenutzerInnen
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
20
ÜBERBLICK Theoretischer Hintergrund Fragestellungen Hypothesen Methode
Versuchsplan Versuchsdesign Versuchspersonen Versuchsdurchführung Apparative Hilfsmittel Versuchsmaterial Ablauf der Testung
Datenauswertung Verständnisfragen Literatur
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
21
Variablen (UV, AV)
UV´s
Versuchsbedingung: „Scrollen“ vs. „reduziertes Scrollen“ Versuchsgruppen: erfahrene BenutzerInnen vs. weniger erfahrene BenutzerInnen (festgelegt durch Medianbildung)
AV´s
Leistung (metrisch) Befindlichkeit (metrisch) Präferenz (nominal)
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
22
Versuchsdesign Design: Multivariates 2 x 2 Design 1 Within-Subject –Faktor, 1 Between-Subject –
Faktor
Versuchsbedingung
Scrollen Reduziertes ScrollenVersuchsgruppe erfahren 15 15
weniger erfahren
15 15
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
23
Versuchsdesign Design: Multivariates 2 x 2 Design 1 Within-Subject –Faktor, 1 Between-Subject –
Faktor
Versuchsbedingung
Scrollen Reduziertes Scrollen
Versuchsgruppe erfahren 15 15
weniger erfahren
15 15
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
24
VersuchsdesignKontrolle von Störvariablen „Scrollen“ – „Reduziertes Scrollen“ vs.
„reduziertes Scrollen“ – „Scrollen“
t1 t2
15 15
15 15Scrollen
reduziertes Scrollen
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
25
Versuchspersonen 30 Personen 15 Frauen, 15 Männer Durchschnittsalter: M 25,33 SD 5,63
Range: min: 17, max: 46 Ausbildung:
Matura: 25 Uni/FH: 3 Pflichtschulabschluss: 1 Lehrabschluss: 1
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
26
Versuchspersonen Berufstätigkeit:
SchülerIn: 1 StudentIn: 16 Vollzeit beschäftigt: 6 Ausbildung & berufliche Tätigkeit: 7
Rekrutierung: aus dem Bekanntenkreis Versuchsscheine für StudentInnen im Ausmaß von
90 Minuten
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
27
Versuchsdurchführung Ort: PC Raum KG 0108 (Universitätsplatz 2,
im Kellergeschoß) Zeitraum 27.11.2007 – 30.11.2007 Uhrzeit: 09:00 – 21:00 nach Vereinbarung Paralleltestungen Instruktionen mündlich und auf Papier Testung am PC, Testung mittels Fragebögen
und strukturiertem Interview
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
28
Apparative Hilfsmittel
PC mit Microsoft Windows CbKST-Kurs (Albert et al) Umprogrammierter CbKST-Kurs (J. Florineth)
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
29
Versuchsmaterial Personendatenblatt
Vpn-Code Alter Geschlecht Erhebungsdatum Schulabschluss / Berufstätigkeit PC-Erfahrung („Wie viel Stunden/Woche arbeiten Sie durchschnittlich
am PC?“) Instruktionen STAXI (nur State-Skala): zur Messung der Befindlichkeit & 5-stufige
Ratingskala zur momentanen Befindlichkeit (Smily-Skala) Datenblatt zur Erhebung der bearbeiteten Items Strukturiertes Interview inklusive Präferenzfrage CbKST-Kurs (2 Versionen)
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
30
Versuchsmaterial (CbKST-Kurs)
Scrollen
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
31
Versuchsmaterial (CbKST-Kurs)
Nicht Scrollen
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
32
Versuchsablauf Begrüßung Instruktion in mündlicher und schriftlicher Form Ausfüllen des Personendatenblattes und Befindlichkeitserhebung
(Baseline) mittels STAXI & Smiley-Skala Vorgabe der Instruktion zum CbKST-Kurs, Vorgabe des 1.Datenblattes
zur Erhebung der bearbeiteten bzw. der gelösten Items & schriftliche englische Einführung zum CbKST-Kurs (20 min)
CbKST-Kurs (1) (15 min) Befindlichkeitserhebung (STAXI & Smiley-Skala) Vorgabe der Instruktion zum CbKST-Kurs & des 2. Datenblattes CbKST-Kurs (2) (15 min) Befindlichkeitserhebung (STAXI & Smiley-Skala) Strukturiertes Interview inklusive Präferenzfrage Verabschiedung
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
33
ÜBERBLICK Theoretischer Hintergrund Fragestellungen Hypothesen Versuchsaufbau Datenauswertung Verständnisfragen Literatur
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
34
Datenauswertung AV 1: Leistung
Anzahl der richtig gelösten Items
AV 2: Befindlichkeit Mittelwertsvergleiche
AV 3: Präferenz Angabe, ob Version „Scrollen“ oder Version
„reduziertes Scrollen“ bevorzugt wird Häufigkeiten
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
35
Datenauswertung T- Test:
Auswirkungen der UV „Scrollen“ vs. „ Reduziertes Scrollen“ auf die Leistung (aus dem Datenblatt)
Scrollen Nicht Scrollen
M (SD) M (SD)Leistung 2,20 (1,52) 3,63 (2,08)
Anmerkung: p<.05
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
36
Datenauswertung Ergebnisse zur Leistung
H0-1: Es gibt keinen Unterschied zwischen „Scrollen“ und „Reduziertem Scrollen“ im Hinblick auf die Leistung nicht bestätigt
H1-1: Die Reduktion des „Scrollens“ führt zu besserer Leistung bestätigt
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
37
Datenauswertung Einfaktorielle Varianzanalyse für abhängige
Messungen Wirkt sich die Reduktion des „Scrollens“ auf die Befindlichkeit
bzw. die Zufriedenheit der BenutzerInnen aus Voraussetzungen:
intervallskaliert (AVs und Kovariate) Sphärizität: Mauchley´s Test (ns) Normalverteilungsprüfung: Schiefe, Kurtosis &KS-Test
signifikant; zentrales Grenzwerttheorem: für praktische Zwecke gilt, dass die Mittelwerteverteilung auch für extrem von der Normalität abweichende Grundgesamtheiten hinreichend normal ist, wenn N
AVs und Kovariate korrelieren miteinander (selber Test)
Alle Voraussetzungen erfüllt
30
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
38
Datenauswertung Ergebnisse zur Befindlichkeit bzw.
Zufriedenheit:
Baseline Nicht Scrollen Scrollen
M (SD) M (SD) M (SD)
12,13 (3,62) 14,70 (5,98) 15,00 (6,01)
Anmerkung: alle Ergebnisse ns.
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
39
Datenauswertung
Ergebnisse zur Befindlichkeit bzw. Zufriedenheit
H0-2: Es gibt keinen Einfluss der Reduktion des „Scrollens“ auf die Befindlichkeit bzw. die Zufriedenheit der BenutzerInnen bestätigt
H1-2: Es gibt einen Einfluss der Reduktion des „Scrollens“ auf die Befindlichkeit bzw. die Zufriedenheit der BenutzerInnen nicht bestätigt
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
40
Datenauswertung Chi²:
Gibt es einen Unterschied in der Präferenz in den Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“?
Präferenzbeobachtet erwartet
Nicht Scrollen 26 15Scrollen 4 15
Anmerkung: p<.05
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
41
Datenauswertung Ergebnisse zur Präferenz:
H0-3: Es gibt keinen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ nicht bestätigt
H1-3: Es gibt einen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ bestätigt
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
42
Datenauswertung Chi²:
Es gibt einen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ zwischen erfahrenen und weniger erfahrenen BenutzerInnen
Weniger Erfahrung( <15h / Woche)
Mehr Erfahrung ( >15h / Woche)
Scrollen 3 1
Nicht Scrollen 12 14
15 15
Anmerkung: Präferenz * Erfahrung: ns.
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
43
Datenauswertung Ergebnisse zur Präferenz * Erfahrung:
H0-4: Es gibt keinen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ zwischen erfahrenen und weniger erfahrenen BenutzerInnen bestätigt
H1-4: Es gibt einen Unterschied in der Präferenz der Bedingungen „Scrollen“ vs. „Reduziertes Scrollen“ zwischen erfahrenen und weniger erfahrenen BenutzerInnen nicht bestätigt
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
44
Interpretation der Ergebnisse Unter der Bedingung „Nicht Scrollen“ erzielen die
TeilnehmerInnen deutlich bessere Leistungen als unter der Bedingung „Scrollen“
Es besteht kein Unterschied in der Befindlichkeit unter den Bedingungen „Scrollen“ vs. „Nicht Scrollen“
Das Layout „Nicht Scrollen“ wird generell deutlich gegenüber dem Layout „Scrollen“ präferiert
Hinsichtlich der Präferenz gibt es zwischen erfahrenen und weniger erfahrenen BenutzerInnen keinen Unterschied
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
45
Diskussion Homogene Stichprobe:
Personen mit eher höherem Bildungsniveau (25 von 30 TeilnehmerInnen haben bereits Matura) und recht viel PC-Erfahrung (Median liegt bei 15 Stunden pro Woche)
Englische Einführung zum CbKST-Kurs wird von fast allen TeilnehmerInnen als zu schwierig bzw. unverständlich wahrgenommen
Vorkenntnisse im Bereich Wissensraumtheorie ist vermutlich ein großer Vorteil
Die TeilnehmerInnen geben an, ein besseres Feedback sei wünschenswert
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
46
ÜBERBLICK Theoretischer Hintergrund Fragestellungen Hypothesen Versuchsaufbau Datenauswertung Verständnisfragen Literatur
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
47
Verständnisfragen Wie erkennt man bzw. welche Werte sind
nötig, um bei einem signifikanten T-Test festzustellen zu können, in welche Richtung der Test signifikant ist?
Gab es unter einer der beiden Bedingungen „Scrollen“ bzw. „Nicht Scrollen“ bessere Leistungen im CbKST-Kurs? Wenn ja, unter welcher?
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
48
Literatur Bernard, M. et.al.(2001). Paging vs. scrolling: examining ways to present search
results. Software usability research laboratory. Department of psychology whichita, kansas
Bortz, J. & Döring, N. (2003). Forschungsmethoden und Evaluation (3. Auflage).Berlin:Springer-Verlag
Bortz, J. (1999). Statistik für Sozialwissenschaftler (5.Auflage).Berlin:Springer-Verlag Kruse, K. The Magic of Learner Motivation: The ARCS Model.
http://www.e-learningguru.com/articles/art3_5.htm Niegemann, H. M. (2004). Modelle des Instruktionsdesigns. Zu Möglichkeiten und
Grenzen didakti-scher Hilfestellungen. In Rinn, U./Meister, D. M. (Hg). Didaktik und Neue Medien. Konzepte und Anwendungen in der Hochschule. Münster: Waxmann, 102-122.
Niegemann, H. M./Hessel, S./Deimann, M./Hochscheid-Mauel, D./Asanski, K./ Kreuzberger, G. (2004). Kompendium E-Learning. Berlin: Springer.
Nielsen, J. Designing Web Usability. Doppelband / J. Nielsen ; 100-123 „Scrollen“ (2001). In das Fremdwörterbuch (Band 5, S.898 Band). Mannheim:
Dudenverlag Zufriedenheit (2002). In das Bedeutungswörterbuch (Band 10, S. 1081). Mannheim:
Dudenverlag.
LV-Leiter Prof. Albert Forschungsmethodik III WS 07/08 08.01.2008
49
Danke für Eure Aufmerksamkeit!