Webináře 2014: Martin Hlosta, Zdeněk Zdráhal "OUAnalyse: Odhalování rizikových studentů v distančních kurzech na Open University"

Odhalování rizikových studentů v distančních kurzech na Open University

Datum: 01.12.2014

Autor: Martin Hlosta,

[email protected]

mailto:[email protected]


KMi – The Open University

• Knowledge Media institute

• The Open University

• Milton Keynes

Bletchley Park

(code breakers,

A.Turing)

VŠ v ČR vs. MOOC vs.

The Open University

Prezenční ČR ( = FIT VUT ) MOOC (Coursera) The Open University

Prezenční Distanční – Online Distanční (Online + ostatní zdroje)

>20 000 studentů na VUT (2010)

>10mil. uživatelů (10/2014) > 200 000 studentů (2013)

1 Kurz = 1 semestr cca 13týdnů obvykle do 10 kreditů

1 kurz = 4 - 8 týdnů 1kurz = Typicky >30 týdnů (60 kreditů)

Stovky Tisíce až stotisíce Stovky až tisíce

Úspěšnost předmětů: většinou > 70 % (2005 - 2010)

Většina < 13% Proměnlivá – ze začátku studia některé < 50%

Zdarma Zdarma (většinou) / signature track (30GBP = cca 1000 Kč)

Placené (2 632 GBP = cca 90 000 Kč)

Průběh kurzu

Exam/Project TMA n TMA2

FAIL

Start TMA1

Pass/Distinction

20

21

20

20

20 students / tutor

Student Support Team (SST)

Payment Payment

…

Tutor Marked Assignment (TMA)

VLE VLE VLE

VLE = Virtual Learning Environment

OU Analyse

• Data Prediktivní Aplikace

modelování a nasazení

Z jakých dat ?

• Statická –

Demografická

• Dynamická

– VLE

– Výsledky z

průběžných zkoušek

(TMA)

Data z VLE

• Interakce studentů ve výukovém prostředí

– Moodle

• Cca 30 různých „Activity types“

– Forum activity (F – forumng)

– Resource activity (R – resource)

– View of test assignment (OU – Oucontent)

– Online learning materials activity (U – url)

– …

Co predikovat?

We are here

History we know Future we can estimate

– Významnost zkoušek - v pozdějších fázích

výsledky předchozích TMA nejvýznamnější

ukazatele úspěchu v kurzu

– Predikce úspěchu v nejbližší TMA

Proč už 1. TMA ?

• Studenti, kteří selžou při 1. TMA mají

vysokou pravděpodobnost selhání celého

kurzu (>95%)

We need to start predicting before 1. TMA

Prediktivní modelování

• Z jakých dat trénovat modely ?

– Předchozí běh kurzu

– B (jaro) vs. J (podzim) běh

• Čištění dat, integrace – >80% času

• Výběr příznaků – pro každý týden

– mRMR: minimum-redundancy maximum-

relevance algoritmus

Prediktivní modely

VOTING

> 2 votes

≤ 2 votes

CART (Classification and Regression Tree)

kNN - Demographic - VLE

Bayes

Co dál s predikcemi?

TUTOR

Nasazení

• 2 pilotní kurzy (1 500, 3 000 studentů), různé obory, vysoký počet neúspěšných studentů

• evaluace pomocí klasifikačních metrik

• průzkum u tutorů, manuální vyhodnocení

• Další krok: Predikce a evaluace vzhledem k intervencím

Useful? Number Percentage Perc. of yes+no

yes 12 46.15% 70.59%

no 5 19.23% 35.71%

Don’t know 9 34.62% -

Total 26 26 (100%) 17 (100%)

Aplikace – dashboard

Module (celý kurz)

Aplikace – dashboard: Student

Analýza chování studentů

• Markovský řetězec – bez paměti

• Chování před 1. TMA

• Důležité aktivity ve VLE

– Př: Homepage (H), URL (U), Subpage (S),

OU_content (O)

HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US

Start

Pass Fail No submit TMA-1 time

VLE opens

Start

Activity space







Start


VLE opens

Start







VLE trail: successful student

Start


VLE opens

Start







VLE trail: student who did not submit

PP. model: Markovský řetězec

time

TMA1

VLE

start

Lessons learned

– Odhalit rizikové studenty co nejdříve

– Neustále feedback od cílových uživatelů

– Rychle vyvinout prototyp aplikace, proof of concept, pro demonstraci

– Prezentace/výstavy zdánlivě berou čas, ale jsou výborné jako deadlines (ospravedlnění půlnočních prací)

– Začátek jde rychle, ale v málo lidech s rostoucím rozsahem projektu roztříštěnost lidí a přestává být čas na vývoj rozšíření týmu

Co děláme a co budeme dělat

• Škálování nasazení na více kurzů

• Zvýšení automatizace celého procesu

• Predikce

– Informace o intervencích

– Tuning modelů + nové modely

• Student Activity Recommender

• Frontend redesign

Děkuji za pozornost

analyse.kmi.open.ac.uk [email protected] [email protected]

http://analyse.kmi.open.ac.uk/

http://analyse.kmi.open.ac.uk/




Webináře 2014: Martin Hlosta, Zdeněk Zdráhal "OUAnalyse: Odhalování rizikových studentů v distančních kurzech na Open University"

Education

ouh n o s u

content o hs h uhs

assignment tma vle vle

activity space hs h

subpage s

s predikcemi

homepage h

time vle