WeB MoodleMoot 2013: Napredno korištenje testova

Napredno korištenje testova

Ivana BosnićFakultet elektrotehnike i računarstva & HrOpen, Zagreb

Oblici ponašanja pitanja / izvođenja testa

Karakteristike pitanja

• Adaptive mode

• Deffered feedback• Immediate feedback

• Interactive mode with multiple tries

• Manual grading

– S kaznenim bodovima– Bez kaznenih bodova

Certainty-based marking– S CBM– Bez CBM

– Hints!

Karakteristike pitanja

• Adaptive mode

• Deffered feedback• Immediate feedback

• Interactive mode with multiple tries

• Manual grading

– S kaznenim bodovima– Bez kaznenih bodova

Certainty-based marking– S CBM– Bez CBM

– Hints!

Prijevod?

Savjeti (hints)

Savjeti (hints)

Certainty-based marking (CBM)

Koliko ste sigurni? Točno Netočno

Ne previše, <67% 0,33 0

Prilično, 67 – 80% 0,67 -0,67

Jako, >80% 1 -2

Certainty-based marking (CBM)

Dodatne vrste pitanja

• Firefox ili Internet Explorer 8/9

Kako instalirati plugin?

Kako instalirati plugin?

Redom...

• OU multiple choice1. Select missing words2. Drag and drop into text3. Pattern match4. Drag and drop onto image5. Drag and drop markers• Numeričke vrste pitanja

OU Multiple response

• Drugačije ocjenjivanje• Svaki točan odgovor: ocjena / N• Više od N odabranih -> najgorih N odabranih• Broj netočnih odgovora >= broj točnih

odgovora!

Select missing words

• “popunjavanje rupa” u tekstu • Grupirani izrazi• Bolje od drag&drop za dulje tekstove

Select missing words

Select missing words

Select missing words

Drag and drop into text

• Odvlačenje pojmova• Grupirani izrazi• Infinite – više istih odgovora• Ne za duge rečenice• Nema negativnih bodova

Drag and drop into text

Drag and drop into text

Drag and drop into text

Pattern match

• Napredna verzija Short answer pitanja• Pogreške u pisanju, izostavljene/dodane riječi,

poredak, sinonimi, blizina riječi• Moćno, potrebno je vrijeme za smišljanje

odgovora

Pattern match

• Kako se zovu tri nećaka Paje Patka?• Točan odgovor: Gaja, Raja i Vlaja

Pattern match

• Kako se zovu tri nećaka Paje Patka?• Točan odgovor: Gaja, Raja i Vlaja

• match_mow(gaja|hinko raja|dinko vlaja|vinko)

Trikovi

• Pazite na zagrade, tj. da ih nema • Studenti ne koriste negacije• Sakupite prijašnje odgovore

Pattern match

Pattern match

Pattern match

Pattern match

Pattern match

Pattern match - upute

Drag and drop onto image

Drag and drop onto image

Drag and drop onto image

Drag and drop onto image

• Slika max 600 x 400• <b>, <i>, <em>, <strong>, <br/>

• Prvo definirati Draggable items• Nakon toga Drop zones• Mogu se odvlačiti i slike• Nije potrebno ručno upisivati koordinate

Drag and drop markers

Drag and drop markers

Drag and drop markers

Drag and drop markers

• max 600 x 400• krug, pravokutnik, poligon• <b>, <i>, <em>, <strong>, <br/>• infinite• Centar markera je centar malog kruga gore

lijevo• više markera nego je potrebno ;)• pazi na dimenzije x,y;DULJINA,ŠIRINA

Numeričke vrste pitanja

• Numeričko - Numerical• Jednostavno računsko – Calculated Simple• Računsko - Calculated• Računsko s višestrukim odgovorima –

Calculated multi-choice• Variable numeric

• Variable numeric set• Variable numeric set with units

Mali hintovi za numerička pitanja

• Numerical – postavljanje odgovora u tekst>=5 podcrta _______– Radi i još ponegdje

• OU pitanja– pod answer se ne piše [[ ]]– a=rand_int(1,10)

Usporedba numeričkih pitanja

Uvoz/izvoz pitanja

Moodle XML oblik

Export/import

• Moodle2Word– www.moodle2word.net – besplatno: konverzija na njihovom serveru– 200 €: podrška za import na vlastitom serveru

• Moodle XML Converter– VLEtools.com – 15 € ili besplatno s Facebook loginom

• MoodleXMLBuilder– iz ExamView, TestGen, EasyTest

GIFT

• Online konverter– http://a4esl.org/c/qw.html

• GIFT specifikacija– http://buypct.com/gift_reference.pdf

Statistike testa

Statistike testa

• Cijela mala znanost! • The Open University kaže:

– Prosječna ocjena: 50 – 70% – Standardna devijacija: 12 – 18%– Koeficijent asimetrije (skewness): prema -1.0– Koeficijent spljoštenosti: 0 – 1– Koeficijent interne konzistencije (CIC)– Omjer pogreške

Statistike pitanja

• The Open University kaže i ovo:– Facility index – Standardna devijacija – Random guess score - <40 %– Discrimination index: 30 – 50 i više– Discrimination efficiency: 50 – 70 %

A brief guide to the iCMA statistics

Zadaća....

• ivana bosnic fer hr• www.slideshare.net/ibosnic• www.twitter.com/ivki