Napredno korištenje testova Ivana Bosnić Fakultet elektrotehnike i računarstva & HrOpen, Zagreb
Karakteristike pitanja
• Adaptive mode
• Deffered feedback• Immediate feedback
• Interactive mode with multiple tries
• Manual grading
– S kaznenim bodovima– Bez kaznenih bodova
Certainty-based marking– S CBM– Bez CBM
– Hints!
Karakteristike pitanja
• Adaptive mode
• Deffered feedback• Immediate feedback
• Interactive mode with multiple tries
• Manual grading
– S kaznenim bodovima– Bez kaznenih bodova
Certainty-based marking– S CBM– Bez CBM
– Hints!
Prijevod?
Certainty-based marking (CBM)
Koliko ste sigurni? Točno Netočno
Ne previše, <67% 0,33 0
Prilično, 67 – 80% 0,67 -0,67
Jako, >80% 1 -2
Redom...
• OU multiple choice1. Select missing words2. Drag and drop into text3. Pattern match4. Drag and drop onto image5. Drag and drop markers• Numeričke vrste pitanja
OU Multiple response
• Drugačije ocjenjivanje• Svaki točan odgovor: ocjena / N• Više od N odabranih -> najgorih N odabranih• Broj netočnih odgovora >= broj točnih
odgovora!
Select missing words
• “popunjavanje rupa” u tekstu • Grupirani izrazi• Bolje od drag&drop za dulje tekstove
Drag and drop into text
• Odvlačenje pojmova• Grupirani izrazi• Infinite – više istih odgovora• Ne za duge rečenice• Nema negativnih bodova
Pattern match
• Napredna verzija Short answer pitanja• Pogreške u pisanju, izostavljene/dodane riječi,
poredak, sinonimi, blizina riječi• Moćno, potrebno je vrijeme za smišljanje
odgovora
Pattern match
• Kako se zovu tri nećaka Paje Patka?• Točan odgovor: Gaja, Raja i Vlaja
• match_mow(gaja|hinko raja|dinko vlaja|vinko)
Trikovi
• Pazite na zagrade, tj. da ih nema • Studenti ne koriste negacije• Sakupite prijašnje odgovore
Pattern match
Pattern match - upute
Drag and drop onto image
• Slika max 600 x 400• <b>, <i>, <em>, <strong>, <br/>
• Prvo definirati Draggable items• Nakon toga Drop zones• Mogu se odvlačiti i slike• Nije potrebno ručno upisivati koordinate
Drag and drop markers
• max 600 x 400• krug, pravokutnik, poligon• <b>, <i>, <em>, <strong>, <br/>• infinite• Centar markera je centar malog kruga gore
lijevo• više markera nego je potrebno ;)• pazi na dimenzije x,y;DULJINA,ŠIRINA
Numeričke vrste pitanja
• Numeričko - Numerical• Jednostavno računsko – Calculated Simple• Računsko - Calculated• Računsko s višestrukim odgovorima –
Calculated multi-choice• Variable numeric
• Variable numeric set• Variable numeric set with units
Mali hintovi za numerička pitanja
• Numerical – postavljanje odgovora u tekst>=5 podcrta _______– Radi i još ponegdje
• OU pitanja– pod answer se ne piše [[ ]]– a=rand_int(1,10)
Export/import
• Moodle2Word– www.moodle2word.net – besplatno: konverzija na njihovom serveru– 200 €: podrška za import na vlastitom serveru
• Moodle XML Converter– VLEtools.com – 15 € ili besplatno s Facebook loginom
• MoodleXMLBuilder– iz ExamView, TestGen, EasyTest
GIFT
• Online konverter– http://a4esl.org/c/qw.html
• GIFT specifikacija– http://buypct.com/gift_reference.pdf
Statistike testa
• Cijela mala znanost! • The Open University kaže:
– Prosječna ocjena: 50 – 70% – Standardna devijacija: 12 – 18%– Koeficijent asimetrije (skewness): prema -1.0– Koeficijent spljoštenosti: 0 – 1– Koeficijent interne konzistencije (CIC)– Omjer pogreške
Statistike pitanja
• The Open University kaže i ovo:– Facility index – Standardna devijacija – Random guess score - <40 %– Discrimination index: 30 – 50 i više– Discrimination efficiency: 50 – 70 %
A brief guide to the iCMA statistics
Zadaća....
• ivana bosnic fer hr• www.slideshare.net/ibosnic• www.twitter.com/ivki