MCQ KKU staff 2017Handout

1

Knowing what students know

Judging the worth of

what students knows

2

Test : เครื่องมือวัดการเรียนรูของผูเรียนAssessment : กระบวนการหาขอมูลจากหลากหลายวิธี/แหลง มักเปนตัวเลข เพื่อสะทอนการเรียนรูของผูเรียน มาก-นอย “การวัดผล”Evaluation : กระบวนการวิเคราะห แปลผล ตัดสิน ขอมูลจากการวัดผล ผาน-ตก “การประเมินผล”

3

NominalOrdinalIntervalRatio

Attributes are only named

Attributes can be ordered

Distance is meaningful

Absolute zero

4

What is your gender ? 1 - Female 2 - Male

How do you feel today ? 1 - Very unhappy2 – Unhappy3 – OK4 – Happy5 – Very happy

5

What is the temperature difference between these 2 glasses of water ?

30oC 40oC

0oC still have temperature 6

What is the difference in height between A and B ?

A = 6 feet tall B = 6 feet tall

The difference is zero (Absolute zero)

7

Ratio scaleInterval scaleOrdinal scaleNominal scale

8

Indirect measurementIncomplete : cannot measure every objectives The test scores : interval scale (no absolute zero) Relative measurement: 70 marks mean nothing, only….The test(tool) always has error

9 10

11

Why should students be assessed ?Safeguarding the public / Certification

Monitoring the programmeFeedback to students

12

� Final grade of record

� Feedback to improve

13

Formative evaluation is typically conducted during the development or improvement of a program or product (or person, and so on) and it is conducted, often more than once

The purpose of formative evaluation is to validate or ensure that the goals of the instruction are being achieved and to improve the instruction

14

"When the cook tastes the soup, that’s formative; when the guests taste the soup, that’s summative."

Formative evaluation is conducted to provide program staff evaluative information useful in improving the program.

15

Brown Frederick (1976)Formative evaluation : Test, report, observation, asking-answering questions during classroom teaching

16

Cognitive / Knowledge DomainPsychomotor / Manual Skills DomainAffective / Attitude Domain

17

Exam content should match course objectives.Important topics should be weighted more heavily than less important topics.The testing time devoted to each topic should reflect the relative importance of the topic.The sample of items should be representative of the instructional goal.

18

Under-/ Post-graduate studentsWhich year ?

Who teachesWho does not teach (colleague)Certification body

19

Beginning in endCourse

20

Evaluation tools / Test format should be

Students have to something to reflect their learningwriting (TEST / paper-pencil exam)acting, doing, speaking (NON-TEST)

21

Students are asked to choose the correct response to the question as constructed/provided by the teachers

Selected response question(item) SRQ

Constructed response question(item) CRQStudents construct their own answer to the question

22

Multiple choice questionTrue-False questionMatching question

Sentence completionShort answer question (SAQ)Modified essay question (MEQ)Essay question

23

Multiple Responses Question: MRQ

24

A. ………………………

B. …………………… C. ………………………

D. A และ B ถูกE. A, B และ C ถูก

25

A = 1, 2, 3 are correct B = 1, 3 are correctC = 2, 4 are correctD = 4 is correctE = 1, 2, 3, 4 are correct

jlksoemspijolsaopaoaffjofifksfpsoi0te0rvkdpekkk1. Okuhfld;jdgihhksxk oikdpsljod[sids[f2. ispakfjnkzjvpsgjpsdufeojgodpasjgfsdf3. Ifpskflejtpejgknsodufsp[jgkdegrgr4. Ifspdir0e8ehwlhfoasg[aigw-uetjeoijgowpug

26

� higher level� recall…comprehension� content coverage is high � low� no practice in writing skill � improve writing skill� easy to score � hard to score &

time consuming� vague feedback � clear feedback� easier condition for cheating � preventing cheating

27

Content validity = adequate sampling of contentCriterion-related validity

Predictive validity ความแมนตรงที่ทํานายไดConcurrent validity แมนตรงตามสภาพความเปนจริง

Construct validity แมนตรงตามทฤษฎีวัดพฤติกรรมเรียนรูได

28

MCQ MEQ OSCE Direct Observation

Knowledge +++ +++ +Problem solving + +++ +

Interpersonal skills + +++

Technical skills +++ ++Attitude + / -

29

Does

Shows

Knows How

Knows MCQ, MEQ, Essay, Oral

MCQ, Oral

OSCE

Direct Observation

Practical Guide to Medical Student Assessment :Amin Z. et al 2006

Learning Outcome Assessment30

ชัดเจนในการใหคะแนนชัดเจนในการถาม ถามแลวทุกคนเขาใจ ตรงกัน

ตรวจใหคะแนน ตรงกันตรงขามกับ

เปนคุณสมบัติ ไมใช รูปแบบ31

เชื้อโรคที่ระบาดในไก ในหลายปที่ผานมา เกิดในประเทศใดA. จีนB. ฮองกงC. ไตหวันD. เวียดนามE. มาเลเซีย

32

“Show how it is possible to determine the height of a tall buildingwith the aid of a barometer”

"The Barometer Story" by Professor Alexander Calandra(1911–2006)

33

Explain how to determine the height of the tall building by using barometer in terms of

“ How does the barometer work? ”

34

rtt > 0.7

-1……………0……………+1

35

Difficulty index (p) = 0.2-0.8 / 0.5-0.6

36

Discrimination power ( r ) > 0.2 / > 0.35

Knowledge, Skills, attitudeRecall, Data interpretation skill, Problem solving skill

37

Best practice guideline in evaluation :Stage 1 : Clarify purpose of the assessmentStage 2 : Define what is to be testedStage 3 : Select appropriate test methodsStage 4 : Address practical& technical issues of

administration and scoringStage 5 : Set standard for performance

Cambridge Conference on Medical Education 199138

39 40

Multiple choice questions were introduced into medical examinations in the 1950s and have been shown to be more

reliable in testing knowledge than the traditional essay questions.

http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3410060/

It is generally, agreed that MCQs should not be used as a sole assessment method in summative examinations,

but alongside other test forms.

41

Multiple Choice QuestionsPros Cons

� reliable test scores� high content coverage� reduced guessing, compared to T/F question� testing various cognitive ability levels

� take time & effort to write well

� favor the simple recall of facts� are highly dependent on students’ reading and instructors’ writing skills� offer cues so that correct response may be guessed through elimination

42

Schuwirth et al, found that context-rich questions lead to thinking processes which represent problem solving ability better than those elicited by context-free questions.

Higher Order Thinking Skill

43

1 = Correct answer(Key)4 = Distractors

A………………………B…………………… C………………………D……………………E……………………

A………………………B…………………… C………………………D……………………E……………………

44

Lead-in statementLead-in statement

1 = Correct answer(Key)4 = Distractors

A………………………B…………………… C………………………D……………………E……………………

A………………………B…………………… C………………………D……………………E……………………

45 46

MCQ เดาไดเสมอ

สรางไมดี ยิ่งเดาไดงาย

47 48

Mitochondria evolved from free-living bacteria that could carry our oxidative phosphorylation. For this reason, they have circular genomes that reproduce independently of the nuclear genome.

A. ContentB. OrganizationC. Size

What characteristic is relatively constant in mitochondrial genomes across species?

49

GnRH agonists have been developed that increases binding affinity to GnRH receptors and resist enzymatic degradation within the hypothalamus and pituitary gland. They have been used for the following clinical conditions. Except

A. endometriosisB. precocious pubertyC. assisted reproductive technologies, such as IVFD. menopauseE. treatment of fibroids

50

Which of the following conditions manifests as chronic airspacedisease on this chest radiograph?

A. Adult respiratory distress syndromeB. Pulmonary edemaC. Pulmonary alveolar proteinosisD. Streptococcal pneumonia

A 30-year-old man presented with a 4-month history of dyspnea, low grade fever, cough, and fatigue.Given the following chest radiograph, what is the most likely diagnosis?

51

What is the hematopoietic substance synthesized by kidney?

A. RenninB. AngiotensinC. ErythropoietinD. AldosteroneE. Cortisol

52

A 55-year-old man with a history of chronic kidney diseasefor 5 years, visits the hospital because of fatigue. Physical examination : Pale conjunctivae, no jaundice, others within normal limit. Complete blood count (CBC) examination : hemoglobin: 8.7 gm/dL, hematocrit: 26%, MCV: 92 fL (80-100), MCH: 33 pg (27-31), MCHC: 33 gm/dL.

The deficit of which of the following substances is the cause of the abnormal findings from CBC examination in this patient?

The deficit of which of the following substances is the cause of anemia in this patient?

Of which of the following substances is abnormally synthesizedaccording to this CBC finding?

53

Stem should be in simple, understood languageDon’t overlap response alternativesMake all distractors plausible/homogeneousPresent alternatives in logical / numerical orderMake each item independent of others on testAvoid “all of the above” ; “none of the above”Avoid negative itemMore items increase reliability, to a point.

54

Five distracters MCQ are more reliable but harder to write.Don’t repeat wording from the stem in the correct option.Trick questions have no place in education.Place correct answer at randomWay to judge a good stemStudent who know the content should be able to answer

before reading the alternatives.55 56

57

Item analysis is a process of examining class-wide performance

on individual test items.

58

• Qualitative analysis

• Quantitative analysis

Consider whether the items are content related and well written

Look at statistical properties

Aim = to increase the validity and reliability59

This task should be done by the teachers to evaluate the test to be used in term of :

ValidityDifficulty factor / Acceptability IndexMinimum passing level :

60

กําหนดคาความยากของขอสอบ MCQ กอนนําไปใชสอบ ใชประสบการณ และ ความรูสึกของครู ในการ

กําหนดน้ําหนักของแตละตัวเลือกตัวเลือกที่เปนคําตอบ = 2ถูกบาง - ผิดบาง = 1.75, 1.50, 1.25, 1.0, 0.75, 0.50, 0.25ตัวเลือกที่ไมถูก = 0

D.F. = 2 (คาคงที่)น.น.ตัวเลือกที่ 1 + น.น. ตัวเลือกที่ 2…+ น.น. ตัวเลือกที่ 5

61

การรับประทาน High fiber diet ตอเนื่องเปนเวลานาน สามารถลดระดับ cholesterol ในเลือด โดยกลไกใดตอไปนี้

A. ยับยั้งการดูดซึม Dietary cholesterolB. ลดการดูดกลับของน้ําดีทาง Enterohepatic circulationC. เพิ่ม Chylomicron receptor ที่เซลลตับD. กดการ Transcription ของ HMG-CoA reductase gene

ในเซลลตับE. ยับยั้งการทํางานของเอนไซม Cholesterylesterase ใน

Intestinal lumen

62

� ถาตัวเลือกทั้งหมดตัดออกไมไดเลย : AI = 0.2� ถาตัดตัวเลือกได 1 ตัว : AI = 0.25� ถาตัดตัวเลือกได 2 ตัว : AI = 0.33� ถาตัดตัวเลือกได 3 ตัว : AI = 0.5� ถาตัดตัวเลือกได 4 ตัว : AI = 1.0

Marginal test takers will eliminate as many incorrect choices from an item and then guess from the remaining alternatives.

Nedelsky Method63

การรับประทาน High fiber diet ตอเนื่องเปนเวลานาน สามารถลดระดับ cholesterol ในเลือด โดยกลไกใดตอไปนี้

A. ยับยั้งการดูดซึม Dietary cholesterolB. ลดการดูดกลับของน้ําดีทาง Enterohepatic circulationC. เพิ่ม Chylomicron receptor ที่เซลลตับD. กดการ Transcription ของ HMG-CoA reductase gene

ในเซลลตับE. ยับยั้งการทํางานของเอนไซม Cholesterylesterase ใน

Intestinal lumen

64

65

Statistical Analysis :A process which examines student responses to

individual test item (question) in order to assess thequality of those items and of the test as a whole.

“Student performance”

66

� Difficulty Index The proportion of students in class

who got an item correct. � Discrimination Index (Power)

It is a measure of an item's ability to discriminate between those who scored high on the total test

and those who scored low. � Analysis of Response Options

67

Based on performance on the total test858380807978787875747372726865646460555453

คะแนนสูง

คะแนนต่ํา

จํานวน นศ. 21 คน

68

Top 27% Hi group & Bottom 27% Lo group

Top 33% Hi group & Bottom 33% Lo group

50% Hi group & 50% Lo group

Large number of examinees (>1000) : normal curve

Medium number ( 100-300) : + normal curve

Small number (30-100) : not normal curve

69

8585838282817979787777777676…………………………6565656563595957575655545249

คะแนนสูงสุด

คะแนนต่ําสุด

27%

27%

33%

33%

50%

50%

70

ถูก = 1 ผิด = 0

71

p = 0………1

Acceptable p = 0.3-0.7 ( 0.2-0.8 )Recommended p = 0.4-0.6 ( 0.5-0.6 )

p = จํานวนนักศึกษาที่ตอบถูก จํานวนนักศึกษาทั้งหมด

= proportion of students who answered the item correctlyDifficulty index

ยาก………งาย

72

H = จํานวน นศ. ใน Hi group ที่ตอบถูกNH = จํานวน นศ. ใน Hi groupL = จํานวน นศ. ใน Lo group ที่ตอบถูกNL = จํานวน นศ. ใน Lo group

p = proportion of students who answered the item correctly p = H + Lp = H + L

2N

73

This is calculated by subtracting the proportion of students correct in the lower group from the proportion correct in the

upper group.

r = H L N

r = -1.00…………+1.00

r = H LNH NL

74

จําแนกได

คนออนตอบถูกหมดคนเกงตอบไมถูกเลยคนออนตอบถูกหมดคนเกงตอบไมถูกเลย

คนออน-คนเกงตอบถูกเทากัน

คนออน-คนเกงตอบถูกเทากัน

คนเกงตอบถูกหมดคนออนตอบไมถูกเลยคนเกงตอบถูกหมด

คนออนตอบไมถูกเลย

75

>0.4 = ดีมาก0.30-0.39 = ดี0.20-0.29 = พอใช ควรปรับปรุง<0.20 = ไมดี ควรตัดทิ้ง หรือ แกไข

Ebel, Essentials of Educational Measurement.(3rd) New Jersey; Prentice-Hall Inc., 197976

77

ตัวอยางการวิเคราะหขอสอบ A B* C D E

NH 29NM 29NL 29

0 27 0 0 2 0 24 1 4 0 2 11 5 6 5

Total 87 2 62 6 10 7

78

ตัวอยางการวิเคราะหขอสอบ A* B C D E

NH 29NM 29NL 29

14 11 0 1 5 19 10 0 0 0 16 7 0 0 4

Total 87 49 28 0 1 9

79

ตัวอยางการวิเคราะหขอสอบ A B C D* E

NH 29NM 29NL 29

0 0 0 29 0 1 1 0 27 0 0 0 0 29 0

Total 87 1 1 0 85 0

80