Disclaimer - Seoul National Universitys-space.snu.ac.kr/bitstream/10371/127615/1/000000132551.pdf저작자표시-비영리-변경금지 2.0 대한민국 이용자는 아래의 조건을

저 시-비 리- 경 지 2.0 한민

는 아래 조건 르는 경 에 한하여 게

l 저 물 복제, 포, 전송, 전시, 공연 송할 수 습니다.

다 과 같 조건 라야 합니다:

l 하는, 저 물 나 포 경 , 저 물에 적 된 허락조건 명확하게 나타내어야 합니다.

l 저 터 허가를 면 러한 조건들 적 되지 않습니다.

저 에 른 리는 내 에 하여 향 지 않습니다.

것 허락규약(Legal Code) 해하 쉽게 약한 것 니다.

Disclaimer

저 시. 하는 원저 를 시하여야 합니다.

비 리. 하는 저 물 리 목적 할 수 없습니다.

경 지. 하는 저 물 개 , 형 또는 가공할 수 없습니다.

교육학 석사학 논문

요소 간 계 방식과 인공신경망을

용한 수학 인지진단 평가 연구

2015년 12월

서울 학교 학원

수학교육과

윤 지

요소 간 계 방식과 인공신경망을

용한 수학 인지진단 평가 연구

지도교수 유 연 주

이 논문을 교육학석사학 논문으로 제출함

2015년 12월

서울 학교 학원

수학교육과

윤 지

윤지 의 석사학 논문을 인 함

2015년 12월

원 장 (인)

부 원 장 (인)

원 (인)

- i -

국문 록

요소 간 계 방식과 인공신경망을

용한 수학 인지진단 평가 연구

오늘날 학생들은 반복 으로 서열화를 한 평가를 경험한다. 그러나

많은 교육자들은 평가는 학생에게 상 인 치를 부여하기 함이 아

닌 학습을 지원하는 데 주목 이 있다는 것에 동의한다. 학습을 한 평

가가 되기 해서 평가는 교사와 학생 모두에게 학생의 인지 상태에

해 총 이상의 유용한 정보를 제공해야 한다. 이러한 에서 교육 측

정 분야에서 주목하는 것이 인지진단평가이다.

인지진단평가는 검사의 총 으로는 드러날 수 없었던 학생들의 잠재

인지상태를 보다 정확하고 세 하게 진단하기 하여 인지상태가 단

하나의 능력이 아닌 여러 인지요소들로 구성됨을 가정한다. 수학 교과의

경우에도 수학 능력을 여러 인지요소들로 세분화할 수 있으며 특히 계

통성이라는 수학 학문 자체의 특성을 고려할 때 요소들 사이에 계

계가 존재함을 알 수 있다.

본 연구에서는 인지요소들 사이에 존재하는 계 계에 주목하여 요

소 간 계 방식을 이용한 인지진단 모형을 인공신경망 기법을 이용한

분석 방법과 목한 인지진단평가 방식을 수학교육 평가의 방법으로 제

시하고, 이를 실제 학생들의 문항 반응에 용한다. 그리고 모의 실험

데이터를 이용하여 이러한 진단 방식의 유효성을 살펴본다.

연구를 하여 서울․경기 지역 총 6개 학교의 2,3학년 936명의 학생

을 상으로 ‘일차방정식과 일차부등식’에 한 검사를 시행하고. 이

를 인지진단모형으로 분석한 결과 많은 학생들이 일차방정식의 활용과

일차부등식의 활용 큰 어려움을 겪고 있음을 확인할 수 있었다. 그러나

방정식과 부등식의 활용 부분에서 부족한 숙달 정도를 보인 학생들

- ii -

많은 학생들이 일차방정식과 일차부등식을 풀거나 수학 모델링을 하는

것은 이미 숙달한 상태인 것으로 분석되었다. 즉, 방정식과 부등식의 활

용의 어려움은 수학 모델링의 어려움에 기인한 것으로 보기에는 무리

가 있음을 확인할 수 있었다.

한 본 연구에서 제시한 인지진단 평가 방법의 유효성을 확인하기

해 학생들의 로 일을 분석한 결과 체의 약 83%가 본 연구에서

설정한 계 구조를 따르는 것으로 나왔으며, 모의 실험 데이터를 통해

분석한 결과로는 각 문항의 guessing과 slip 모수가 일정 수치 이하로 확

보되는 경우에 상당한 정확도를 보이는 것으로 나왔다.

이 연구는 기존의 인지진단 평가 방법들이 문항 모수를 추정하기

해 큰 표본을 필요로 했다면, 그러한 표본 없이 개별 학생에게 바로

용하여 진단할 수 있는 인공신경망 분석 알고리즘이 방정식과 부등식

역에 성공 으로 용된 다는 것을 확인하 다는 의의를 가진다. 한

이러한 평가 방법의 유효성을 측정할 수 있는 여러 방법을 제시하 다는

에서도 그 의의를 찾을 수 있다.

주요어: 인지진단평가, 요소 간 계 방식, 인공신경망

학 번: 2013-23375

- iii -

목 차

국문 록 ·············································································································· ⅰ

목차 ························································································································ⅲ

표 목차 ··················································································································ⅴ

그림 목차 ··············································································································ⅶ

I. 서론 ························································································· 1

1. 연구의 필요성 ················································································· 1

2. 연구의 목 질문 ····································································· 4

II. 이론 배경 ·········································································· 5

1. 통 인 측정 이론 ······································································· 5

1. 1. 고 검사이론(Classical test theory, CTT) ······················ 5

1. 2. 문항반응이론(Item response theory, IRT) ······················ 6

2. 인지진단평가(Cognitive Diagnostic Assessment, CDA) ··········· 8

3. 요소 간 계 방식(Attribute Hierarchy Method, AHM) ······· 15

4. 인공신경망(Artificial Neural Network, ANN) ·························· 22

III. 연구 차 ··········································································· 27

1. 검사 내용 검사 상 ····························································· 27

2. 연구 차 ······················································································· 28

2. 1. 인지요소 추출 확정 ···················································· 28

2. 2. 인지요소 계 구조 설정 ················································ 31

- iv -

2. 3. 인지요소 간 행렬 작성 ···················································· 33

2. 4. 인지요소 간 계를 반 한 검사도구 제작 시행 36

2. 5. 인공신경망 용 데이터 분석 ······································ 38

2. 6. 모의 실험 데이터 생성 분석 ···································· 42

IV. 연구 결과 ·········································································· 51

1. 일차방정식과 일차부등식 역에서 학생들의 인지 요소 숙달

양상 ································································································ 51

1. 1. 인지요소 로 일 ···························································· 51

1. 2. 인지요소 숙달 양상 분석 ················································ 54

2. 모의 실험 데이터를 이용한 인공신경망 분석 방법의 유효성

평가 결과 ······················································································ 60

2. 1. hamming distance를 이용한 정확도 측정 ···················· 60

2. 2. sensitivity(민감도)과 specificity(특이도) ························ 64

V. 논의 제한 ······························································· 68

1. 논의 결론 ··············································································· 68

2. 제한 제언 ············································································· 71

참고문헌 ··················································································· 73

부록 ··························································································· 77

ABSTRACT ··············································································· 87

- v -

표 목 차

<표 Ⅱ-1> 김희경(2012)이 제시한 문항과 인지요소 간 계에 한

행렬 ······················································································ 10

<표 Ⅱ-2> 인진진단모형의 분류 ························································ 11

<표 Ⅱ-3> Leighton et al.(2004)의 발산형 계구조를 반 한 모든

인지상태와 이상 반응 유형 ············································ 21

<표 Ⅲ-1> 학교별 연구 참여 상 분포 ·········································· 28

<표 Ⅲ-2> 일차방정식과 일차부등식에 한 인지요소 ················ 30

<표 Ⅲ-3> [그림 Ⅲ-1]의 계 구조를 반 한 인 행렬 ············ 34

<표 Ⅲ-4> [그림 Ⅲ-1]의 계 구조를 반 한 근행렬 ············ 35

<표 Ⅲ-5> 본 연구에서 구성한 검사지의 Q행렬 ···························· 37

<표 Ⅲ-6> 인지요소 숙달 조합 이상 반응 유형 ······················ 39

<표 Ⅲ-7> 모의 실험 데이터 생성을 한 조건부 숙달 확률 설정 44

<표 Ⅲ-8> guessing과 slip 값에 한 19가지 설정 ························ 47

<표 Ⅲ-9> guessing과 slip 설정 값 ···················································· 49

<표 Ⅲ-10> 경우 A(guessing 1.40, slip set1)의 모의 실험 데이터 50

<표 Ⅳ-1> 동일한 총 인 학생들의 인지요소 숙달 확률 ············ 51

<표 Ⅳ-2> 일부 학생들의 문항 반응 유형과 인지요소 로 일 52

<표 Ⅳ-3> 인지요소 로 일 상 비율 10가지 ·························· 54

<표 Ⅳ-4> 인공신경망을 용한 경우 A의 요소 숙달 유형 ········ 62

<표 Ⅳ-5> guessing과 slip에 따른 해 거리·································· 63

<표 Ⅳ-6> guessing과 slip에 따른 인지요소별 민감도와 특이도 66

- vi -

<표 Ⅳ-7> 경우 S의 guessing과 slip ················································ 67

- vii -

그 림 목 차

[그림 Ⅱ-1] 김희경(2012)이 제시한 문항과 인지요소 간 계 시 10

[그림 Ⅱ-2] 네 가지 기본 계 구조 (Leighton et al., 2004) ·······17

[그림 Ⅱ-3] 인공뉴런의 기본 구조 ····················································23

[그림 Ⅱ-4] 인공신경망의 기본 구조 ··················································25

[그림 Ⅲ-1] 본 연구에서 설정한 인지요소 계 구조 ··················33

[그림 Ⅲ-2] 11개의 은닉노드로 학습된 인공신경망 ························41

[그림 Ⅲ-3] 모의 실험 데이터를 이용한 인공신경망 모델의 정확도

측정 과정 ············································································43

[그림 Ⅳ-1] 학생들의 인지요소 숙달 비율 ······································55

[그림 Ⅳ-2] 학생들의 인지요소 간 결손 비율 ······························56

[그림 Ⅳ-3] 일차방정식의 활용 역 결손 비율 ····························58

[그림 Ⅳ-4] 일차부등식의 활용 역 결손 비율 ····························59

[그림 Ⅳ-5] 검사지 22번, 23번 문항 ·················································67

- 1 -

I. 서론

1. 연구의 필요성

우리나라는 1995년 국제 교육 성취도 평가 회(IEA)가 주 하는 수

학·과학 성취도 평가 추이 국제비교 연구(Trends in International

Mathematics and Science Study; TIMSS)를 시작으로 2000년부터는 OECD

가 주 하는 국제 학업성취도 평가(Programme for International Science

Study; PISA)에 참여하여 지속 으로 최상 의 학업 성취도를 보여 왔다.

TIMSS 2011에서 우리나라 학교 2학년 학생들은 수학에서 1 를 기록

하 으며 PISA 2012에서도 OECD 34개국 에서 1 를 기록하 다. 그러

나 이러한 높은 학업 성취에도 불구하고 수학에 한 흥미, 자신감,

가치 인식에 한 정의 역에서는 최하 수 을 보이고 있다(김수진

외, 2012; 임해미, 2014).

실제 우리나라 , , 고 학생들의 수학에 한 인식이 체로 부정

이며 수학 불안 수 한 상당히 높다는 많은 연구 결과가 발표되었다

(최승 , 황혜정, 2014). 최근에는‘수포자(수학포기자)’라는 용어가 등

장하여 수학에 한 부정 인식의 문제가 학교를 넘어 사회 이슈

로 확 되었다. 문제에 한 원인으로는 여러 복합 요인이 존재하

나, 이용훈(2015)은 그 하나로 입시 제도를 말한다. 학벌주의 사회 구

조 아래 학생들은 과도한 입시 경쟁 과정에서 서열화 평가 방식을 반복

으로 경험하게 된다.1) 이러한 평가 방식은 학생을 더욱 무리한 선행학

습과 성 상승을 한 과도한 경쟁의식으로 내몰게 되고, 학습 목표의

달성보다 상 인 수에만 집 하게 하여 반복되는 좌 감과 사교육의

증 를 가져온다. 이는 한 자기주도 학습 능력의 상실을 가져와 수학

불안을 더욱 키우게 된다(김동화, 2003). 이에 해 NCTM(National

Council of Teachers of Mathematics, 미국수학교사 회)의 ‘학교수학을

1) 6개국 수학 교육과정 국제 비교 컨퍼런스 자료집

- 2 -

한 원리와 규 ’은 평가는 학생을 서열화하여 상 치를 부여하

기 함이 아닌 수학 학습을 지원하는 데 이 맞추어져 있어야 하며,

교사와 학생 모두에게 유용한 정보를 제공해야 함을 평가 원리로서 말하

고 있으며, 우리나라 2015 개정 수학과 교육과정도 이와 맥락을 같이 한

다.

이러한 에서 최근 들어 학습 진행 에 즉각 이고 구체 인 피드

백을 제공함으로써 교수·학습을 효율 으로 개선하기 한 인지진단평

가가 부상하고 있다(이 주, 2014). 기존의 고 검사이론이나 문항반응이

론 등을 이용한 평가는 학생들의 재 능력 수 에 한 서열 정보를

제공하 다면 인지진단평가는 학생의 인지상태를 단일 차원의 능력 수

의 이 아닌 다양한 요소의 다차원 결합의 으로 바라보고 개별

학생의 인지 상태의 구체 인 강약 에 한 구체 정보를 제공하는 평

가 방식이다(Leighton & Gierl, 2007). 인지진단모형은 평가 이후에 학생

스스로 자신의 강약 을 알고 학습을 계획하는 자기 주도 학습이 가능

하도록 돕는다는 에서 큰 의미가 있다. 한 이러한 구체 인 피드백

은 교사가 교수·학습의 방향을 수정하고 계획하는 데 요한 자료가 되

어 학생들에게 더욱 효과 인 교육 개입을 가능하게 할 수 있다.

이러한 외 요인 외에도 학생들이 수학을 기피하는 원인을 수학 자체

의 특성에서도 찾을 수 있다. 수학의 특성은 학자들마다 다양하게 정의

할 수 있으나 일반 으로 추상성, 논리성, 형식성, 계통성, 직 성, 일반

성과 특수성, 실용성 등으로 정리된다(송순희 외, 1998; 미정, 2012). 특

히 계통성이란, 어떤 기 인 내용을 토 로 하여 그 에 다른 내용을

첨가하여 통합함으로써 더욱 발 된 새로운 내용을 향해 일 성 있게 나

아가는 것을 의미한다. 수학은 몇 개의 공리와 정의에서 출발하여 논리

인 연역 추론을 통해 새로운 개념과 정리로 나아가는 학문으로 수학은

계통성이 가장 강한 학문이다. 그러나 이러한 수학의 내 연계성과

계성이 바로 학생들의 수학 기피 상을 일으키는 요인이 되기도 한다

(김 국 2001; 2003). 이에 해 정종식(2012)은 수학교과목은 그 특성상

내용 간 연계성이 강하여 선행 학습의 결여 상태가 다음 학습에 많은

- 3 -

향을 미치게 된다고 하 다.

부분의 인지진단평가 모형은 인지요소들 간의 계는 별도로 고려하

지 않고, 특정한 문항을 해결하는데 필요한 인지요소들의 결합 방식에만

주목하고 있다. 그러나 어떤 역을 숙달해가는 인지 과정은 내용 ·기

능 요소들이 서로 연 되어 함께 발 하는 가운데 일어나는 바

(Ketterlin-Geller & Yovanoff, 2009), 인지진단평가에서 수학의 고유 특성

인 인지요소들 간의 계, 특히 계성을 필히 고려해야 더욱 정교한 진

단이 가능해질 것이라 기 할 수 있다. 이 게 요소들 간의 계 구조를

반 한 인지진단모형이 바로 요소 간 계 방식(Attribute Hierarchy

Method; AHM)이다(Leighton et al., 2004). 그러나 이 게 요소 간 계

계를 반 한 국내 교육 평가 연구는 무하며, 국외 연구에서도 요소

간 계를 가정한 분석은 많지 않다.

한편, 많은 인지진단 평가 모형이 제시되어 왔으나 학교 장에 보편

으로 사용되지는 못하고 있다. 그 원인으로는 IRT를 비롯하여 DINA

모형이나 FUSION 모형과 같은 인지진단모형의 용을 해서는 신뢰할

수 있는 모수치 추정을 한 큰 표본이 요구되기 때문이다(이 주,

2014). 이에 본 연구에서는 아직까지 교육평가 분야에서는 다소 생소한

인공신경망(Artificial Neural Network; ANN)을 용한다. 본 연구는 요소

간 계 방식에 인공신경망 방법을 결합한 인지진단 평가 방법(Gierl et

al., 2008)을 수학교육에 용한다. 평가 방법은 인지 요소와 문항 사

이의 계를 나타내는 Q행렬과, 요소 간 계에 한 설정으로부터 도출

되는 기 응답 패턴 벡터를 이용하여 인공신경망을 학습시킬 수 있기

때문에, 표본 크기로부터 자유로울 수 있는 방식이다. 따라서 교사가 학

내 형성평가와 같은 작은 표본의 경우에도 유용하게 사용할 수 있다

는 장 을 가진다.

- 4 -

2. 연구의 목 질문

본 연구의 목 은 계성이라는 특성을 가진 수학 교과 내에서 ‘학습

을 한 평가’라는 평가 원칙에 부합하는 평가 방법을 탐색하는 데 있

다. 학생의 인지 상태에 해 더 자세하고 정확한 피드백을 수 있는

평가 방법으로 본 연구는 인공신경망 분석 방식을 도입하여 수학교육 평

가에서의 인공신경망 방식의 용 가능성을 탐색한다. 한 이러한 인공

신경망 평가 방식을 통한 로 일 분석으로 실제 학생들이 일차방정식

과 일차부등식 역에서 학생들이 어떠한 숙달 양상을 띠는지 알아보고

자 한다. 마지막으로 인공신경망의 학습 데이터로 요소 간 계 방식에

근거한 이론 데이터를 사용하는 방법의 유효성에 해 다시 한번 살펴

본다. 이를 한 구체 인 연구문제는 다음과 같다.

1. 인공신경망을 용한 인지진단평가를 어떻게 수학교육에 용할 수

있는가?

2. 인공신경망을 용한 인지진단평가로 분석하여 본 일차방정식과 일차

부등식 역에서 학생들의 인지 요소 숙달의 양상은 어떠한가?

3. 인공신경망 분석 방법의 유효성을 모의 실험 데이터를 이용하여 어떻

게 평가할 수 있으며 그 결과는 어떠한가?

- 5 -

II. 이론 배경

1. 통 인 측정 이론

1. 1. 고 검사이론(Classical test theory, CTT)

고 검사이론은 19세기 말부터 개되어 지 까지도 사용되고 있는 총

에 근거한 분석 이론으로 비교 계산과 추정방법이 간단하다는 장

을 갖고 있어 재까지도 많이 사용되는 이론이다.

고 검사이론에서 피험자 개개인은 측정 오류가 없다고 가정할 때 얻

어지는 수인 진 수 를 갖는 것으로 가정한다. 찰 수 는 진 수

와 오차 수 의 합으로 나타내어 다음의 식이 성립한다.

이 때, 진 수 와 오차 수 의 상 은 0이며, 고 검사이론에서 가

장 요한 개념 하나인 검사의 신뢰도는 다음과 같이 진 수 와

찰 수 의 분산의 비로 정의된다.

문항난이도, 문항변별도, 문항추측도, 신뢰도, 타당도 등의 용어들이 고

검사이론에서 출발하 다. 고 검사이론에서 문항난이도( )는 문항의

답을 맞힌 피험자 수()를 총 피험자 수( )로 나 것으로 정의되며 이

는 다음과 같이 표 된다.

- 6 -

문항변별도란 문항이 피험자를 변별하는 정도를 나타내는 지수를 말하

는 것으로 문항 수( )와 피험자 총 ( )의 상 계수로 추정할 수 있다.

문항변별도를 추정하는 상 계수 공식은 다음과 같다.

그러나 고 검사이론은 문항 모수의 불변성과 피험자 능력의 불변성이

성립하지 않는다. 다시 말해, 문항의 난이도가 피험자 집단의 특성에 따

라 결정되며 반 로 피험자의 능력 추정도 검사의 난이도에 따라 변화된

다는 문제 을 지니고 있다. 이러한 단 이 보완된 것이 이후의 문항반

응이론이나 인지진단모형이다.

1. 2. 문항반응이론(Item response theory, IRT)

고 검사이론이 총 을 기반으로 문항과 피험자 능력을 추정하는 이론

이었다면, 문항반응이론은 문항 하나하나에 근거하여 분석하는 이론이

다. 즉, 문항반응이론에서는 각 문항이 고유의 불변특성을 가지는 것을

가정하여 각 문항 특성에 기반하여 피험자의 능력을 추정한다.

1980년 까지 잠재 특성이론(latent trait theory)으로 불리기도 했

던 문항반응이론의 시 는 Binet& Simon(1916)이 제작한 아동들의 지능

측정 검사이다. 검사의 각 문항이 어느 나이의 피험자에게 합한지 알

아보기 해 각 문항별로 나이(가로축)에 따른 정답율(세로축)을 나타내

는 을 찍고 그 들을 연결하는 곡선을 그려 검사를 실시할 때 연령

별로 합한 문항을 선택하는데 사용하 다. 이 게 사용되었던 곡선이

바로 문항반응이론의 기반이 되는 문항특성곡선의 시 이다.

- 7 -

문항반응이론을 용하기 해서는 일차원성 가정, 지역독립성 가정

이 두 가지의 가정을 충족해야 한다. 일차원성 가정이란 하나의 검사도

구의 모든 문항들이 동일한 하나의 특성을 측정하여야 함을 의미하며,

지역독립성 가정은 하나의 문항에 한 한 피험자의 응답이 동일한 피험

자의 다른 문항의 응답에 향을 주지 않는다는 것이다. 통계 으

로 한 피험자가 어떤 문항의 답을 맞힐 확률과 다른 문항의 답을 맞힐

확률이 상호 독립 이라는 뜻으로 한 문항의 내용이 다른 문항의 정답의

단서가 되는 경우가 없어야 한다.

가정을 바탕으로 각 문항은 고유한 문항특성곡선을 갖게 된다. 문

항특성곡선은 피험자 능력( )에 따른 해당 문항의 정답률 의 함수

계를 나타낸 것이며, 일반 으로 S자의 증가함수 형태의 곡선을 갖는다.

표 으로 로지스틱과 정규 오자이 모형이 있으며, 번째 문항에

한 각각의 문항함수 는 문항변별도(), 문항난이도(), 문항추측도

()를 모수로 하여 결정된다. 이 일부만을 모수로 삼는 것도 가능한

데 문항난이도()만 모수로 갖는 모형을 1-모수 라쉬모형이라 하며, 여

기에 문항변별도()를 추가하여 두 개의 모수를 갖는 2-모수, 문항추측

도()까지 추가하여 세 가지 모두를 모수로 갖는 3-모수 모형이 있다.

로지스틱 모형의 식은 차례 로 다음과 같다.

exp

(1-모수)

exp

. (2-모수)

exp

. (3-모수)

문항반응이론에서 문항난이도는 문항특성곡선에서 정답률이 .5에 해당

되는 능력 수 을 의미하며, 문항변별도는 정답률이 .5에 해당되는 에

서의 곡선의 기울기를 의미한다. 기울기가 가 를수록 문항변별도가 높

- 8 -

다고 볼 수 있다. 문항추측도는 능력이 없는 학생(능력 수 이 음

의 무한 )이 정답을 맞힐 확률을 의미한다.

2. 인지진단평가(Cognitive Diagnostic Assessment, CDA)

기존의 통 인 평가방법들은 주로 규 지향평가(norm-referenced

evaluation)에 해당하는 것으로 주로 학생들의 능력을 척도화하고, 상

으로 서열화하는 것에 집 되어 있었다. 서열화에 집 된 평가는 학생

의 교수-학습의 개선과는 거리가 있어 교육의 본질을 외면하고 있다는

비 을 받아왔다(김성훈, 1991; 1933; 1997). 한 규 지향평가의 경우

과도한 경쟁심리를 조장할 수 있어 학생들의 정의 역에서 부정 인

향이 있으며, 학습을 통해 무엇을 알게 되었고 무엇을 할 수 있게 되

었는지에 한 구체 인 정보는 간과하는 경향이 있다는 평가를 받아왔

다(황정규 외, 2011).

이러한 규 지향평가에 한 비 에서 비롯된 것이 흔히 평가라고

도 표 되는 거지향평가(criterion-referenced evaluation)다. 거지향평

가는 다른 학습자와의 상 인 비교가 아닌 구체 인 교육목표에 근거

한 평가가 이루어진다. 개인의 학습 정도에 을 두어 개인이 어떠한

향상을 보이는지를 악하는 것이 주된 목 이다. 거지향평가가 교육

본질에 더 부합해보이나 거의 자의성에 한 문제가 있다.

규 지향평가와 거지향평가 모두 학생들이 구체 으로 어떤 것을 알

고 있고 어떤 것을 모르고 있는지에 한 구체 인 정보는 주지 못한다.

따라서 평가를 통해 학생들에게 어떠한 교육 진단을 해주기 해서는

기존의 검사 수 안에 감추어져 있는 학생 개인의 학습 상태와 련된

세세한 정보를 표면으로 꺼내야만 한다. 이에 한 이론이 인지진단평가

이다.

인지진단평가는 기존의 측정 이론에 인지심리 이론을 도입한 것으로,

학생들의 잠재 인 인지상태를 보다 정확하고 세세하게 진단하여 한

- 9 -

교육 개입으로 이어질 수 있도록 교육측정 분야에서 많이 연구되고 있

다. 기존의 고 검사이론이나 문항반응이론과의 차이 은 기존 이론들은

검사 수에 해당하는 피험자의 반응이 능력 수 과 같은 일차원 요인

의 작용으로 보았으나, 인지진단평가는 지식의 상태가 여러 인지 요소들

의 다차원 결합이라는 인식에서 출발한다는 것이다. 인지진단이론에서

인지 요소(cognitive attribute)란 학생이 문항을 해결하는데 필요한 능력

(ability), 기능(skills), 지식(knowledge), 인지과정(cognitive process) 등을

통합하여 의미한다고 볼 수 있다(Tatsuoka, 1983).

인지진단평가는 문항과 문항이 측정하는 인지 요소들 사이의 계를

통해 학생들의 문항에 한 응답을 분석하여 개별 학생들의 인지 상태에

한 로 일을 제공해주는 통계 모형이다(김희경 외, 2012). 따라서

문항들과 각 문항을 해결하기 해 필요한 인지요소들 사이의 계를 정

확히 나타내는 것이 요하며 Tatsuoka(1983)는 이에 Q행렬 개념을 도입

한다.

Q행렬은 인지진단모형에서 인지요소의 추출과 함께 가장 우선되어야

하는 것으로 행과 열은 각각 문항과 인지요소를 의미한다. 따라서 인지

요소가 K개, 문항이 n개이면 Q행렬은 K×n 차원의 행렬이다. 각 문항

을 해결하기 해 필요한 인지요소는 1, 필요하지 않은 인지요소는 0으

로 다음과 같이 표 될 수 있다.

Q , 문항 를 맞히는 지 가 때

문항 를 맞히는 지 가 지 않 때

를 들어, [그림 Ⅱ-1]의 시로 Q행렬을 살펴보자. [그림 Ⅱ-1]은 문

항과 그 문항이 측정하는 인지요소의 계를 나타낸 것으로, 문항 1을

해결하기 해서는 인지요소 1과 인지요소 3이 요구되며 문항 2를 해결

하기 해서는 인지요소 2가, 문항 3을 해결하기 해서는 인지요소 1과

인지요소 4가 요구된다. 문항 5를 해결하기 해서는 인지요소 3과 인지

요소 4가 필요하며 문항 6을 해결하기 해서는 인지요소 1이 요구됨을

- 10 -

확인할 수 있다. 이를 Tatsuoka(1983)의 Q행렬로 나타낸 것이 다음의

<표 Ⅱ-1>이다.

[그림 Ⅱ-1] 김희경(2012)이 제시한 문항과 인지요소 간 계 시

인지1 인지2 인지3 인지4

문항1 1 0 1 0

문항2 0 1 0 0

문항3 1 0 0 1

문항4 0 0 1 0

문항5 0 0 1 1

문항6 1 0 0 0

<표 Ⅱ-1> 김희경(2012)이 제시한 문항과 인지요소 간 계에 한 Q행렬

- 11 -

인지진단모형은 Tatsuoka의 Rule Space Model(RSM; Tatsuoka, 1983)을

시작으로 지난 30여 년간 다양한 인지진단모형들이 개발되었다. 인지진

단모형들은 인지요소들의 계 설정 분석 방법의 차이에 따라 다양하

게 존재하며 Reparameterized Unified Model(RUM), Compensatory

Reparameterized Unified Model(C-RUM), Deterministic Input, Noisy

“and” gate(DINA), Deterministic Input, Noisy “or” gate(DINO), Noisy

Inputs, Deterministic, “and” gate(NIDA), Noisy Inputs, Deterministic,

“or” gate(NIDA), Attribute Hierarchy Method(AHM), General

Diagnosric Model (GDM), Log-linear Cognitive Diagnosis Model(LCDM),

Generalized DINA(G-DINA) 등이 있다.

이러한 인지진단모형들은 다음의 <표 Ⅱ-1>과 같이 비보상

(noncompensatory) 모형과 보상 (compensatory) 모형 두 가지로 분류할

수 있다. 비보상 모형이란 문항을 해결하는데 필요한 인지요소들을 모

두 숙달해야만 정답을 맞힐 수 있다고 가정한다. 문항을 해결하는데 필

요한 인지요소들 어느 하나라도 결여되어 있다면 다른 요소들의 숙달

로는 결여된 요소가 보완되지 않는다는 것이다. 이러한 비보상 모형에

는 RSM, AHM, DINA, NIDA, C-RUM 등이 해당된다.

반 로 보상 모형은 모든 인지요소들을 숙달하지 못하더라도 정답을

맞힐 수 있다고 보는 모형이다. 문항을 해결하는데 모든 요소들이 숙달

되지 않더라도 다른 숙달된 요소들로 결여된 요소가 보완된다는 뜻이다.

보상 모형에는 DINO, NIDO, GDM, LCDM, G-DINA 등이 해당된다.

비보상 모형 보상 모형

DINA

NIDA

(NC-)RUM

RSM, AHM 등

DINO

NIDO

C-RUM

LCDM, G-DINA 등

<표 Ⅱ-2> 인진진단모형의 분류

- 12 -

아직까지 인지진단평가는 실제 교실 안에서는 잘 사용되지 못하고 있

으나, 재까지 인지진단평가를 이용한 연구들은 많이 진행되어 왔다.

우선 김성훈(2005)은 인지진단모형에 기반하여 학생의 인지상태를 진단

하는 것의 가능성을 탐색하 다. 2001년 학수학능력시험 수리 역 선

다형 30문항에 Rule-Space Model을 용하 다. 김수진 외(2008)는 Q행

렬의 정교화 문제를 연구하 으며, 2003~2006년에 실시된 국가수 학업

성취도 평가 학교 3학년 수학과 문항 선다형 30문항을 선택하여

Fusion Model을 용해 보았다. 한 김수진(2010)은 학교 2학년 과학

선다형 31문항에 Fusion Model을 용하여 Q행렬 제작 과정에서의 오류

가 미치는 향에 해 연구하 다. 김성훈, 송미 (2011)은 2007년 학

교 3학년 국가수 학업성취도 평가에서 수학과 문항 30문항을 선택

하여 DINA 모형을 용하여 학업성취도 평가 결과를 분석하 다. 송미

, 이 선, 박윤수(2011)는 2010년 국가수 학업성취도 평가에서 선다

형으로 이루어진 · ·고 국어 수학 검사에 DINA 모형을 용하

여 규모 학업성취도 평가 자료를 분석하 다. 김경리(2013)는 TIMSS

2007 수학검사 수 역에 한 14개 문항의 응답자료에 LCDM을

용하여 인지요소들의 계 구조와 학생 특성에 따른 맞춤형 학습경로를

제시하 다. 김희경 외(2013)는 Fusion 모형을 용하여 규모 학업성취

도 평가 자료와 서답형 문항에 인지진단모형의 용가능성을 탐색하

다.

국내 연구들은 부분 국가수 학업성취도 평가나 TIMSS, PISA의 자

료를 기반으로 분석하 으며 분석 모형도 DINA모형과 Fusion모형 그리

고 RSM모형에 한정되어 있음을 알 수 있다. 이 에서 가장 리 사용

되고 있는 DINA모형과 Fusion모형에 해 간략히 알아본다.

DINA모형은 Junker & Sijtsma(2001)에 의해 개발된 모형으로 학생의

실제 반응(observed response)과 기 할 수 있는 이상 반응(expected

response)의 차이에 해 slip과 guessing 두 가지 모수를 이용하여 모델

을 세운다. 는 slip모수로 문항 를 해결하는데 요구되는 모든 인지요소

- 13 -

를 숙달했음에도 불구하고 그 문항을 틀릴 확률이며, 는 guessing 모수

로 문항 의 풀이에 요구되는 모든 인지요소를 숙달하지 못했음에도 불

구하고 그 문항을 맞힐 확률이다. 따라서 DINA 모형에서 학생 가 문항

의 정답을 맞힐 확률은 다음의 식으로 나타낼 수 있다.

는 문항 에 한 학생 의 문항반응을 나타낸 것으로 0은 오답, 1

은 정답을 의미한다. 는 학생 의 인지요소 숙달 벡터라고 볼 수 있으

며 들을 벡터로 모은 것이다. 는 학생 가 인지요소 를 숙달했는

지 여부를 나타내는 값으로 숙달했으면 1, 숙달하지 못했으면 0으로 나

타낸다. 따라서 는 의 인지요소 숙달 벡터를 가지는 학생

가 문항 의 정답을 맞힐 확률을 의미한다. 는 학생 가 문항 의 정

답을 맞히기 한 모든 인지요소를 숙달했는지 여부를 나타내는 것으로

으로 얻어진다. 는 문항 를 해결하는데 인지요소 가 필요

한지의 여부를 나타내는 것으로 Q행렬에서 성분에 해당하는 값이

다. 따라서 은 학생 가 문항 의 정답에 이르기 한 모든 인지요

소를 숙달하지 못했다는 것을 의미하며 은 그러한 모든 인지요소

를 숙달했음을 의미한다.

Fusion 모형은 Hartz(2002)가 개발한 것으로 세 가지 문항모수와 두 가

지 피험자모수를 통해 문항의 정답을 맞힐 확률을 정의한다. Fusion모형

에서 학생 가 문항 의 정답을 맞힐 확률은 다음과 같다.

×

- 14 -

는 Q행렬 상에 명시된 인지요소로는 설명되지 않는 학생 의 잔여

능력을 말한다. 따라서 는 의 인지요소 숙달벡터를 갖

고, 의 잔여 능력을 갖는 학생 가 문항 의 정답을 맞힐 확률을 의미

한다. 한 는 일종의 난이도에 해당하는 것으로 문항 를 푸는데 요

구되는 모든 인지요소를 숙달한 학생이 문항 의 정답을 맞힐 확률이다.

변별도에 해당하는 은 인지요소 를 숙달했을 때 문항 의 정답을 맞

힐 확률에 한 인지요소 를 숙달하지 못했을 때 문항 의 정답을 맞힐

확률의 비율로 다음과 같이 나타낸다.

는 Q행렬에 명시된 인지요소들 외의 다른 요소들에 얼마나 향을

받는지를 나타낸 값이다.

인지진단평가는 이러한 모델을 통해 학생의 각 인지 요소들에 한 숙

달 여부를 진단할 수 있으며 이러한 피드백은 학생과 교사에게 모두에게

유용한 정보로서 활용될 수 있다. 학생들은 자신이 숙달하지 못한 내용

이나 약한 기능에 해 알게 됨으로써 스스로 이후의 학습을 보다 효율

으로 계획할 수 있으며 교사도 학생들 반의 로 일을 통해서 가장

효과 인 수업 개입이 가능하도록 이후의 교수 방법 내용을 계획

할 수 있다.

- 15 -

3. 요소 간 계 방식(Attribute Hierarchy Method,

AHM)

Gagné는 학습 계(learning hierarchy)라는 용어를 사용하여 인간의 학

습은 단순한 것에서 복잡한 것으로, 차원에서 고차원으로 발 하는

계를 가지고 있으며 한 단계의 학습은 다음 단계의 학습에 필수 인 선

행요건이 된다는 것을 설명하 다. 한, 자신의 서 ‘The Conditions

of Learning and Theory of Instruction’(1985)에서 학습을 통하여 기를

수 있는 능력으로 지 기능, 언어 정보, 인지 략, 운동 기능, 태도의

다섯 가지를 제시하며, 부분의 규칙은 고립되어 학습되는 것이 아니라

더 큰 주제에 속하는 련 규칙의 집합을 학습하게 된다고 보았다. 이러

한 집합을 구성하는 개개의 규칙은 논리 으로 서로 련성을 갖는다고

보았다.

이 듯 인지와 련된 많은 연구들이 인지 기능들이 각각 고립되어 작

용하는 것이 아닌 상호 연 된 역량들 간의 계망에 속하여 작용하고

있음을 말하고 있다.

특히, 수학은 몇 개의 공리와 정의에서 출발하여 논리 연역 추론을

통해 새로운 개념과 정리로 나아가는 계통성이 큰 학문이다. 따라서 이

러한 수학의 본질 특성을 고려할 때 실제 학생들이 경험하는 학교 수

학에서도 개념 간의 계통성이 고려되어야 함을 알 수 있다.

요소 간 계 방식(AHM)은 Tatsuoka의 규칙장 모형(Rule space mode

l)2)의 변형으로, 인지요소들 간의 계 구조가 존재할 때 이를 용하여

분석하기 해 사용된다. 이는 측된 반응 유형을 이상 반응 유형과 비

교하여 분류한다는 에서 규칙장 모형의 근과 유사하며, 이상 반응

유형을 작성할 때 동일하게 Tatsuoka의 Q행렬을 사용한다. 규칙장 모형

과 요소 간 계 방식의 가장 큰 차이는 요소들 간의 독립성 가정에 있

다. 요소 간 계 방식은 규칙장 모형과는 다르게 인지 요소들이 계

2) Tatsuoka, 1983, 1984, 1996

- 16 -

으로 련되어 있고, 의존 임을 가정한다. 요소 간 계 방식에서 요소

간 계 계는 학생들의 인지상태를 분류하고 측하는데 가장 요한

입력 변수이므로 계 구조를 잘 설정하는 것이 요하다(Leighton et

al., 2004). Leighton et al.(2004)는 인지요소의 계구조 시로 다음의

[그림 Ⅱ-2]의 4가지 유형을 제시한다. 차례 로 선형 구조, 수렴형 구조,

발산형 구조, 비구조화 구조이다. 각 요소들은 화살표로 연결되어 있는

데 이 게 연결된 두 인지요소는 이후의 인지요소의 숙달을 해서는 이

의 인지요소의 숙달이 필수 이라는 뜻이다. 이 게 설정된 계는 검

사의 인지 모형으로써 역할하게 된다.

첫 번째 유형은 선형 계 구조로 각 인지요소의 순차 학습이 요구

된다. 만약 인지요소 6을 숙달하 다면 이 의 인지요소 1부터 인지요소

5까지 다섯 개의 인지요소를 모두 숙달한 것을 의미한다.

두 번째 유형은 수렴형 계 구조로 인지요소 5의 숙달은 인지요소 3

을 숙달하거나 인지요소 4를 숙달했을 때 일어날 수 있다. 즉, 인지요소

3과 인지요소 4 어느 하나라도 숙달한 경우 인지요소 5의 숙달이 일

어날 수 있다. 한 인지요소 3 는 인지요소 4의 숙달 모두 인지요소

1과 인지요소 2를 숙달한 경우에 가능하므로 인지요소 5를 숙달하 다면

인지요소 1과 인지요소 2를 모두 숙달하 으며, 인지요소 3 는 인지요

소 4를 숙달한 것을 의미한다.

세 번째 유형은 발산형 계 구조로 인지요소 3의 숙달은 인지요소 1

과 인지요소 2 모두의 숙달이 제되어야 하며, 인지요소 5나 인지요소

6의 숙달 역시 인지요소 1과 인지요소 4가 모두 숙달되어야 가능함을 알

수 있다. 이는 세 가지의 선형 계 구조가 합쳐진 모델이라고 볼 수 있

다.

네 번째 유형은 비구조화 계 구조로 인지요소 2부터 인지요소 6까지

다섯 개의 인지요소 모두 인지요소 1이 제 조건인 구조이다.

- 17 -

[그림 Ⅱ-2] 네 가지 기본 계 구조 (Leighton et al., 2004)

한편, 기존의 인지진단모형에서 개의 인지요소들이 모두 독립 이라

고 가정한다면 학생 개개인이 가질 수 있는 인지요소들의 조합, 즉 인지

상태는 총 가지이다. 그러나 인지요소들 간의 계 계가 존재한다면

가지의 인지상태 계 계에 따른 논리 포함 계에 의해 불가능

한 경우가 다수 존재한다. 따라서 특정 계 구조를 참으로 가정할 때

인지상태는 총 가지 경우에서 크게 어들게 된다.

이를 구하기 해 요소 간 계 방식(AHM)에서는 인 행렬(adjacency

matrix), 근행렬(reachability matrix), 속행렬(incidence matrix), 축소된

Q행렬(reduced Q matrix) 등을 도입한다. 인 행렬(adjacency matrix)은

요소들 간의 방향성 있는 직 계 계를 나타낸 것이다. 근행렬

(reachability matrix)은 직 계 계뿐만 아니라 간 계 계

까지 나타낸다. 이를 [그림 Ⅱ-2]의 네 가지 계 구조 세 번째 발산

형 계 구조를 시로 살펴보자.

인 행렬 A는 요소들 간의 직 인 계 계를 나타낸 것으로 인지

요소가 개이면 인 행렬 A는 × 행렬이다. A의 의 성분 가 1

- 18 -

이라는 것은 인지요소 가 인지요소 와 직 인 계 계를 갖는

제 조건이라는 의미이다. 따라서 의 발산형 구조에서 인지요소 1은 인

지요소 2와 인지요소 4와 직 인 계 계를 갖는 선행 인지요소이므

로 인 행렬 A의 첫 번째 행에서 (1,2)와 (1,4) 성분은 1이 되고 나머지는

0이 된다. 마찬가지로 인지요소 2는 인지요소 3의 선행 인지요소이므로

(2,3) 성분이 1이 되고, 인지요소 4는 인지요소 5와 인지요소 6에 동시에

선행 인지요소이므로 (4,5)와 (4,6) 성분은 1이 된다. 나머지 세 번째 행

과 다섯 번째 행 그리고 여섯 번째 행은 인지요소 3과 인지요소 5, 인지

요소 6이 각각 다른 어떤 인지요소의 선행 인지요소가 아니므로 모두 0

이 된다. 인 행렬 A를 모두 채우면 다음과 같다.

A

근행렬 R은 요소들 간의 직 인 계 계뿐만 아니라 간 인

계 계까지 나타낸 것으로 인 행렬 A와 마찬가지로 × 행렬로 주

어진다. 이는 한 R A ⋯ 로 표 될 수 있다.

시에 한 근행렬 R 은 다음과 같다.

R

근행렬 R의 첫 번째 행은 인지요소 1이 모든 다른 인지요소 2부터

인지요소 6까지의 직 ·간 인 제조건임을 의미한다. 두 번째 행

- 19 -

은 인지요소 2가 자신과 인지요소 3의 직 ·간 인 제조건이며

인지요소 4는 자신과 인지요소 5과 인지요소 6의 직 ·간 인 제

조건임을 알 수 있다. 나머지 인지요소 3과 인지요소 5 그리고 인지요소

6은 자기 자신과만 간 인 계 계를 가짐을 행렬에서 확인할 수 있

다.

속행렬(incidence matrix)은 요소들이 독립이라고 가정할 때 각각의

모든 가능한 요소들의 조합을 측정하는 문항들의 모음이라고 불 수 있

다. 각각의 열은 각 문항에 해당하며, 문항이 측정해야하는 인지요소들

의 조합을 나타낸다. 인지요소가 개일 때 모든 가능한 인지요소의 조합

은 개이고, 개

⋯ 는 어떠한 인지요소도 해당되지 않는 경우이므로

제외하면 속행렬 Q는 × 행렬이다. 시는 6개의 인지요소

를 가지므로 총 개의 인지요소 조합을 가지며, 속행렬 Q는 이

[] 한 가지를 제외하고 개의 열을 갖는다. 따라서 학생의

인지상태를 알기 해서는 어도 총 63개의 문항이 필요함을 의미한다.

의 발산형 시에 한 속행렬 Q는 다음과 같다.

Q

첫 번째 열 [100000]은 해당하는 문항 1을 해결하기 해서는 인지요

소 1 단 하나의 요소가 필요하다. 마지막 열 [111111]의 문항 63은 모든

요소를 필요로 한다. 그러나 요소들 간의 계가 있다면 63개의 문항은

논리 포함 계에 의해 에 띄게 어들 수 있다. 의 Q행렬을 살펴

보면 두 번째 열인 문항 2를 해결하는 데는 인지요소 2 하나만 필요하

다. 그러나 의 발산형 계 구조를 가진다면 인지요소 2는 반드시 인

지요소 1을 제조건으로 가져야 하므로 문항 3과 동일해짐을 알 수 있

- 20 -

다. 즉 열 벡터로 살펴본다면 [010000]과 [110000]이 동일한 문항을 의미

하게 된다. [001100], [101100], [011100], [111100]은 계 계에 의해 모

두 동일한 [111100] 하나의 문항으로 묶일 수 있다. 이처럼 속행렬 Q

에 계 구조를 반 하여 축소된 Q행렬인 Qr행렬을 구할 수 있으며

발산형 구조에서의 축소된 Q행렬 Qr은 다음과 같다.

Qr

검사를 구성하는데 있어 Qr의 역할은 크다. 시에서 Qr행렬을 보

면 이 계 구조를 따르는 요소들의 조합을 모두 검사하기 해서는 최

소 15 문항 이상으로 구성되어야 함을 알 수 있다.

요소들 간의 계와 각 문항이 요구하는 인지요소가 결정되면, 이상

문항 반응 유형도 구할 수 있다. 이상 문항 반응 패턴은 요소들 사이에

설정된 계가 참일 때, 측 가능한 반응 패턴이다. 를 들어 검사지

가 의 Qr과 동일하게 15 문항으로 구성되었다고 할 때, 인지요소 1 만

가지고 있는 피험자는 첫 번째 문항만 맞힐 것으로 기 할 수 있고, 15

개의 문항에 한 반응 패턴은 [100000000000000] 일 것이다. 와 같은

방식으로 각 인지상태에 따른 문항에 한 반응 유형이 존재하며, 이를

이상 반응 유형(expected response pattern)이라 한다. 시에서의 이

상 반응 유형을 나타낸 것이 아래의 <표 Ⅱ-3>이다. 본 연구에서는 이러

한 이상 반응 유형이 인공신경망의 학습 데이터로 매우 요한 역할을

한다.

- 21 -

인지상태 이상 반응 유형

1 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0

2 1 1 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0

3 1 1 1 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0

4 1 0 0 1 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0

5 1 1 0 1 0 0 1 1 0 1 1 0 0 0 0 0 0 0 0 0 0

6 1 1 1 1 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0

7 1 0 0 1 1 0 1 0 0 1 0 0 1 0 0 0 0 0 0 0 0

8 1 1 0 1 1 0 1 1 0 1 1 0 1 1 0 0 0 0 0 0 0

9 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0

10 1 0 0 1 0 1 1 0 0 1 0 0 0 0 0 1 0 0 0 0 0

11 1 1 0 1 0 1 1 1 0 1 1 0 0 0 0 1 1 0 0 0 0

12 1 1 1 1 0 1 1 1 1 1 1 1 0 0 0 1 1 1 0 0 0

13 1 0 0 1 1 1 1 0 0 1 0 0 1 0 0 1 0 0 1 0 0

14 1 1 0 1 1 1 1 1 0 1 1 0 1 1 0 1 1 0 1 1 0

15 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

<표 Ⅱ-3> Leighton et al.(2004)의 발산형 계구조를 반 한 모든 인지

상태와 이상 반응 유형

Leighton et al.(2004)은 요소 간 계 방식을 용하여 학생들의 인지

상태를 분류하는 구체 인 분석 방식으로 문항반응이론의 2PL 모델을

이용한다. 학생의 실제 문항 반응이 이상 반응 유형들 어떤 유형에서

나온 것인지 각 유형별로 그 확률을 살펴 으로써 학생의 인지상태를 진

단해주는 방식이다. 이 확률은 각 이상 반응 유형에서 slip(학생이 틀릴

것으로 기 되나 맞추는 경우와 맞힐 것으로 기 되나 틀리는 경우)이

일어날 확률의 곱으로 나타난다. 이를 식으로 나타내면 다음과 같다.

설정된 계 구조 상에서 가능한 모든 인지상태에 해 학생의 문항

- 22 -

반응 유형과 이상 반응 유형을 비교하는 것으로 는 학생이 틀릴 것이

라 상되지만 실제로 맞춘 문항의 개수이며 은 학생이 맞힐 것이라

기 되지만 실제로는 틀린 문항의 개수이다. 이 때, 개의 문항들

문항을 맞힐 확률은 가 된다. 마찬가지로 개의 문항들 개의

문항을 맞힐 확률이 마찬가지로 이므로 맞힐 것이라 기 되나 실

제 틀릴 확률은 이 된다. 이때 와 은 모두 2PL 모

델을 사용하며, 이상 반응 유형들로부터 구한 문항의 문항 모수들(문항

변별도 와 문항 난이도)을 사용한다. 2PL의 확률식은 다음과 같다.

exp

.

이를 모든 이상 반응 유형에 해 계산하여 모든 slip의 확률곱이 가장

큰 이상 반응 유형에 해당하는 인지상태를 그 학생의 실제 인지 상태로

진단한다. 이러한 방식의 한계는 우선 문항 모수를 얻기 해 실제 으

로 큰 표본이 필요하다는 한계가 있다. 한 방식을 제시한 연구

(Leighton et al., 2004)에서는 문항 수와 인지요소 수를 같게 두어 각 문

항이 측정하는 인지요소가 모두 다르도록 하 다. 즉, 문항이 주로 측정

하는 인지요소가 모두 다르게 하나씩 존재하며 그 문항은 인지요소와

이 인지요소의 선행 인지요소들 만을 측정하는 경우에 한해 진행하 다.

4. 인공신경망(Artificial Neural Network, ANN)

인공신경망은 인간의 뇌에서 자율 으로 스스로 학습이 이루어지는 과

정을 모방하여 인간의 뇌처럼 스스로 학습하는 컴퓨터의 모델을 개발하

고자 하는 시도로부터 시작되었다. 1940년 부터 활발한 연구로 이어졌

으나, 계산 효율성의 문제와 더불어 1969년에 Minsky와 Papert에 의해

XOR 문제를 해결할 수 없음이 보여지면서 한동안 주춤하 다. 그러나

- 23 -

1980년 에 이르러 오류 역 (error back-propagation) 알고리즘이 개

발되고 컴퓨터의 성능 향상으로 인해 차 으로 다시 조명받기 시작하

으며 최근에는 빅데이터와 련하여 더욱 주목을 받기 시작했다.

인공신경망은 데이터마이닝의 기법 하나로 아직까지 교육평가 분야

에서 많이 사용되지 않은 생소한 방법이다. 데이터마이닝이란 통계학과

기계학습(machine learning)이 결합된 것이다. 주어진 데이터에 합한

분석방법을 활용하여 규모 데이터 내 존재하는 계, 규칙, 패턴 등을

탐색하고 모형화하여 유의미한 지식을 도출하는 일련의 과정을 의미한다

(Shmueli, Patel & Bruce, 2011).

Mislevy(2006)은 인간이 인지 과정에서 패턴을 찾고 의미를 찾는 방법

으로 연결주의 모형(connectionist models)을 소개했다. 연결주의 모형은

국소 인 변화들이 모여 체 인 형질에 향을 미치는 것으로 인공신

경망의 기본원리라 할 수 있다. 인공신경망의 기본 단 인 인공뉴런은

인간의 신경계를 구성하는 뉴런에서 감을 얻은 것으로, 인간의 뉴런은

시냅스를 통해 신호를 달하고 일정 자극 이상이 되면 뉴런이 활성화되

어 다시 신호를 달한다. 신호가 시냅스에 보내지면 다른 뉴런이

활성화된다. 이러한 과정을 단순화한 모형이 인공뉴런이다. 뉴런 간의

연결이 모두 일정한 것은 아니며, 연결이 명확할수록 신호가 확실히

달된다. 인공뉴런은 [그림 Ⅱ-3]과 같이 시냅스와 같이 신호를 입력하는

입력값(input) , 활성함수(activation fuction) , 활성함수를 통해 변환된

출력값(output) 로 구성된다.

[그림 Ⅱ-3] 인공뉴런의 기본 구조

- 24 -

활성함수로는 이분함수(binary function), 로지스틱 함수(logistic

function), 곡함수(hyperbolic function) 등을 가질 수 있으며, 주로 0부

터 1까지의 값을 갖는 로지스틱 함수를 사용한다.

인공신경망은 이러한 인공뉴런들의 병렬 결합으로 입력층(input

layer), 은닉층(hidden layer), 출력층(output layer)의 3개 층으로 이루어져

있다. 각 층은 여러 노드들로 구성되며 입력층과 은닉층 그리고 은닉층

과 출력층 사이의 노드들간 결합의 강도를 나타낸 것이 가 치(weight)

이다. 이를 도식화 하면 [그림 Ⅱ-4] 와 같다. 와 가 각각 입력층과

은닉층, 은닉층과 출력층의 노드들 간의 가 치이다. 다시 말해, 는

번째 입력 노드와 번째 은닉 노드 사이의 가 치 모수이며 는 번째

은닉 노드와 번째 출력 노드 사이의 가 치 모수이다. 과 는 모델

의 합성을 해 추가되는 bias 노드로 무조건 1의 값을 가진다. 과

는 bias 노드 과 가 각각 은닉층의 각 번째 노드와 출력층의 번

째 노드에 한 결합의 세기를 나타내는 가 치들이다.

구조를 수식을 통해 구체 으로 살펴보면 다음과 같다. 과

는

각각 은닉층의 번째 노드의 입력값과 출력값을 의미하고, 과

는

각각 출력층의 번째 노드의 입력값과 출력값을 의미한다.

∵

은닉층의 노드 의 입력값 는 입력층의 노드 의 입력값과 그에

한 가 치 를 결합한 가 치 합으로 나타난다. 이때 는 bias 노드로

앞서 설명하 듯이 항상 1의 값을 가진다. 이 게 들어온 입력값은 은닉

층의 노드 에서 로지스틱 활성함수 를 거쳐 0과 1 사이 값으로 변환

- 25 -

되어 출력된다. 이 값이 이다.

[그림 Ⅱ-4] 인공신경망의 기본 구조

이와 동일한 과정이 출력층에서 반복된다. 출력층의 노드 의 입력값

은 은닉층의 노드 의 출력값

와 그에 한 가 치 를 결합한

가 치 합으로 나타나고, 과 마찬가지로 역시 항상 1의 값을 갖는

다. 이 게 출력층의 노드 에 들어온 입력값 는 다시 활성함수 를

거쳐 최종 으로 출력값 를 갖게 된다. 이를 수식으로 나타내면 아래

와 같다.

- 26 -

∵

.

이러한 구조를 갖는 인공신경망에 데이터 내 구조를 학습시키는 과정

을 갖는데 이를 기계 학습(machine learning)이라 한다. 이는 입력값과

출력값의 계를 가장 잘 설명할 수 있는 가 치를 찾는 과정이다. 다시

말해, 기계 학습의 목표는 그 계를 가장 잘 설명하는 가 치 행렬을

얻는 것이다. 입력벡터 ⋯ 가 입력되었을 때 기 되는 참 값인

목표벡터 ⋯ 와 출력벡터 ⋯ 사이의 오차를 최소화하는

방식으로 가 치행렬을 찾는다. 오차를 최소화하는 과정으로는 오류 역

(error back propagation) 알고리즘을 사용하게 된다.

- 27 -

III. 연구 차

1. 검사 내용 검사 상

요소 간 계 구조와 인공신경망을 결합한 인지진단평가 방법을 용

할 검사지의 문항 내용과 검사를 시행할 상을 먼 선정하여야 한다.

검사 내용으로는 학교 1~2학년에 걸쳐 배우는 일차방정식과 일차부등

식을 상으로 한다. 방정식과 부등식의 개념은 등 계산 식의 연

산 등을 토 로 학교와 고등학교의 학교 수학 내용의 큰 부분인 수

와 해석 역의 기 가 된다. 따라서 방정식과 부등식 역에 한 학습

이 제 로 일어나지 못해 결손이 있다면 학생들은 후속 학습에서 반복

인 실패를 경험할 수 있다. 반복 실패의 경험은 학생 개개인의 정의

역에도 큰 향을 미치게 되어 수학 반에 한 부정 인 태도와 낮

은 성취로 이어지게 될 것이다(이경미, 2007). 한, 김남희 외(2011)는

방정식을 포함한 문자와 식 역은 수학 의사소통에 필수 인 언어일

뿐만 아니라 추상화의 단계에서 개념을 조작하고 용할 수 있는 수단인

동시에 일반화와 통찰을 용이하게 하는 도구임을 밝힌다. 이러한 이유에

서 학교 학생들이 방정식과 부등식 역에서 어떠한 인지상태를 갖는

지 진단해볼 필요가 있다.

일차방정식과 일차부등식의 학습이 학교 1, 2학년에 일어나므로 해

당 역에서의 학생들의 인지 요소 숙달의 양상을 알아보기 해 학

교 2, 3학년 학생들을 상으로 검사를 실시하 다. 서울과 수도권(경기

인천) 지역의 총 6개 학교 40개 학 (2개 학교는 2, 3학년 모두 시행)

의 학생들을 상으로 하 다. 본 연구는 서울 학교 생명윤리 원회

(SNU IRB)의 승인을 받아 해당 차에 따라 진행되었다. 연구자가 직

각 학 에 들어가 연구 내용과 진행 차에 해 설명했으며 설명 후 동

의서와 학부모를 한 연구 안내문을 함께 배부하 다. 학교 측의 부득

이한 사정이 있는 경우, 수학 교과 담당 선생님이 신하 다. 학생들이

- 28 -

미성년자이므로 학생의 동의뿐만 아니라 학부모의 동의가 모두 이루어진

동의서가 회신된 경우에만 연구 참여 상으로 삼았다. A학교부터 F학교

까지 총 6개 학교 40개 학 (2개 학교는 2, 3학년 모두 시행)의 학생

들을 상으로 하 으며 <표 Ⅲ-1>에서 볼 수 있듯이 총 936명 2학년

이 580명(61.97%), 3학년이 356명(38.03%))이었다.

학교sample 수 성별

2학년 3학년 남 여 미기재

A학교 106 - 53 46 7

B학교 72 - 33 34 5

C학교 49 - 25 24 -

D학교 96 - 38 55 3

E학교76 - 76 - -

- 117 117 - -

F학교181 - - 181 -

- 239 - 239 -

580(61.97%)

356(38.03%)

342(36.54%)

579(61.86%)

15(1.60%)

< Ⅲ-1> 학 별 연 참여 대상 포

2. 연구 차

2. 1. 인지요소 추출 확정

본 연구에서 인지요소는 일차방정식과 일차부등식 문제를 해결하는데

필요한 내용과 기능을 인지요소로 고려하 다. 인지요소는 다음과 같은

- 29 -

차에 의해 추출하 다.

먼 , 일차방정식과 일차부등식 내용에 해 재 학교 교육과정과

교과서, 교사용 지도서 등을 분석하고, 인지요소와 련된 선행연구

(Tatsuoka et al., 2004; Tatsuoka & Tatsuoka, 1992)를 참고하여 내용

심, 과정 심의 총 12개의 수학 인지요소(사칙계산, 식의 계산, 등식

의 이해, 일차방정식의 해의 의미, 등식의 성질, 일차방정식 풀기, 일차

방정식 활용, 부등식의 이해, 일차부등식의 해의 의미, 부등식의 성질,

일차부등식 풀기, 일차부등식 활용)를 추출하 다. 각 인지요소를 보다

명확하게 정의하기 해 내용 요소를 심으로 생각하 다.

다음으로 인지요소 불필요한 요소는 없는지, 각 요소가 설명하

는 범 가 무 소하여 해당 요소를 측정하기가 어렵지는 않은지 혹은

요소 간의 범 가 겹치지는 않는지 등을 기 으로 내부 문가 의를

거쳐 통합 수정하는 과정을 거쳤다. 요소의 수가 과도하게 많은 경우

분석이 어려워질 수 있으므로 이 역시 유의하여 수정을 진행하 다.

이러한 기 에 따라 아래의 10개의 인지요소로 수정하 다. ‘사칙계

산’은 ‘식의 계산’안에 통합하 으며 ‘등식의 성질’은 ‘일차방정

식 풀기’로, ‘부등식의 성질’은 ‘일차부등식 풀기’로 각각 통합하

다. 한, ‘일차방정식 활용’과 ‘일차부등식 활용’에서는 ‘활

용’ 역이 실제 으로 문장제 문제 해결을 의미하는 것으로 보고 활용

에는 문제 상황을 수학 언어로 변환하고 수학 추론을 통해 재해석하

는 단계가 모두 포함되는 것으로 정의하 다. 이에 활용 문제를 해결하

는 데 필요한 사 기능으로 ‘ 수 모델링’을 추가하 다. 이를 정

리한 것이 <표 Ⅲ-2>이다.

인지요소 A1은 사칙계산과 식의 계산으로써, 기본 인 자연수, 정수,

유리수의 덧셈, 뺄셈, 곱셈, 나눗셈 등의 기본 인 사칙계산과 문자가 포

함된 일차식의 동류항 분배법칙 등을 이해하고 용하여 식을 정리할

수 있는 능력을 의미한다.

인지요소 A2는 등식의 이해로, ‘양변이 정확히 같다’는 등호 ‘’

의 의미를 이해하고 있음을 의미한다. 이는 등호를 하게 사용할 수

- 30 -

있는지를 으로써 알 수 있다.

인지요소 A3는 일차방정식의 해의 의미로, 일차방정식에서 해는 방정

식을 참이 되게 하는 미지수의 값이라는 사실을 이해하는 것을 의미한

다. 만약 해에 해당하는 여러 후보 값들이 주어졌을 때 각각을 미지수에

입하여 등식의 참·거짓을 별함으로써 해를 찾을 수 있음을 의미한

다.

인지요소 요소 내용

A1 사칙계산 식의 계산

A2 등식의 이해

A3 일차방정식의 해의 의미

A4 일차방정식 풀기(등식의 성질 포함)

A5 일차방정식 활용

A6 부등식의 이해

A7 일차부등식의 해의 의미

A8 일차부등식 풀기(부등식의 성질 포함)

A9 일차부등식 활용

A10 수 모델링

<표 Ⅲ-2> 일차방정식과 일차부등식에 한 인지요소

인지요소 A4는 일차방정식에서 등식의 양변에 같은 수를 더하거나 빼

거나 곱해도 등식이 성립하며, 0이 아닌 수로 나 어도 등식이 성립한

다는 등식의 성질을 이해하여 해를 구할 수 있는 능력을 의미한다.

인지요소 A5는 일차방정식의 활용으로 문장제 문제가 주어졌을 때 문

제의 상황을 일차방정식을 이용한 수학 언어로 표 하고 이를 수학

추론에 의해 해결하여 해석하는 능력을 의미한다.

인지요소 A6는 부등식의 이해에 해당하는 것으로 등식과 마찬가지로

부등호 ,,≤,≥ 등의 의미를 정확히 이해하여 이를 사용하여 수 는

- 31 -

식의 소 계를 나타낼 수 있으며, 부등식의 참․ 거짓을 별할 수 있

는 능력을 의미한다.

인지요소 A7은 일차부등식의 해의 의미로, 일차부등식에서 해는 부등

식을 참이 되게 하는 미지수의 값이라는 사실을 이해하는 것을 의미한

다. 특별히 부등식은 해가 하나의 값이 아닌 구간( 역)으로 존재할 수

있음을 이해해야 한다.

인지요소 A8은 일차부등식 풀기에 해당하는 것으로‘양변에 같은 수

를 더하거나 빼거나 양수를 곱하거나 나 어도 부등식이 성립하며, 음수

를 곱하면 부등호의 방향이 바뀐다’는 등식의 성질을 이해하고 사용하

여 일차부등식의 미지수의 범 를 구할 수 있는 능력을 의미한다.

인지요소 A9는 A5와 동일하게 문제 상황을 일차부등식을 이용한 수학

언어로 표 하고 수학 추론을 통해 해결하고 해석하는 능력을 말한

다.

인지요소 A10은 수 모델링에 해당하는 것으로 실생활의 문제 상

황에서 미지수를 설정하여 수학 언어로 변환하는 그 능력 자체만을 의

미한다.

2. 2. 인지요소 계 구조 설정

에서 확정한 인지요소 A1부터 인지요소 A10까지의 총 10개 인지요

소들의 계 구조를 설정하기 해 내부 문가들이 학교 수학교육과

정을 참고하며 여러 차례의 논의를 통해 결정하 다. [그림 Ⅲ-1]은 인지

요소 간의 계를 나타낸 것으로 각 원은 인지요소를, 화살표는 두 요소

간 계 계를 나타낸다.

사칙 계산 식의 계산 인지요소 A1은 일차방정식과 일차부등식

역에서 모든 요소의 가장 기본이 되는 선행 숙달 인지요소로 볼 수 있으

며 인지요소 A1의 숙달 없이 등식의 이해를 의미하는 인지요소 A2의 숙

달은 일어나지 않는다. 즉, 사칙계산과 식의계산이 잘 이루어지지 않는

- 32 -

다면 양변이 같은지 등식의 참·거짓을 확인할 수 없다. 한, 등식의

이해(인지요소 A2)는 일차방정식의 해의 의미(인지요소 A3)와 일차방정

식 풀기(인지요소 A4), 그리고 부등식의 이해(인지요소 A6)의 선행 숙달

인지요소로 설정하 다. 일차방정식의 활용(인지요소 A5)은 일차방정식

풀기(인지요소 A4)와 수 모델링(인지요소 A10)을 선행 숙달 인지요

소로 보았다. 여기서 주의할 은 Gierl(2007)이 제시한 [그림 Ⅱ-2]의 수

렴형 계 모델에서는 인지요소 3 는 인지요소 4가 숙달되면 인지요소

5의 숙달이 가능했다. 즉 ‘OR’의 계로 정의되었으나, 본 연구에서는

이와 같은 수렴형 모델을 ‘AND’의 계로 정의하고 사용한다. 수학

학습에서 한 인지요소가 서로 계 계가 없는 둘 이상의 다른 인지요

소를 모두 선행 인지요소로 갖는다면 그 선행 인지요소들을 모두 숙달해

야 다음 단계의 인지요소 숙달이 가능할 것이라 상하기에 무리가 없

다. 즉, 이러한 계 구조에서 일차방정식의 활용(인지요소 A5)은 일차방

정식 풀기(인지요소 A4)와 수 모델링(인지요소 A10) 두 인지요소를

모두 선행 인지요소로 갖는다.

한 부등식의 이해(인지요소 A6)는 일차부등식의 해의 의미(인지요소

A7)의 선행 인지요소이면서 동시에 일차부등식 풀기(인지요소 A8)의 선

행 인지요소임을 의미한다. 일차방정식의 활용(인지요소 A5)에서와 마찬

가지로 일차부등식의 활용(인지요소 A9)에서도 일차부등식 풀기(인지요

소 A8)과 수 모델링(인지요소 A10) 두 인지요소를 모두 필수 선행

인지요소로 설정한다.

- 33 -

[그림 Ⅲ-1] 본 연 에 정한 지요 계 조

2. 3. 인지요소 간 행렬 작성

인지요소들 간의 계 구조가 결정되었으므로 요소 간 계 방식

(AHM)에 따라 이 구조를 반 한 인 행렬 A와 근행렬 R을 구한다.

인 행렬 A는 요소 간 직 인 계 계를 표 한 것으로, 인지요

소가 총 10개이므로 10×10 차원의 행렬이 된다. ‘직 인’ 계

계란 두 인지요소가 화살표 ‘하나’로 연결된 근 인지요소 간 선행

계 계를 의미한다. 인지요소 A1은 인지요소 A2에 직 인 선행 조

건이 되고, 인지요소 A2는 인지요소 A3, A4, A6의 선행 조건이 된다. 인

지요소 A4는 인지요소 A5에, 인지요소 A6은 인지요소 A7과 A8에, A8은

A9에, A10은 A5와 A9의 선행 조건이 된다. 따라서 인지요소 A1의 직

계 계를 나타내는 첫 번째 행에서는 인지요소 A1을 선행 인지요

소로 갖는 인지요소 A2에 해당하는 (1,2)성분만 1이 된다. 인지요소 A2의

직 계 계를 나타내는 두 번째 행에서는 (2,3), (2,4), (2,6)성분이

1이 되고 나머지는 모두 0이 된다. 인지요소 A3는 어떤 인지요소의 선행

- 34 -

조건도 되지 않으므로 세 번째 행은 모두 0이며, 인지요소 A4는 인지요

소 A5의 선행 조건이므로 (4,5) 성분 역시 1이 된다. 인지요소 A3과 동일

하게 인지요소 A5는 어떤 인지요소의 선행 조건도 아니므로 다섯 번째

행 역시 모두 0이 된다. 이와 같은 방식으로 인 행렬을 구한 것이 다음

의 <표 Ⅲ-3>이다.

　 A1 A2 A3 A4 A10 A5 A6 A7 A8 A9

A1 0 1 0 0 0 0 0 0 0 0

A2 0 0 1 1 0 0 1 0 0 0

A3 0 0 0 0 0 0 0 0 0 0

A4 0 0 0 0 0 1 0 0 0 0

A10 0 0 0 0 0 1 0 0 0 1

A5 0 0 0 0 0 0 0 0 0 0

A6 0 0 0 0 0 0 0 1 1 0

A7 0 0 0 0 0 0 0 0 0 0

A8 0 0 0 0 0 0 0 0 0 1

A9 0 0 0 0 0 0 0 0 0 0

< Ⅲ-3> [그림 Ⅲ-1] 계 조를 한 접행렬 A

근행렬 R은 인지요소들 간의 직 인 계 계 뿐만 아니라 간

인 계 계까지 모두 나타낸 행렬로 인 행렬 A과 동일하게 ×

행렬이다. 따라서 인 행렬 A에서는 요소들 간의 직 ·간 계

계 모두 ‘1’로 표시한다. ‘간 ’ 계 계란, 화살표가 하나

이상으로 연결된 선행 계 계를 의미한다. 근행렬은 인 행렬 A에

항등행렬 를 더하여 계속 곱해도 동일한 행렬이 나올 때까지 반복해서

- 35 -

얻어진 행렬로 볼 수 있으며 다음과 같이 나타낼 수 있다.

R A A⋯

인지요소 A1은 직 으로는 인지요소 A2에만 선행 인지요소이지만 간

으로는 인지요소 A3, A4, A5, A6, A7, A8, A9 의 선행 인지요소가

된다. 따라서 근행렬 R의 첫 번째 행은 (1,10) 성분을 제외하고 모두 1

이다. 인지요소 A2는 인지요소 A3, A4, A5, A6, A7, A8, A9의 직 ·

간 선행 인지요소이므로 두 번째 행 역시 (2,2), (2,3), …, (2,9)까지

모두 1임을 알 수 있다. 방식으로 인지요소들 간의 모든 직·간

계 계를 1로 나타내면 다음의 <표 Ⅲ-4>과 같다.

　 A1 A2 A3 A4 A10 A5 A6 A7 A8 A9

A1 1 1 1 1 0 1 1 1 1 1

A2 0 1 1 1 0 1 1 1 1 1

A3 0 0 1 0 0 0 0 0 0 0

A4 0 0 0 1 0 1 0 0 0 0

A10 0 0 0 0 1 1 0 0 0 1

A5 0 0 0 0 0 1 0 0 0 0

A6 0 0 0 0 0 0 1 1 1 1

A7 0 0 0 0 0 0 0 1 0 0

A8 0 0 0 0 0 0 0 0 1 1

A9 0 0 0 0 0 0 0 0 0 1

< Ⅲ-4> [그림 Ⅲ-1] 계 조를 한 접근행렬 R

- 36 -

2. 4. 인지요소 간 계를 반 한 검사도구 제작 시행

검사지는 수업 한 시수( 학교 기 45분) 안에 마쳐야 하는 검사 환

경과 인지요소의 수를 고려하여 구성하 다. 본 연구에서 설정한 인지요

소들을 충실히 잘 측정할 수 있는 문항을 선정하기 해 여러 교과서를

토 로 수학․ 과학 성취도 추이변화 국제비교연구(TIMSS)와 국제학업성취

도평가(PISA)의 공개 문항들을 참고하여 검사지를 작성하 으며, 진단평

가의 취지에 맞도록 체로 평이한 문항으로 구성하 다.

2015년 8월 , 64명의 학교 2학년 학생들을 상으로 24개의 문항

으로 구성된 비 검사를 실시하 다. 비 검사를 통해 검사의 신뢰도

(cronbach’s alpha = .93), 문항의 난이도 변별도 등을 분석한 결과

기존 문항을 그 로 유지하기로 하 으며, 더욱 신뢰도 있는 측정을

해 ‘등식의 이해’에 한 인지요소 A2를 집 으로 측정할 수 있는

한 개의 문항을 추가하여 최종 으로 25개 문항의 본 검사지를 확정하

다. 비 검사지와 본 검사지는 부록에 실어두었다. 검사지는 다른 변인

을 통제하고 분석의 정확도를 높이기 해 A형/B형/C형 세 가지 유형으

로 제작하여 진행하 다. 세 가지 유형은 문항 개수와 내용은 동일하게

구성되어 있으며 문항의 순서만 뒤섞었다.

검사지를 완성한 후, 학생들의 응답 데이터를 분석하는데 기반이 되는

Q행렬을 제작하 다. Q행렬은 문항과 각 문항이 측정하는 인지요소들의

계를 명시한 것으로 문항을 해결하는데 요구되는 요소는 ‘1’로, 요

구되지 않는 요소는 ‘0’으로 표시한다. 검사지를 분석하여 연구자가

일차 으로 Q행렬을 작성한 후 다른 수학교육 문가들의 검토 수정

을 통해 본 연구의 Q행렬을 최종 으로 완성되었다. 본 연구의 검사 검

사지 Q행렬 <표 Ⅲ-5>과 같다.

그 후, 6개 학교를 섭외하여 연구자가 직 각 학 에 들어가 연구 내

용과 진행 차에 해 설명했으며 동의서를 나눠주는 과정을 거쳤다.

학생 학부모의 동의서는 각 반의 담임선생님 혹은 수학 교과 선생님

- 37 -

을 통해 회수하 으며 검사는 각 반 교실에서 수학 교과 선생님의 지도

아래 45분간 시행되었다.

문항　A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 합계

1 1 0 0　 0　 0　 0　 0　 0　 0　 0　 1

2 1 0　 0　 0　 0　 0　 0　 0　 0　 0 1

3 1 1 0　 0　 0　 0　 0　 0　 0　 0　 2

4 1 1 0　 0　 0　 0　 0　 0　 0　 0 2

5 1 1 1 0　 0　 0　 0　 0　 0　 0　 3

6 1 1 1 0　 0　 0　 0　 0　 0　 0　 3

7 1 1 0　 1 0　 0　 0　 0　 0　 0　 3

8 1 1 1 1 0　 0　 0　 0　 0　 0　 4

9 1 1 1 0　 0　 0　 0　 0　 0　 1 4

10 1 0　 0　 0　 0　 0　 0　 0　 0　 1 2

11 1 1 0　 1 1 0　 0　 0　 0　 1 5

12 1 1 0　 1 1 0　 0　 0　 0　 1 5

13 1 1 0　 0　 0　 1 0　 0　 0　 0　 3

14 1 1 0　 0　 0　 1 0　 0　 0　 0　 3

15 1 1 0　 0　 0　 1 0　 1 0　 0　 4

16 1 1 0　 0　 0　 1 1 0　 0　 0　 4

17 1 1 0　 0　 0　 1 1 1 0　 0　 5

18 1 1 0　 0　 0　 1 0　 1 0　 0　 4

19 1 1 0　 0　 0　 1 0 1 0　 0　 4

20 1 1 0　 0　 0　 1 0　 1 0　 0　 4

21 1 1 0　 0　 0　 1 0　 1 1 1 6

22 1 1 0　 0　 0　 1 0　 1 1 1 6

23 1 1 0　 0　 0　 1 0　 1 1 1 6

24 1 1 0 1 1 0　 0　 0　 0　 1 5

25 1 1 0 0　 0　 1 0　 1 1 1 6

<표 Ⅲ-5> 본 연구에서 구성한 검사지의 Q행렬

- 38 -

2. 5. 인공신경망 용 데이터 분석

검사 종료 후, 수학 교과 선생님으로부터 달받은 검사지를 채 하여

이를 분석 데이터로 환하 다. 한 인공신경망 분석을 실시하기 하

여 먼 기계학습을 시키기 한 학습 데이터(training set)를 구성하

다. 이를 해 앞서 정한 계구조를 따르는 모든 가능한 인지상태와 그

에 따른 이상 반응 유형을 학습 데이터(training set)로 사용하 다. 요소

의 수가 10개이면 이론 으로 가능한 모든 인지상태(요소의 숙달 조합)

는 총 가지다. 그러나 앞서 설명하 듯이 요소 간 계 방식

이론에서는 인지요소들 간 계 계를 가정하므로 Boolean Algebra

operation에 의해 경우의 수를 일 수 있었다. 본 연구의 계 구조를

반 했을 때 가능한 요소 숙달 조합은 총 66개 다. 이 인지요소 숙달

조합이 인공신경망 학습 시에 학습 데이터(training set)의 목표 출력

(target output)으로 사용되며, 각 인지요소 숙달 조합에 따른 문항에

한 이상 반응 유형은 학습 데이터의 입력(training input)에 으로 사용된

다. 학습 데이터를 모두 나타낸 것이 <표 Ⅲ-5>과 <표 Ⅲ-6>이다.

인공신경망에 학습 데이터를 이용하여 기계 학습(machine learning)

을 하면 각 node 사이의 가 치(weight)를 모아놓은 가 치 행렬이 구해

지게 된다. 본 연구에서는 은닉층(hidden layer)과 은닉노드(hidden unit)

의 수가 각각 1개와 11개인 모델로 설정하여 사용하 다. 이 게 학습된

모델에 검사를 통해 얻은 학생들의 실제 문항 응답을 입력하면 각 학생

들의 문항 반응 유형에 따른 인지요소 숙달 로 일을 출력값으로 얻게

된다.

- 39 -

No. 인지요소 숙달 조합 이상 반응 유형

1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 02 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 03 1 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 04 1 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 05 1 1 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 06 1 1 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 07 1 1 1 0 0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 08 1 1 1 0 0 0 0 0 0 1 1 1 1 1 1 1 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 09 1 1 0 1 0 0 0 0 0 0 1 1 1 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 010 1 1 0 1 0 0 0 0 0 1 1 1 1 1 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 011 1 1 1 1 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 012 1 1 1 1 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 013 1 1 0 1 1 0 0 0 0 1 1 1 1 1 0 0 1 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0 1 014 1 1 1 1 1 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 1 015 1 1 0 0 0 1 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 016 1 1 0 0 0 1 0 0 0 1 1 1 1 1 0 0 0 0 0 1 0 0 1 1 0 0 0 0 0 0 0 0 0 0 017 1 1 1 0 0 1 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 018 1 1 1 0 0 1 0 0 0 1 1 1 1 1 1 1 0 0 1 1 0 0 1 1 0 0 0 0 0 0 0 0 0 0 019 1 1 0 1 0 1 0 0 0 0 1 1 1 1 0 0 1 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 020 1 1 0 1 0 1 0 0 0 1 1 1 1 1 0 0 1 0 0 1 0 0 1 1 0 0 0 0 0 0 0 0 0 0 021 1 1 1 1 0 1 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 022 1 1 1 1 0 1 0 0 0 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 0 0 0 0 0 0 0 0 0 0 023 1 1 0 1 1 1 0 0 0 1 1 1 1 1 0 0 1 0 0 1 1 1 1 1 0 0 0 0 0 0 0 0 0 1 024 1 1 1 1 1 1 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 1 025 1 1 0 0 0 1 1 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 1 1 0 1 0 0 0 0 0 0 0 0 026 1 1 0 0 0 1 1 0 0 1 1 1 1 1 0 0 0 0 0 1 0 0 1 1 0 1 0 0 0 0 0 0 0 0 027 1 1 1 0 0 1 1 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 1 1 0 1 0 0 0 0 0 0 0 0 028 1 1 1 0 0 1 1 0 0 1 1 1 1 1 1 1 0 0 1 1 0 0 1 1 0 1 0 0 0 0 0 0 0 0 029 1 1 0 1 0 1 1 0 0 0 1 1 1 1 0 0 1 0 0 0 0 0 1 1 0 1 0 0 0 0 0 0 0 0 030 1 1 0 1 0 1 1 0 0 1 1 1 1 1 0 0 1 0 0 1 0 0 1 1 0 1 0 0 0 0 0 0 0 0 031 1 1 1 1 0 1 1 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 1 1 0 1 0 0 0 0 0 0 0 0 0

<표 Ⅲ-6> 인지요소 숙달 조합 이상 반응 유형

- 40 -

32 1 1 1 1 0 1 1 0 0 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 0 1 0 0 0 0 0 0 0 0 033 1 1 0 1 1 1 1 0 0 1 1 1 1 1 0 0 1 0 0 1 1 1 1 1 0 1 0 0 0 0 0 0 0 1 034 1 1 1 1 1 1 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 0 0 0 0 0 0 1 035 1 1 0 0 0 1 0 1 0 0 1 1 1 1 0 0 0 0 0 0 0 0 1 1 1 0 0 1 1 1 0 0 0 0 036 1 1 0 0 0 1 0 1 0 1 1 1 1 1 0 0 0 0 0 1 0 0 1 1 1 0 0 1 1 1 0 0 0 0 037 1 1 1 0 0 1 0 1 0 0 1 1 1 1 1 1 0 0 0 0 0 0 1 1 1 0 0 1 1 1 0 0 0 0 038 1 1 1 0 0 1 0 1 0 1 1 1 1 1 1 1 0 0 1 1 0 0 1 1 1 0 0 1 1 1 0 0 0 0 039 1 1 0 1 0 1 0 1 0 0 1 1 1 1 0 0 1 0 0 0 0 0 1 1 1 0 0 1 1 1 0 0 0 0 040 1 1 0 1 0 1 0 1 0 1 1 1 1 1 0 0 1 0 0 1 0 0 1 1 1 0 0 1 1 1 0 0 0 0 041 1 1 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 0 0 0 0 1 1 1 0 0 1 1 1 0 0 0 0 042 1 1 1 1 0 1 0 1 0 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 1 0 0 1 1 1 0 0 0 0 043 1 1 0 1 1 1 0 1 0 1 1 1 1 1 0 0 1 0 0 1 1 1 1 1 1 0 0 1 1 1 0 0 0 1 044 1 1 1 1 1 1 0 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 1 0 0 0 1 045 1 1 0 0 0 1 1 1 0 0 1 1 1 1 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 046 1 1 0 0 0 1 1 1 0 1 1 1 1 1 0 0 0 0 0 1 0 0 1 1 1 1 1 1 1 1 0 0 0 0 047 1 1 1 0 0 1 1 1 0 0 1 1 1 1 1 1 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 048 1 1 1 0 0 1 1 1 0 1 1 1 1 1 1 1 0 0 1 1 0 0 1 1 1 1 1 1 1 1 0 0 0 0 049 1 1 0 1 0 1 1 1 0 0 1 1 1 1 0 0 1 0 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 050 1 1 0 1 0 1 1 1 0 1 1 1 1 1 0 0 1 0 0 1 0 0 1 1 1 1 1 1 1 1 0 0 0 0 051 1 1 1 1 0 1 1 1 0 0 1 1 1 1 1 1 1 1 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 052 1 1 1 1 0 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 1 1 1 1 1 1 0 0 0 0 053 1 1 0 1 1 1 1 1 0 1 1 1 1 1 0 0 1 0 0 1 1 1 1 1 1 1 1 1 1 1 0 0 0 1 054 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 1 055 1 1 0 0 0 1 0 1 1 1 1 1 1 1 0 0 0 0 0 1 0 0 1 1 1 0 0 1 1 1 1 1 1 0 156 1 1 1 0 0 1 0 1 1 1 1 1 1 1 1 1 0 0 1 1 0 0 1 1 1 0 0 1 1 1 1 1 1 0 157 1 1 0 1 0 1 0 1 1 1 1 1 1 1 0 0 1 0 0 1 0 0 1 1 1 0 0 1 1 1 1 1 1 0 158 1 1 1 1 0 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 1 0 0 1 1 1 1 1 1 0 159 1 1 0 1 1 1 0 1 1 1 1 1 1 1 0 0 1 0 0 1 1 1 1 1 1 0 0 1 1 1 1 1 1 1 160 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 1 1 1 1 1 161 1 1 0 0 0 1 1 1 1 1 1 1 1 1 0 0 0 0 0 1 0 0 1 1 1 1 1 1 1 1 1 1 1 0 162 1 1 1 0 0 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 0 0 1 1 1 1 1 1 1 1 1 1 1 0 163 1 1 0 1 0 1 1 1 1 1 1 1 1 1 0 0 1 0 0 1 0 0 1 1 1 1 1 1 1 1 1 1 1 0 164 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 1 1 1 1 1 1 1 1 1 0 165 1 1 0 1 1 1 1 1 1 1 1 1 1 1 0 0 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 166 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

- 41 -

[그림 Ⅲ-2] 11개의 은닉노드로 학습된 인공신경망

- 42 -

2. 6. 모의 실험 데이터 생성 분석

모의 실험 데이터를 활용하여 이론 데이터를 활용하여 학습시킨 인

공신경망 모델의 정확성을 살펴본다. [그림 Ⅲ-3]은 본 과정을 도식으로

나타낸 것이다.

먼 인지요소 숙달 유형에 한 모의 실험 데이터를 생성한다. 인지

요소 A1부터 인지요소 A10까지 총 10개의 인지요소에 한 숙달 여부로

이루어져있으며, 표본의 크기는 개로 생성한다. 데이터 생성은 계

구조에서 어떤 선행 인지요소도 갖지 않는 독립 인 인지요소들의 숙달

확률(marginal probability)을 포함하여 각각의 인지요소들과 선행 숙달

인지요소 간의 숙달 계에 한 비율을 설정하여 얻게 된다. 인지요소

들과 선행 숙달 인지요소 간의 숙달 계는 선행 숙달 인지요소를 숙달

하 을 때 후행 인지요소를 숙달할 확률과 선행 숙달 인지요소를 숙달하

지 못하 을 때 후행 인지요소를 숙달할 확률 등을 의미한다. 그러나 본

연구에서는 계 구조에서 사 인지요소를 숙달하지 않으면 후행 인지

요소의 숙달이 불가한 것으로 가정하고 있으므로 후자의 확률은 0으로

가정한다.

본 연구에서 설정한 계 구조 [그림 Ⅲ-1]에 따르면 인지요소 A1부터

인지요소 A10까지 총 10개의 인지요소 사칙계산 식의 계산에 해

당하는 인지요소 A1과 기 인 수 모델링에 해당하는 인지요소

A10은 사 에 필수 으로 숙달되어야 할 선행 인지요소가 없는 독립

인 숙달 인지요소이므로 두 인지요소의 숙달 확률(marginal probability)

을 다음과 같이 먼 설정해 다.

,

인지요소 A1은 0.9의 확률로, 인지요소 A10은 0.8의 확률로 각각 독립

으로 숙달한 모의 실험 데이터를 얻는다. 남은 인지요소 A2부터 인지

- 43 -

1. 해 거리 (Hamming distance)

2. 민감도/특 도 적용(Sensitivity/Specificity)

guessing

slip

� 주변확률(Marginal probability)

P(A1), P(A10)

� 조건 확률(Conditional probability)

P(A2|A1), P(A2|notA1),

P(A5|A4, A10), …

� 지 턴 차 를 통해

공신경망 정확도 추정

� (가상) 지 숙달 턴 생

표본 수 : ×

� 문항 턴 생

(Item response patterns)

× /1가지 * 19가지

학습된 공신경망 적용

� ( 공신경망 적용하여 나 )

지 숙달 턴 생

× /1가지 * 19가지

[그림 Ⅲ-3] 모의 실험 데이터를 이용한 인공신경망 모델의 정확도 측정 과정

- 44 -

요소 A9까지 8개 인지요소의 숙달여부는 각 인지요소들의 선행 인지요

소를 가질 때 해당 인지요소를 가질 조건부 확률(conditional probability)

에 의해 확률 으로 결정된다. 모의 실험 데이터를 해 설정한 조건부

확률을 나타낸 것이 <표 Ⅲ-7>이다.

선행 인지요소를 가질 때 선행 인지요소를 갖지 않을 때

.90 .0

.90 .0

.85 .0

.85

.0

.0

.0

.88 .0

.90 .0

.85 .0

.75

.0

.0

.0

<표 Ⅲ-7> 모의 실험 데이터 생성을 한 조건부 숙달 확률 설정

를 들어 [그림 Ⅲ-1]에서 인지요소 A1과 인지요소 A2는 A1 → A2의

계 계를 갖는다. 따라서 인지요소 A2의 숙달 패턴은 인지요소 A1을

숙달했을 때 인지요소 A2를 숙달할 확률과 인지요소 A1을 숙달하지 못

했을 때 인지요소 A2를 숙달할 확률을 이용하여 얻을 수 있다. 0.9의 확

률로 인지요소 A1을 숙달한 것( )으로 나온 데이터들은 다시 0.9의

확률( )로 인지요소 A2를 숙달한다. 한 인지요소

A1을 숙달하지 않은( ) 데이터들은 0의 확률( )

- 45 -

로 인지요소 A2를 숙달한 것으로 나오는데 이 경우는 존재하지 않는다.

이러한 과정을 통해 얻어진 인지요소 A2의 숙달 비율은 다음과 같은 식

으로도 나타날 수 있다.

××

동일한 방식으로 A2 → A3, A2 → A4, A2 → A6, A6 → A7, A6 →

A8의 계 계에 해 앞서 <표 Ⅲ-7>의 조건부 확률을 이용하여 인지

요소 A3, A4, A6, A7, A8의 숙달 여부도 동일하게 얻을 수 있다. 이 인

지요소들은 선행 인지요소가 모두 하나인 경우 으나 인지요소 A5와 A9

는 선행 인지요소를 두 개씩 갖는다. 각각 인지요소 A4와 인지요소 A10,

인지요소 A8과 인지요소 A10를 선행 인지요소로 갖는다. 그러나 이 경

우도 이 과 유사한 방식으로 결정될 수 있다. 인지요소 A5의 숙달 여부

는 인지요소 A4와 인지요소 A10을 모두 숙달한 경우에 인지요소 A5를

숙달할 확률 , 인지요소 A4와 인지요소 A10

에서 하나만 가진 경우에 인지요소 A5를 숙달할 확률

과 , 인지요소 A4와 인

지요소 A10을 모두 갖지 않을 때 인지요소 5를 숙달할 확률

에 의해 구해진다. 이는 <표 Ⅲ-7>에서 볼 수

있듯이 선행 인지요소를 모두 숙달했을 때 인지요소 A5를 숙달할 확률

만 0.85이고 나머지 확률은 모두 0이므로, 인지요소 A4와 인지요소 A10

을 모두 가진 데이터 에서 0.85의 확률로 인지요소 A5가 숙달( )

한 것으로 나타난다. 동일하게 인지요소 A9의 숙달 패턴도 얻을 수 있

다.

이 게 인지요소 A1부터 인지요소 A10까지 총 10개의 인지요소 숙달

여부에 한 모의 실험 데이터를 얻은 후, 문항별로 guessing과 slip의 값

을 정해 으로써 각 인지요소 숙달 상태에 한 문항 반응 유형을 얻는

- 46 -

다. guessing 는 문항 를 해결하는데 필요로 하는 숙달요소들 미숙

달 인지요소가 어도 하나 있음에도 불구하고 문항 를 맞힐 확률을 의

미하며 slip 은 문항 를 해결하는데 필요로 하는 숙달요소를 모두 숙

달하 으나 문항 를 틀릴 확률을 의미한다. 즉, 는 문항 를 해결

하기 해 필요한 모든 인지요소를 숙달하고 있을 때 인지요소들을 잘

용하여 문항을 맞힐 확률이다.

먼 guessing은 학생이 특정 문항을 해결하는데 필요한 모든 인지요

소를 갖지 못할 때 문항을 맞힐 확률이나 본 연구에서는 이를 문항별로

다르게 잡을만한 근거가 없어 모든 문항에 동일한 수치를 부여하 다.

slip은 특정 문항을 해결하는데 필요한 모든 인지요소를 갖고 있음에도

문항을 틀릴 확률로, 이 경우 난이도와 련이 있다고 보아 각 문항의

난이도를 고려하여 부여하 다. 난이도를 먼 상, , 하 세 가지로 나

어 각 문항에 해 slip 값도 세 가지로 부여하 다. 그러나 이때 설정

한 guessing과 slip 값이 모델의 정확도에 큰 향을 수 있으므로

guessing은 0.4, 0.3, 0.2, 0.15, 0.10, 0.05 총 여섯 가지의 경우로 나 고

slip은 각 문항의 난이도에 따라 그 값이 0.1, 0.3, 0.5로 부여된 set1, 0.1,

0.2, 0.3으로 부여된 set2, 0.05, 0.10, 0.15로 부여된 set3 이 게 세 가지

의 경우로 나 어 총 18가지의 경우에 해 용하 다. 한 guessing과

slip에 한 마지막 19번째 경우로 실제 936명의 학생들의 데이터를

DINA 인지진단모형에 용하여 얻은 문항별 guessing과 slip의 값을 사용

하 다. 마지막 경우까지 총 19가지의 경우에 한 구체 인 guessing과

slip은 값은 <표 Ⅲ-8>와 <표 Ⅲ-9>에서 확인할 수 있다. set4는 마지막

19번째 경우 S의 guessing과 slip 값을 의미한다.

앞서 얻은 개의 인지요소 숙달 패턴 모의 실험 데이터에 19가지의

guessing과 slip 설정을 용하여 각 인지상태에 따른 문항 반응 패턴에

한 데이터을 얻는다. guessing과 slip의 값에 따라 확률 으로 각 인지

상태에 따른 문항 반응 패턴이 결정되며 이는 다음과 같은 수식으로도

표 될 수 있다.

- 47 -

는 문항 의 정답 여부를 나타내는 것으로 은 문항 을 맞춘

경우, 은 문항 를 틀린 경우를 의미한다. 는 학생이 문항 를

해결하는 데 필요로 하는 모든 인지요소를 숙달했는지 여부를 나타낸다.

즉 이면 해당 모든 인지요소를 숙달, 이면 그 어도 하나

미숙달인 상태를 의미한다.

를 들어 인지요소 1과 인지요소 2를 측정하는 3번 문항에 해

guessing 가 0.40이고 slip 이 0.1인 A의 경우 만약 학생이 인지요소

1과 인지요소 2를 가지고 있다면 인 0.9의 확률로, 둘 하나를 갖

고 있지 않다면 인 0.40의 확률로 3번 문항을 추측하여 맞힐 것이라

상할 수 있다. 이 게 문항의 guessing과 slip의 값을 이용하여 각 문항

A B C D E F

guessing 0.40 0.30 0.20 0.15 0.10 0.05

slip set1

G H I J K L

guessing 0.40 0.30 0.20 0.15 0.10 0.05

slip set2

M N O P Q R

guessing 0.40 0.30 0.20 0.15 0.10 0.05

slip set3

S

guessing set4

slip set4

< Ⅲ-8> guessing과 slip 값에 대한 19가지 정

- 48 -

에 한 반응 데이터를 생성한다.

이 모든 과정을 A부터 S까지 총 19가지의 경우에 해 동일하게 진행

하여 체 19가지의 경우에 한 모의 실험 데이터를 얻는다. <표 Ⅲ

-10>은 guessing가 0.40이고 slip은 set1로 설정된 경우 A의 모의 실험 데

이터 일 일부이다.

19가지의 모의 실험 데이터를 이용하여 인공신경망 분석 방식의 정

확성을 측정하기 해 모의 실험 데이터의 문항 반응 패턴을 학습된 인

공신경망에 입력시켜 출력되는 인지요소 숙달 패턴을 구한다. 이를 처음

에 주변확률(marginal probability)과 조건부확률(conditional probability)를

이용하여 구했던 인지요소 숙달 패턴과의 차이를 살펴본다. 두 패턴의

차이를 분석하는 방식으로 해 거리(hamming distance)와 민감도

(sensitivity), 특이도(specificity) 등을 이용하여 분석을 진행한다.

- 49 -

문항()1-slip(1-) guessing

set1 set2 set3 set4 set4

1 0.9 0.9 0.95 0.94 0.23

2 0.9 0.9 0.95 0.99 0.29

3 0.9 0.9 0.95 0.99 0.69

4 0.9 0.9 0.95 0.80 0.38

5 0.9 0.9 0.95 0.92 0.47

6 0.9 0.9 0.95 0.98 0.70

7 0.9 0.9 0.95 0.95 0.53

8 0.7 0.8 0.9 0.78 0.11

9 0.9 0.9 0.95 0.93 0.26

10 0.9 0.9 0.95 1.00 0.51

11 0.7 0.8 0.9 0.93 0.37

12 0.7 0.8 0.9 0.97 0.53

13 0.9 0.9 0.95 0.98 0.66

14 0.9 0.9 0.95 0.69 0.21

15 0.9 0.9 0.95 0.88 0.31

16 0.9 0.9 0.95 0.96 0.51

17 0.9 0.9 0.95 0.87 0.32

18 0.9 0.9 0.95 0.95 0.47

19 0.7 0.8 0.9 0.94 0.30

20 0.9 0.9 0.95 0.40 0.16

21 0.7 0.8 0.9 0.92 0.53

22 0.5 0.7 0.85 0.52 0.25

23 0.5 0.7 0.85 0.56 0.23

24 0.7 0.8 0.9 0.90 0.39

25 0.5 0.7 0.85 0.80 0.26

< Ⅲ-9> guessing과 slip 정 값

- 50 -

인지요소 숙달 유형 문항 반응 유형

A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 i1 i2 i3 i4 i5 i6 i7 i8 i9 i10 i11 i12 i13 i14 i15 i16 i17 i18 i19 i20 i21 i22 i23 i24 i25

1 1 1 1 1 0 1 1 0 0 0 1 0 1 1 1 1 1 1 0 1 1 0 0 1 0 1 1 0 0 1 0 1 1 0 0

2 1 1 1 0 0 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 0

3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0

4 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 0 1 0 1

5 1 1 1 1 0 1 1 1 0 0 1 1 1 1 1 1 0 0 0 0 1 0 1 1 1 1 1 1 1 1 0 0 0 1 1

6 1 1 1 1 0 1 1 1 1 1 0 1 1 1 0 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 0 0 0

7 1 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 1 0 0 0 1 0 0

8 1 1 1 1 1 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 1 1 0 1 1 0 0 1 1 0

9 1 1 0 1 1 1 1 1 0 1 1 1 1 1 0 0 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

10 0 0 0 0 0 0 0 0 0 1 0 0 0 1 1 0 1 1 1 1 0 1 0 1 0 0 1 0 1 1 1 0 1 0 0

11 0 0 0 0 0 0 0 0 0 1 0 1 0 0 0 1 1 1 0 1 0 0 1 0 1 0 0 0 1 1 0 0 0 1 0

12 1 1 1 1 0 1 1 1 0 1 1 1 1 1 1 0 1 1 1 1 0 1 1 1 1 1 1 0 1 1 0 0 1 0 0

13 1 1 1 1 0 1 1 0 0 0 1 1 1 1 0 1 1 1 0 0 1 0 1 1 0 1 0 0 0 0 1 0 0 1 1

14 1 1 1 1 1 1 1 1 0 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 1 1 1 1

15 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 0 0 1 0 1 1 1 1 0 1 1 0 0 0 1

16 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 1 0 1 0 0 0 1 0 0 1 0 0 1 0 1

17 1 1 1 0 0 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1

18 1 1 0 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0 1 1 0 1 1 1 1 1 1 0 1 1 1 0 0 0

19 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 0 1 0 1 1 1 1 1 1 1 0 1 0 1 1

20 1 1 1 0 0 1 0 1 1 1 1 1 1 1 1 1 0 1 1 1 0 0 1 1 1 0 1 1 1 1 1 0 0 0 0

21 1 0 0 0 0 0 0 0 0 0 1 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 1 1 0 1 1 0 0 0 0

22 1 1 1 1 0 1 1 1 0 0 1 1 1 1 1 1 1 0 0 1 0 0 1 1 0 0 1 1 0 1 1 0 0 0 0

23 1 1 1 0 0 1 1 1 0 1 0 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0 0 0 0 0

24 1 1 1 1 0 1 1 1 1 1 1 1 1 1 0 1 1 1 0 1 0 0 1 1 1 1 1 1 1 1 0 1 0 0 0

… … …

999 1 1 1 0 0 1 1 0 0 1 1 1 1 1 1 1 1 0 1 1 1 0 1 1 0 1 1 0 0 0 1 0 1 0 1

1000 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0 0 1 1 1 0 1 1 0

< Ⅲ-10> 경우 A(guessing 1.40, slip set1) 모 실험 데 터

- 51 -

IV. 연구 결과

1. 일차방정식과 일차부등식 역에서 학생들의 인지

요소 숙달 양상

1. 1. 인지요소 로 일

인공신경망 분석 방식으로 학생별 문항 반응 유형(정답‘1’, 오답

‘0’)에 따른 인지요소 숙달 확률을 추정하 다. 인지요소 숙달 확률이

란 학생이 검사가 측정하는 각 인지요소를 숙달할 확률을 말하는 것으로

학생이 응답한 검사지의 문항들과 문항이 측정하는 요소들 사이의 계

에 근거하여 학생들의 문항 반응 유형을 추정한다. 인공신경망 모델에서

학생의 문항 반응 유형이 input이 되고 그에 따른 인지요소 숙달 확률이

output이 된다. 따라서 동일한 총 이어도 문항 반응 패턴이 달라지면

그에 따라 인지요소 숙달 확률도 달라질 수 있다. 이를 나타낸 것이 다

음의 <표 Ⅳ-1>이다.

학생 문항 반응 유형 총인지요소 숙달 확률

A1 A2 A3 A4 A5 A6 A7 A8 A9 A10

A 1110111001111000000000000 15 0.99 1.00 0.97 0.99 0.99 0.91 0.04 0.66 0.15 0.98

B 1111111000001110000000000 15 0.99 1.00 0.95 0.95 0.04 0.99 0.98 0.87 0.18 0.18

C 1111111011001010000000000 15 1.00 1.00 0.97 0.93 0.08 0.98 0.89 0.87 0.33 0.98

D 1111111111111110000000000 15 1.00 1.00 0.98 0.98 0.95 0.99 0.02 0.07 0.00 0.99

<표 Ⅳ-1> 동일한 총 인 학생들의 인지요소 숙달 확률

A, B, C, D 네 학생은 모두 총 이 15 으로 동일하지만 서로 다른 문

항 반응 유형을 가지고 있으며 인지요소 숙달 확률도 다르게 나온 것을

- 52 -

확인할 수 있다. 이 게 각각의 학생에 해 얻은 인지요소 숙달 확률을

다시 특정 값을 기 으로 숙달과 미숙달로 단한다. 본 연구에서는 이

러한 기 값으로 가장 보편 으로 사용되는 0.5를 사용하 다. 요소의

숙달 확률이 0.5 이상이면 ‘1’(숙달)로, 미만이면 ‘0’(미숙달)로 추정

한다. <표 Ⅳ-2>는 이 게 얻은 인지요소 로 일 일부이다.

학생 문항 반응 패턴 총인지요소 로 일

A 1110111001111000000000000 15 1111110101

B 1111111000001110000000000 15 1111011100

C 1111111011001010000000000 15 1111011101

D 1111111111111110000000000 15 1111110001

E 1111111011111111010000011 18 1111111101

F 1111111011101111110011010 19 1111111101

G 1111111111101011111011010 20 1111111101

H 1111111111111111111010010 21 1111111101

<표 Ⅳ-2> 일부 학생들의 문항 반응 유형과 인지요소 로 일

<표 Ⅳ-2>의 학생 A, 학생 B, 학생 C, 학생 D는 <표 Ⅳ-1>에서 총 이

15 이었던 동일한 학생들로 0.5를 기 으로 인지요소 숙달 유형을 확정

할 수 있다. 학생 A의 인지요소 숙달 유형은 [1111110101]으로 인지요소

A7과 인지요소 A9을 제외한 모든 인지요소들을 숙달했으며 학생 B는 인

지요소 숙달 유형이 [1111011100]으로 인지요소 A5와 A9, A10을 제외한

다른 모든 인지요소들을 숙달했음을 알 수 있다. 이 듯 서로 동일한 문

항 개수를 맞췄으나 맞춘 문항이 각기 다른 경우 문항 반응 패턴도 다르

므로 인지요소 숙달 유형도 달라진다. 즉 동일한 수의 학생들도 인지

상태가 다를 수 있음을 확인할 수 있다. 반 로 학생 E, 학생 F, 학생 G,

학생 H는 각각 총 이 18 , 19 , 20 , 21 으로 다르고 문항 반응 패

턴도 모두 다르지만 인지요소 숙달 유형은 [1111111101]로 모두 동일하

- 53 -

게 나타났음을 볼 수 있다. 이 게 모든 학생들은 문항 반응 패턴에 따

라 각자의 인지요소 숙달 유형을 갖게 된다.

<표 Ⅳ-3>는 체 학생들의 인지요소 로 일 가장 큰 비율을 차

지하는 10가지의 로 일만을 순서 로 나타낸 것이다. 체 로 일

은 부록에 제시하 다. 체 학생 가장 큰 비율을 차지하는 인지요소

숙달 유형은 [1111111111]으로 체의 30.77% 학생들이 모든 인지요소를

숙달한 것으로 나왔다. 두 번째로 많은 비율을 차지한 유형은 다른 인지

요소는 모두 숙달하 으나 부등식의 활용에 해당하는 인지요소 A9만 미

숙달한 유형(인지요소 숙달 유형 [1111111101])이었다. 그 다음으로 부등

식의 성질을 이용하여 일차부등식 풀기와 부등식의 활용에 해당하는 인

지요소 A8과 A9을 숙달하지 못한 학생(인지요소 숙달 유형

[1111111001])이 체의 4.06%로 세 번째 다. 네 번째로 방정식의 활용

과 부등식에 활용에 해당하는 인지요소 A5와 A9가 미숙달인 학생(인지

요소 유형 [1111011101])은 체 3.42%, 다섯 번째로 일차 부등식의 해의

의미에 해당하는 인지요소 A7을 미숙달한 학생(인지요소 숙달 유형

[1111110111])과 일차 부등식의 해의 의미와 일차 부등식의 활용에 해당

하는 인지요소 A7과 A9를 미숙달한 학생(인지요소 숙달 유형

[1111110101])이 2.46%로 나타났다.

이 외에 여덟 번째로 많은 비율을 차지한 [1110111111]은 일차 방정식

풀기에 해당하는 인지요소 A4만 미숙달인 경우로 이 유형은 본 연구에

서 설정한 [그림 Ⅲ-1]의 인지요소 계 구조에서 벗어나 있는 경우이다.

[그림 Ⅲ-1]의 계 구조에서 인지요소 A5를 숙달한 사람은 반드시 인지

요소 A4의 숙달이 선행되어야 하지만 [1110111111]의 경우는 인지요소

A4를 숙달하지 않은 채로 인지요소 A5를 숙달한 경우로 설정한 계 구

조와 차이가 있다. 이처럼 가정한 계 구조를 따르지 않는 경우도 존재

한다. 그러나 체 936명의 인지요소 로 일 약 83%인 776명의 인

지요소 로 일이 검사 시행 이 에 설정했던 계 구조로부터 가능한

66개의 모든 인지요소 조합 유형 안에 속하는 것으로 나왔다. 즉, 학생

들의 문항 반응 유형으로부터 나온 인지요소 로 일이 체로 계 구

- 54 -

조에 잘 맞게 나왔음을 확인할 수 있다.

순 인지요소 로 일 학생 수 비율(%) 미숙달 요소

1 1111111111 288 30.77 없음

2 1111111101 195 20.83 부등식의 활용

3 1111111001 38 4.06 부등식 풀기, 부등식 활용

4 1111011101 32 3.42 방정식 활용, 부등식 활용

5 1111110111 23 2.46 부등식 해의 의미

5 1111110101 23 2.46 부등식 해의 의미, 부등식 활용

7 1111011001 19 2.03 방정식 활용, 부등식 풀기 활용

8 1110111111 16 1.71 방정식 풀기

9 1110111101 14 1.50 방정식 풀기, 부등식 활용

10 1111011111 13 1.39 방정식 활용

<표 Ⅳ-3> 인지요소 로 일 상 비율 10가지

1. 2. 인지요소 숙달 양상 분석

일차방정식과 일차부등식의 역 내에서 학생들의 반 인 인지상태

의 양상에 해 알아보기 해 인지요소 로 일을 통해 각 인지요소

별 숙달 비율을 확인해보았다. [그림 Ⅳ-1]는 각 요소별 숙달 비율을 나

타낸 것으로 앞서 설정한 계구조를 따르면서 해당 요소를 숙달한 비율

을 나타낸 것이다. 즉, 인지요소 A2(등식의 이해)를 숙달한 학생 93.27%

는 인지요소 A2의 선행 인지요소인 인지요소 A1도 함께 숙달한 학생들

의 비율을 의미한다. 마찬가지로 인지요소 A3(일차방정식의 해의 의미)

을 숙달한 84.73%의 학생들은 인지요소 A3의 선행 인지요소인 인지요소

A1과 A2까지 모두 숙달한 학생을 의미한다. 인지요소 A5를 숙달한

67.53%의 학생들은 인지요소 A5의 선행 인지요소인 인지요소 A1, A2,

- 55 -

A4 그리고 인지요소 A10까지 모두 숙달한 학생의 비율이다. 그 외 선행

인지요소를 갖지 않는 인지요소 A1과 인지요소 A10의 경우는 각 해당

인지요소만 숙달한 비율을 의미한다. 인지요소 A1(사칙 계산 식의 계

산)을 숙달한 학생은 체의 95.19%, 인지요소 A10을 숙달한 학생은

89.85%이다.

[그림 Ⅳ-1] 학생들의 인지요소 숙달 비율

구조에서 숙달 비율이 가장 높은 인지요소 A1은 체 학생들의 약

95.19%가 숙달하고 있다. 이는 사칙 계산과 식의 계산에 해당하는 가장

기본 인 인지요소이다. 숙달 비율이 가장 낮은 인지요소는 A9으로

38.25%의 학생들이 숙달하고 있다. 이는 일차부등식의 활용에 해당하는

인지요소로 계 구조에서 가장 아래쪽에 치하여 선행 인지요소를 가

장 많이 갖는 인지요소이기도 하다. 체 으로 계 구조 아래쪽으로

갈수록 선행 인지요소가 많아져 숙달 비율이 낮아지는 것을 확인할 수

있다.

- 56 -

인지요소 숙달 비율을 통해 학생들이 해당 인지요소까지 얼마나 도달

했는지를 볼 수 있었다면, 어디서 학습 결손이 이루어지는지를 알아보기

해 선행 인지요소가 숙달된 상태에서 후행 인지요소의 숙달로 넘어가

는 과정에서 결손이 일어나는 비율을 확인하 다. 이를 그림으로 나타낸

것이 다음의 [그림 Ⅳ-2]이다. [그림 Ⅳ-2]에서는 인지요소들 간의 계

계를 나타내는 화살표의 두께와 수치를 통해 결손의 비율을 나타내었

다. 수치는 선행 인지요소까지 숙달하 으나 이후 계의 인지요소는 숙

달하지 못한 비율을 의미한다. 비율의 크기는 화살표의 두께로 시각화

하 다. 화살표가 두꺼울수록 많은 비율의 학생이 이후 인지요소에 도달

하지 못했음을 의미한다.

[그림 Ⅳ-2] 학생들의 인지요소 간 결손 비율

인지요소 A1(식의 계산)에서 인지요소 A2(등식의 이해)로 갈 때 나타나

는 손실은 0.02 정도로 학생들 부분이 등식의 이해까지 도달하고 있음

을 알 수 있다. 인지요소 A2(등식의 이해)에서 인지요소 A3(일차방정식

- 57 -

의 해의 의미)와 인지요소 A4(일차방정식 풀기), 인지요소 A6(부등식의

이해)로 가는데 일어나는 결손 비율은 각각 0.09, 0.12, 0.06로 나타나고

있다. 인지요소 A6(부등식의 이해)에서 인지요소 A7(일차부등식의 해의

의미)로 가는데 일어나는 결손 비율은 0.11이다. 한 인지요소 A6(부등

식의 이해)에서 인지요소 A8(일차부등식 풀기)로 가는 부분과 인지요소

A4(일차방정식 풀기)에서 인지요소 A5(일차방정식 활용)으로 가는 부분

의 손실은 0.17로 다소 크게 나타나고 있음을 볼 수 있다. 이와 유사한

상황이 부등식 역에서도 나타나는데 인지요소 A8(일차부등식 풀기)에

서 인지요소 A9(일차부등식 활용)로 가는 부분에서의 손실 비율은 0.32

로 매우 크게 나타나고 있다. 뿐만 아니라 인지요소 A10( 수 모델링)

에서 인지요소 A5와 인지요소 A9로 가는 과정에서 일어나는 손실도 각

각 0.25과 0.52로 상당히 크게 나타나고 있음을 확인할 수 있다. 따라서

반 으로 일차방정식의 활용과 일차부등식의 활용으로 넘어가는 부분

과 일차부등식을 부등식의 성질을 이용하여 푸는 부분에서 많은 손실이

일어나고 있음을 알 수 있다.

두 활용 부분, 즉 일차방정식의 활용(인지요소 A5)과 일차부등식의 활

용(인지요소 A9)로 가는 결손 부분에서는 본 연구에서 설정한 계 구조

의 복잡성으로 인해 보다 엄 한 해석이 필요하다. 방정식의 역을 살

펴보면 일차방정식의 활용(인지요소 A5)의 필수 선행 인지요소로는 일차

방정식 풀기(인지요소 A4)와 수 모델링(인지요소 A10)이 있다. 이 두

인지요소로부터 활용으로 넘어오지 못한 비율이 각각 0.17과 0.25인데

이를 총 비율 0.42 만큼의 손실을 의미한다고 할 수 없으므로 본 연구에

서는 일차방정식의 활용(인지요소 A5)의 과정에서 일어나는 결손의 비율

을 일차방정식 활용의 선행 인지요소인 식의 계산(인지요소 A1), 등식의

이해(인지요소 A2), 일차방정식 풀기(인지요소 A4), 수 모델링(인지요

소 A10)을 모두 숙달한 사람들 일차방정식의 활용을 숙달하지 못한

비율로 정의하고 [그림 Ⅳ-3]과 같이 확인해보았다.

- 58 -

[그림 Ⅳ-3] 일차방정식의 활용 역 결손 비율

일차방정식의 활용(인지요소 A5)의 선행 인지요소를 모두 숙달한 학생

의 비율은 0.76이고, 그 에 일차방정식의 활용 인지요소까지 숙달한

학생의 비율은 0.65로 일차방정식의 활용으로 넘어가는 과정에서 0.11의

학생들의 결손이 있음을 확인할 수 있었다. 이는 일차방정식도 풀 수 있

고 수 모델링에도 문제가 없으나 일차방정식의 활용 문제는 해결하

지 못하는 학생들의 비율을 의미한다. 이와 같은 상황이 부등식에서는

더욱 크게 발생하는데 이는 나타낸 것이 [그림 Ⅳ-4]이다. 일차부등식

역을 살펴보면 일차부등식 활용(인지요소 A9)의 선행 숙달요소인 식의

계산(인지요소 A1), 등식의 이해(인지요소 A2), 부등식의 이해(인지요소

A6), 일차부등식 풀기(인지요소 A8), 수 모델링(인지요소 A10)를 모

두 숙달한 학생의 비율은 0.67이고 그 일차부등식의 활용까지 숙달한

학생의 비율은 0.38로 총 비율 0.29 만큼의 학생들의 결손이 있음을 확

인할 수 있다. 방정식 역에서와 마찬가지로 일차부등식을 풀 수 있고

- 59 -

수 모델링이 가능한 학생들 에서도 활용 문제로 가면 해결하지 못

하는 학생들이 상당수 존재함을 알 수 있다.

[그림 Ⅳ-4] 일차부등식의 활용 역 결손 비율

결과는 학생들이 실생활이 반 된 문장제 문제를 해결할 때 어려움

을 겪는 원인을 단순히 수 모델링에서 겪는 어려움과 동일시 하기에

무리가 있음을 보여 다. 간단한 상황에서 모델링이 가능한 학생들도 실

생활을 반 한 복잡한 문제 상황 속에서 상황을 이해하고 분석하여 변수

를 설정하고, 수학 모델을 세워 문제를 해결하고 답을 해석하는 등

이 모든 과정이 혼합된 문제들에서 많은 어려움을 느끼고 있음을 알 수

있다.

- 60 -

2. 모의 실험 데이터를 이용한 인공신경망 분석 방법의

유효성 평가 결과

2. 1. hamming distance를 이용한 정확도 측정

이제 모의 실험 데이터를 이용하여 앞서 진행한 인공신경망 인지진단

평가 방식의 유효성을 살펴보고자 한다. 앞서 인공신경망을 기계학습 시

키기 한 학습 데이터(training set)로 계구조 하에서 가능한 모든 인

지요소 숙달 유형과 그에 따른 이상 문항 반응 유형을 사용하 다. 이

장에서는 이 게 이론 으로 학습시킨 인공신경망을 이용하여 학생들의

문항 반응 데이터를 분석하여 진단하는 평가 방식이 어느 정도의 유효성

을 갖는지 살펴보고자 한다.

이를 해 모의 실험 데이터를 인공신경망으로 분석한 후 그 결과를

이용한다. 앞서 학습이 이루어진 인공신경망에 모의 실험 데이터의 문항

반응 유형을 입력 값으로 입했을 때 출력 값으로 나오는 인지요소 숙

달 유형을 기존의 모의 실험 데이터의 인지요소 숙달 유형과 비교하는

방식으로 진행한다. 모의 실험 데이터에서의 인지요소 숙달 유형이 참

(true) 값이 되며 참 값과 인공신경망을 통해 나온 인지요소 숙달 유형

결과 값이 얼마나 차이가 있는지 그 정확도를 살펴보는 방식으로 해

거리(hamming distance)를 사용한다.

해 거리란 길이가 동일한 두 문자열에서 서로 응되는 자리가 일치

하지 않는 개수를 의미한다. 를 들어 ‘11100’과 ‘10010’ 사이의

해 거리는 3, ‘straw’와 ‘strow’ 사이의 해 거리는 1이다. 본 연

구에서는 총 10가지의 인지요소의 숙달 여부를 비교하므로‘0’ 는

‘1’로 이루어진 총 10자리 벡터를 비교한다. 따라서 두 벡터

⋯ , ⋯ 사이의 해 거리는 다음과

같이 정의될 수 있다.

- 61 -

⋯ .

해 거리를 이용하여 모의 실험 데이터 상의 요소 숙달 유형과 인공

신경망을 통해 얻은 요소 숙달 유형 사이의 평균 거리를 구한다. 따라서

해 거리가 작을수록 참 값과 결과 값이 일치하므로 정확도가 좋다고 볼

수 있다. 를 들어 <표 Ⅲ-10>의 첫 에 치한 데이터를 보면 문항

반응 유형은 ‘1011111101100101100101100’이고, 요소 숙달 유형은

‘1111011000’이다. <표 Ⅳ-4>는 <표 Ⅲ-10>의 문항 반응 유형 데이터

를 각각 인공신경망에 용해서 나온 결과로 문항 반응 유형을 인공

신경망에 입해서 나온 요소 숙달 유형은 ‘1111111001’임을 알 수 있

다. 따라서 두 유형 사이의 해 거리는 2이다. 이러한 방식으로 A부터

S까지 총 19가지의 guessing과 slip에 따른 가상데이터의 평균 해 거리

를 구해보면 <표 Ⅳ-5>과 같다.

<표 Ⅳ-5>를 보면 검사지의 slip 값이 동일하게 설정된 경우, 즉 slip

값이 set1, set2, set3, set4 하나로 동일한 설정 값을 가질 때

guessing이 작아질수록 해 거리 역시 작아지는 것을 확인할 수 있다.

한 각 문항별로 set1, set2, set3가 설정한 slip 값의 크기는 set1, set2,

set3 순으로 작아지므로 guessing이 작아질수록 해 거리가 작게 나옴을

알 수 있다. 즉, guessing과 slip 값이 작게 설정된 모의 실험 데이터일수

록 더 정확한 것으로 나타난다. 이는 당연한 결과이기도 하다. guessing

과 slip이 작다는 것은 모의 실험 데이터에 오차가 덜 포함되어 있다는

의미이므로 이 에 인공신경망의 학습 데이터로 사용된 이론 데이터와

그만큼 유사한 데이터이다. 평균 해 거리를 보면 반 으로 해 거리

의 값이 좋게 나왔으나 guessing이 0.4로 큰 경우에 유독 해 거리 수치

도 크게 나왔다. 그러나 이는 검사지가 모두 5개의 보기로 이루어진 선

다형 문항으로 구성되었음을 고려할 때 실 으로도 상당히 높은

guessing이며 이러한 데이터는 분석의 정확성이 떨어질 수밖에 없다.

한 실제 936명의 데이터로부터 DINA 모델로 분석한 guessing과 slip 값을

이용하여 얻은 마지막 S의 경우도 비교 해 거리가 높게 나온 것을

- 62 -

문항 반응 유형 인지요소 숙달 유형i1 i2 i3 i4 i5 i6 i7 i8 i9 i10 i11 i12 i13 i14 i15 i16 i17 i18 i19 i20 i21 i22 i23 i24 i25 A1 A2 A3 A4 A5 A6 A7 A8 A9 A10

1 1 0 1 1 1 1 1 1 0 1 1 0 0 1 0 1 1 0 0 1 0 1 1 0 0 1 1 1 1 1 1 1 0 0 12 1 1 1 1 1 1 0 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0 1 1 1 1 1 13 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 1 1 1 1 1 1 1 1 0 14 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 0 1 0 1 1 1 1 1 0 1 1 1 1 15 1 1 1 1 1 1 0 0 0 0 1 0 1 1 1 1 1 1 1 1 0 0 0 1 1 1 1 1 0 0 1 1 1 0 06 0 1 1 1 0 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 0 0 0 1 1 1 1 0 1 1 1 1 17 1 1 0 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 1 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 08 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 1 1 0 1 1 0 0 1 1 0 1 1 1 1 1 1 1 1 0 19 1 1 1 1 0 0 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 110 0 0 0 1 1 0 1 1 1 1 0 1 0 1 0 0 1 0 1 1 1 0 1 0 0 1 1 1 1 0 1 0 1 1 111 0 1 0 0 0 1 1 1 0 1 0 0 1 0 1 0 0 0 1 1 0 0 0 1 0 1 1 1 1 0 1 0 1 0 112 1 1 1 1 1 0 1 1 1 1 0 1 1 1 1 1 1 0 1 1 0 0 1 0 0 1 1 1 1 0 1 1 1 0 113 1 1 1 1 0 1 1 1 0 0 1 0 1 1 0 1 0 0 0 0 1 0 0 1 1 1 1 1 1 1 1 1 0 0 014 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 115 1 1 1 1 1 1 1 0 1 1 0 0 1 0 1 1 1 1 0 1 1 0 0 0 1 1 1 1 1 0 1 1 1 0 116 0 0 0 0 0 1 0 0 0 0 1 0 1 0 0 0 1 0 0 1 0 0 1 0 1 0 0 1 0 0 1 0 1 1 117 1 1 0 1 1 1 1 1 1 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 118 1 1 1 1 0 1 1 1 0 1 1 0 1 1 1 1 1 1 0 1 1 1 0 0 0 1 1 1 1 0 1 1 1 1 119 1 1 1 1 1 1 1 0 1 1 0 1 0 1 1 1 1 1 1 1 0 1 0 1 1 1 1 1 1 1 1 1 1 0 120 1 1 1 1 1 1 0 1 1 1 0 0 1 1 1 0 1 1 1 1 1 0 0 0 0 1 1 1 0 0 1 0 1 0 121 1 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 1 1 0 1 1 0 0 0 0 1 1 0 0 0 0 0 1 0 022 1 1 1 1 1 1 1 0 0 1 0 0 1 1 0 0 1 1 0 1 1 0 0 0 0 1 1 1 1 0 1 0 1 0 123 0 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0 0 0 0 0 1 1 1 1 0 1 1 1 0 124 1 1 1 1 0 1 1 1 0 1 0 0 1 1 1 1 1 1 1 1 0 1 0 0 0 1 1 1 1 0 1 1 1 0 1

… … …

999 1 1 1 1 1 1 1 0 1 1 1 0 1 1 0 1 1 0 0 0 1 0 1 0 1 1 1 1 1 0 1 1 1 0 11000 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0 0 1 1 1 0 1 1 0 1 1 1 0 0 1 1 1 0 0

<표 Ⅳ-4> 인공신경망을 용한 경우 A(guessing 1.40, slip set1)의 요소 숙달 유형 시

- 63 -

slip guessing해 거리

평균 표 편차

A

set1

0.40 1.94 0.06

B 0.30 1.47 0.05

C 0.20 1.04 0.04

D 0.15 0.86 0.03

E 0.10 0.71 0.03

F 0.05 0.59 0.02

G

set2

0.40 1.86 0.06

H 0.30 1.33 0.05

I 0.20 0.93 0.04

J 0.15 0.71 0.03

K 0.10 0.58 0.03

L 0.05 0.45 0.02

M

set3

0.40 1.59 0.06

N 0.30 1.12 0.05

O 0.20 0.70 0.03

P 0.15 0.52 0.03

Q 0.10 0.37 0.02

R 0.05 0.26 0.02

S set4(realistic data) 1.69 0.06

<표 Ⅳ-5> guessing과 slip에 따른 해 거리

알 수 있다. 이 경우는 다음 에서 sensitivity(민감도)와 specificity(특이

도)와 함께 다시 논의하기로 한다. 따라서 이러한 두 가지의 guessing과

slip의 값이 반 으로 매우 높은 극단 경우를 제외하면 계 모델로

부터 얻은 이론 데이터로 인공신경망을 학습시켜 분석을 시행하는 이

러한 평가 방식이 상당히 정확성을 갖는다고 볼 수 있다.

- 64 -

2. 2. sensitivity(민감도)과 specificity(특이도)

앞서 모의 실험 데이터를 이용하여 인공신경망 분석 방법의 유효성을

살펴보기 해 해 거리를 이용했다면 두 번째 방법으로 sensitivity(민

감도)와 specificity(특이도)의 개념을 이용하여 살펴본다. 이는 이진 분류

검사(binary classification test)에서 검사의 효용성을 통계 으로 측정할

때 사용되는 개념이다. 질병을 진단하는 상황을 로 들면 실제 질병이

있는 사람을 질병이 있는 것으로 정할 확률이 민감도에 해당하며 실제

질병이 없는 사람을 질병이 없는 것으로 잘 정할 확률이 특이도에 해

당한다. 즉, 본 연구에서의 민감도란 학생이 실제 특정 인지요소를 갖고

있을 때 분석을 통해서 학생이 해당 인지요소를 갖고 있는 것으로 정

할 확률이며 특이도는 학생이 실제 특정 인지요소를 갖지 않을 때 분석

을 통해 학생이 해당 인지요소를 갖지 않는 것으로 정할 확률이다. 이

는 검사의 정확도를 측정할 수 있는 좋은 척도로써 본 연구에서는 각기

다른 19가지 경우의 guessing과 slip 값 조합에 따른 민감도와 특이도를

인지요소별로 구하 다. 이를 나타낸 것이 <표 Ⅳ-6>이다. 민감도는

체 으로 1에 가까운 높은 값으로 높은 정확도를 보이지만 그에 반해 특

이도는 체 으로 다소 낮은 확률을 보이고 있다. 해 거리와 동일하

게 guessing이 높을수록 낮은 정확도를 보이고 있다. 특이도는 학생이 인

지요소를 갖지 않을 때 실제 갖지 않는 것으로 진단되는 확률이므로 이

는 인지요소를 갖지 않을 때 문항을 맞힐 확률인 guessing과 큰 상

계가 있을 것으로 생각할 수 있으며 이를 실제로 확인할 수 있는 결과이

다. 한 특이도 역시 마지막 경우 S(realistic data)가 유독 낮은 확률을

보이고 있는데 이 원인에 해 살펴보자.

우선 경우 S의 모의 실험 데이터를 얻기 해 설정한 guessing과 slip

을 살펴볼 필요가 있다. 이를 나타낸 것이 <표 Ⅳ-7>이다. 표에서 보면

3번, 5번, 7번, 10번, 12번, 13번, 16번, 21번 총 8개 문항의 guessing이

0.5 이상으로 상당히 높게 나온 것을 확인할 수 있다. 한 22번과 23번

- 65 -

문항은 slip 값이 상당히 높게 나왔음을 확인할 수 있다. 따라서 앞서 살

펴보았듯이 이러한 높은 guessing과 slip 값이 경우 S의 정확도에 큰

향을 주게 된 것이다. [그림 Ⅳ-5]는 검사지의 22번과 23번 문항으로 일

차부등식의 활용 문항임을 확인할 수 있다. 로 쓰여 있는 단순한 수학

상황을 수식으로 번역하는 수 의 수 모델링이 아닌 보다 복잡한

실생활의 상황을 분석 으로 이해하여 수식으로 정리하고 해결하는 수

이 요구된다. 이는 특정 문제를 해결하는데 필요한 모든 수학 내용 인

지요소를 숙달했음에도 문제의 해결이 어려울 수 있음을 시사한다. 이를

단순하게 표 하자면 문항의 난이도라는 용어로 정리될 수도 있으나 높

은 난이도에는 내용 인지요소가 아닌 다른 측면의 고차원 인 인지요

소가 고려되지 못했을 가능성도 포함한다. 결론 으로 이러한 높은 난이

도의 문항은 guessing이 높게 나오게 되며 따라서 정확도도 떨어지게 된

다. 따라서 진단평가의 정확도를 해서는 한 난이도의 문항을 선정

하는 것 역시 요하다는 것을 알 수 있다.

- 66 -

case slip guessing

sensitivity specificity

A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 A1 A2 A3 A4 A5 A6 A7 A8 A9 A10

A

set1

0.40 1.00 1.00 0.97 0.92 0.78 1.00 0.90 0.99 0.67 0.90 0.14 0.18 0.51 0.58 0.68 0.35 0.60 0.49 0.67 0.53

B 0.30 1.00 1.00 0.97 0.92 0.78 1.00 0.90 0.99 0.67 0.89 0.33 0.40 0.65 0.69 0.81 0.53 0.70 0.68 0.82 0.65

C 0.20 1.00 1.00 0.97 0.92 0.78 0.99 0.90 0.99 0.67 0.89 0.60 0.65 0.78 0.80 0.92 0.72 0.80 0.85 0.93 0.76

D 0.15 1.00 1.00 0.97 0.92 0.78 0.99 0.90 0.99 0.67 0.88 0.73 0.77 0.85 0.85 0.95 0.81 0.85 0.92 0.96 0.81

E 0.10 1.00 1.00 0.97 0.92 0.78 0.99 0.90 0.99 0.67 0.87 0.84 0.86 0.90 0.90 0.98 0.90 0.90 0.97 0.98 0.86

F 0.05 1.00 1.00 0.97 0.91 0.78 0.99 0.90 0.99 0.67 0.86 0.93 0.95 0.96 0.95 0.99 0.97 0.95 0.99 1.00 0.92

G

set2

0.40 1.00 1.00 0.98 0.90 0.90 0.99 0.90 0.99 0.85 0.92 0.23 0.23 0.47 0.59 0.62 0.36 0.59 0.45 0.65 0.51

H 0.30 1.00 1.00 0.98 0.90 0.90 1.00 0.90 0.99 0.91 0.91 0.35 0.44 0.63 0.70 0.78 0.55 0.70 0.69 0.81 0.64

I 0.20 0.99 1.00 0.97 0.91 0.88 1.00 0.90 0.99 0.84 0.93 0.61 0.66 0.77 0.80 0.90 0.69 0.79 0.87 0.91 0.73

J 0.15 1.00 1.00 0.97 0.93 0.89 0.99 0.90 0.99 0.88 0.89 0.73 0.77 0.85 0.85 0.95 0.81 0.85 0.92 0.96 0.81

K 0.10 1.00 1.00 0.98 0.92 0.89 0.99 0.90 0.99 0.84 0.89 0.82 0.87 0.90 0.90 0.98 0.86 0.90 0.97 0.98 0.86

L 0.05 1.00 1.00 0.97 0.92 0.89 0.99 0.90 0.99 0.88 0.87 0.93 0.94 0.96 0.95 0.99 0.97 0.95 0.99 1.00 0.92

M

set3

0.40 1.00 1.00 0.99 0.97 0.97 1.00 0.95 1.00 0.98 0.95 0.14 0.18 0.53 0.58 0.68 0.35 0.60 0.50 0.68 0.55

N 0.30 1.00 1.00 0.99 0.97 0.97 1.00 0.95 1.00 0.98 0.94 0.33 0.40 0.66 0.69 0.82 0.53 0.70 0.70 0.82 0.66

O 0.20 1.00 1.00 0.99 0.97 0.97 1.00 0.95 1.00 0.98 0.93 0.60 0.65 0.79 0.80 0.92 0.72 0.80 0.86 0.93 0.76

P 0.15 1.00 1.00 0.99 0.97 0.97 1.00 0.95 1.00 0.98 0.93 0.73 0.76 0.85 0.85 0.96 0.82 0.85 0.92 0.96 0.81

Q 0.10 1.00 1.00 0.99 0.97 0.97 1.00 0.95 1.00 0.98 0.92 0.84 0.86 0.91 0.90 0.98 0.90 0.90 0.97 0.99 0.86

R 0.05 1.00 1.00 0.99 0.97 0.97 1.00 0.95 1.00 0.98 0.90 0.93 0.94 0.96 0.95 1.00 0.97 0.95 0.99 1.00 0.92

S set4(realistic) 1.00 1.00 0.99 0.96 0.99 0.99 0.96 0.99 0.78 0.98 0.26 0.09 0.40 0.47 0.65 0.29 0.49 0.64 0.79 0.42

< Ⅳ-6> guessing과 slip에 따른 지요 별 민감도(sensitivity) 특 도(specificity)

- 67 -

I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 I11 I12 I13

g 0.23 0.29 0.69 0.38 0.47 0.70 0.53 0.11 0.26 0.51 0.37 0.53 0.66

s 0.06 0.01 0.01 0.20 0.08 0.02 0.05 0.22 0.07 0.00 0.07 0.03 0.02

I14 I15 I16 I17 I18 I19 I20 I21 I22 I23 I24 I25

g 0.21 0.31 0.51 0.32 0.47 0.30 0.16 0.53 0.25 0.23 0.39 0.26

s 0.31 0.12 0.04 0.13 0.05 0.06 0.60 0.08 0.48 0.44 0.10 0.20

<표 Ⅳ-7> 경우 S의 guessing과 slip (실제 데이터에 DINA 모델 용)

[그림 Ⅳ-5] 검사지 22번, 23번 문항

- 68 -

V. 논의 제한

1. 논의 결론

본 연구의 목 은 학생들의 인지상태를 진단하기 한 인지진단평가

방법의 하나로써 인공신경망 방식을 탐색하는 것이다. 특히 인지요소들

간의 계 계가 있는 수학 교과의 특성을 잘 반 하여 인공신경망

방식을 용하고 그 결과를 분석하여 학생들의 인지상태에 해 알아보

고자 하 다. 더불어 이러한 인공신경망 용 인지진단 평가방식을 모의

실험 데이터를 이용하여 그 유효성에 해 살펴보고자 하 다.

첫 번째로 인공신경망을 용한 인지진단평가를 어떻게 수학교육에

용할 수 있는지 그 방법에 해 탐색하 다. 가장 먼 수학 교과 과정

내에서 본 연구에서 제시한 평가 방법을 용해볼 내용 역을 선정하

다. 본 연구에서는 계성이 가장 잘 드러나는 역으로 방정식과 부등

식 역을 선택하여 구체 으로 일차방정식과 일차부등식에 해 검사를

진행하 다. 다음으로 교육과정과 여러 문헌들을 참고하여 수차례 문

가 의를 통해 해당 역 내의 인지요소를 추출하고 추출된 인지요소들

간의 계 계를 결정하 다. 그 후에 이러한 인지요소를 잘 측정할

수 있는 25개 문항의 검사지를 개발하 으며 문항과 인지요소 간의 Q행

렬을 작성하 다. 한 이 게 결정된 특정 계 모델을 따르는 모든 가

능한 인지요소들의 조합과 그에 따른 이상 문항 반응 유형을 이론 으로

얻고, 이를 인공신경망의 학습 데이터로 사용하여 그 계 구조를 학습

시켰다.

이러한 방식의 가장 큰 의의는 학생들의 인지상태 분석을 해 큰 표

본이 필요하지 않다는 이다. 재까지 인지진단평가에 한 많은 연구

가 이루어져 왔음에도 불구하고 아직까지도 학교 장에 실질 으로 사

용되지 못하는 이유는 인지진단평가를 용하기 해서 우선 큰 표본이

필요하다는 과 교사가 평가를 시행하고자 할 때마다 조건에 맞는 문항

- 69 -

을 작성하고 분석을 진행하는 번거로움 등의 여러 어려움이 남아있기 때

문이다. 그러나 본 인공신경망 모델은 설정된 계 구조로부터 이론 으

로 데이터를 얻어 기계학습을 시키기 때문에 분석을 해 학생들의 많은

데이터가 요구되지 않아 소규모로도 진행될 수 있다는 큰 장 이 있다.

한 학생 개개인의 구체 인 진단 정보를 통해 학생이 스스로 자신

의 인지상태를 진단할 수 있는 기회를 제공한다. 자신의 강 과 약 을

악하게 되고, 체 인 인지요소들의 계 네트워크에서 자신이 어

디에서 막 있는지, 앞으로 어떤 부분을 더욱 심 으로 공부해야할지

스스로 주도 인 학습을 계획할 수 있게 된다. 수학에서 어려움을 겪는

많은 학생들의 경우 메타인지가 약한 것을 볼 수 있는데 본 연구에서의

진단 정보는 학생에게 메타인지가 일어나도록 도울 수 있다.

두 번째로 인공신경망을 이용하여 실제 학생들의 인지 요소 숙달 양상

을 살펴보았다. 이를 해 936명의 학생들의 문항 반응 데이터를 앞서

학습시킨 인공신경망 모델로 분석하여 각 학생들의 문항 반응 유형을 얻

었다. 인공신경망을 이용하여 분석한 학생들의 인지요소 숙달 유형은 약

83% 정도가 계 구조를 잘 따르는 것으로 나왔으며, 학생들이 일차방

정식과 일차부등식의 역에서 어떠한 숙달 양상을 보이는지 살펴볼 수

있었다. 총 이 동일한 학생들의 경우에도 각각의 인지 상태는 모두 다

를 수 있음을 확인하 다. 한 체 인 학생들의 인지요소 숙달 유형

에 한 비율을 분석함으로써 학생들이 주로 어떤 인지상태에 분포해있

는지 알아볼 수 있었다. 이러한 학생 반의 인지상태에 한 로 일

은 교육과정의 순서를 결정하는 등에 큰 도움이 될 수 있으며 교사가 이

후 수업에서 더욱 효과 인 보충수업을 설계할 수 있도록 도울 수 있다.

한 보다 구체 으로 학생들이 어떤 시 에 학습 결손이 일어나는지

살펴볼 수 있었다. 많은 학생들이 부등식의 성질을 알고 용하는 과정

에서 어려움을 겪고 있음을 확인할 수 있었으며, 특히 활용 부분으로 넘

어가는 과정에서 결손이 상당히 많이 일어나고 있음을 확인할 수 있었

다. 학생들이 활용 부분을 어려워한다는 것은 일반 으로 교사·학부

모·학생 모두 잘 알고 있으나 본 연구에서는 학생들이 활용 문제를 해

- 70 -

결하는데 필요한 방정식 는 부등식을 풀 수 있는 능력과 수 모델

링의 능력을 모두 갖고 있는 학생들 에서도 많은 학생들이 활용을 어

려워하고 있음을 확인함으로써 문제를 해결하는데 필요한 지식이나 능력

을 각각 독립 으로 가지고 있는 것과 그 지식과 능력을 통합하여 재

소에 잘 사용할 수 있는 것은 다른 차원의 문제라는 시사 을 얻을 수

있었다. 따라서 단순한 내용 인지요소가 아닌 보다 고차원 인 인지요

소를 함께 고려하여 분석할 수 있는 모델에 한 연구가 필요하다.

마지막으로 모의 실험 데이터를 생성하여 인공신경망 분석 방법의 유

효성을 살펴보았다. 모의 실험 데이터를 설정하기 해 10개의 인지요소

선행 인지요소를 갖지 않는 독립 인 인지요소의 숙달 확률을 가정하

고, 각 인지요소 간의 계 계와 문항 모수들을 가정하여 모의 실험

데이터를 얻었다. 문항 모수로는 문항별 guessing과 slip을 정해주었으며,

guessing과 slip의 설정 값에 따라 어떠한 향이 있는지도 함께 알아보

기 해 다양한 19개의 조합으로 모의 실험 데이터를 생성하 다. 모의

실험 데이터는 인지요소 숙달 유형과 그에 따른 문항 반응 유형으로 이

루어져있으며, 이 문항 반응 유형을 다시 인공신경망을 통해 분석하여

나온 인지요소 숙달 유형과 모의 실험 데이터 상의 인지요소 숙달 유형

간의 차이를 살펴 으로써 인공신경망 분석 방법의 정확도를 가늠해보았

다. 이를 해 평균 해 거리와 인지요소 당 민감도, 특이도를 계산하

다. guessing이 상당히 높은 경우를 제외한 부분의 경우에서 신뢰할 만

한 정확도를 보 으며, guessing과 slip의 수치가 낮을수록 평균 해 거리

도 작아지며 민감도, 특이도 등의 결과도 좋아지는 것을 알 수 있었다.

그러나 마지막 19번째 경우 S는 실 인 모의 실험 데이터를 생성하기

해서 실제 학생들의 문항 반응 데이터로부터 얻은 문항별 guessing과

slip을 용하여 생성한 데이터인데 해 거리와 특이도 수치가 유독 좋

지 않았다. 이는 DINA 모델을 통해 얻어진 guessing 값이 문항 반 으

로 상당히 높은 수치가 나온 것에서 기인하 다.

DINA 모델을 더욱 자세히 살펴보면 문항을 맞힐 확률은 문항이 요구

하는 인지요소를 모두 가졌을 때 맞힐 확률()과 인지요소를 하나라

- 71 -

도 숙달하지 못했을 때 맞힐 확률() 두 가지에 의존한다. 여기서

guessing 를 단순하게 실제 능력이 없는 학생이 찍어서 맞힐 확률이라

고 생각할 수 있으나 DINA 모델에서 guessing과 slip은 문항의 난이도와

변별도 등을 모두 포함하고 있는 어떤 모수이다. 즉, guessing과 slip은

문항이 요구하는 모든 인지요소를 가지고 있어도 문항을 해결하지 못하

는 등 문항의 난이도를 포함하여 많은 다른 요소들이 복합 으로 포함되

어 있다. 따라서 이를 해결하기 해서는 학생의 능력 모수나 다른 고차

원 인 인지요소를 추가할 수 있는 더욱 정교한 모델을 통한 근이 필

요할 것이다.

2. 제한 제언

앞서 논의한 바와 같이 본 연구에서 제시한 요소 간 계 방식과 인공

신경망을 용한 방식이 진단 평가 방법으로서 요한 의의를 가지고 있

으나 아직까지 다음과 같은 한계를 지니고 있다.

먼 본 연구에서 Q행렬 작성은 내부 문가들의 합의에 의해 이루어

졌다. 아직 Q행렬 타당화에 련한 연구가 많이 미비하여 신뢰할만한 구

체 인 가이드라인이 존재하지 않는다. 본 연구의 주목 이 요소 간

계방식과 인공신경망이라는 두 가지의 방식을 목시킨 새로운 평가 방

법을 제시하고 수학교육 내에서 그 용 가능성을 탐색하는 것이기에 Q

행렬 타당화 자체를 따로 심도 있게 다루지 못하 다. 따라서 여 히 주

인 측면이 많이 존재한다는 것에 한계를 갖는다. 그러나 Q행렬은 인

지진단평가의 가장 토 가 되는 부분으로 신뢰성 있는 검사 방법이 마련

되기 해서는 Q행렬 타당화에 한 심도 있는 연구가 선행되어야 할

것이다.

다음으로 인지요소 간 계 구조의 타당성에 한 연구도 요구된다.

재까지는 인지요소의 계 구조에 한 연구 부분이 계 계가 분

명한 등 수 의 사칙계산에 머물고 있는 바, 연구자가 설정한 계 구

- 72 -

조의 타당성을 측정할 수 있는 객 인 통계 방법에 해 연구된 바

가 없다. 본 연구에서는 연구자와 내부 문가들의 합의를 통해 인지요

소 간 계 구조를 가정하 으나 Q행렬과 마찬가지로 다소 주 인 측

면이 있으며, 계 구조에 따라 인지진단평가의 정확성과 유효성이 다르

게 평가될 수 있다.

더불어 본 연구에서는 가상데이터를 이용하여 해 거리, 민감도, 특이

도를 측정함으로써 새로운 평가 방법에 한 타당도를 살펴보았으나 이

와 같은 검사 타당도에 한 연구 역시 미비하다. 연구자가 새로운 평가

방법을 제시하 을 때 그 타당성을 측정해볼 수 있는 구체 인 가이드라

인이 요구된다.

마지막으로 본 연구를 통해 인지진단평가에서 학생들을 진단하기 해

서 큰 표본이 요구되는 어려움은 다소 해결되었으나 여 히 교사가 직

문항을 분석하여 Q행렬을 작성하고 평가를 구성하기까지 교사가 느끼는

실제 부담과 어려움은 남아있다. 교사의 부담이 해결되지 않는다면 인

지진단평가가 많은 장 에도 불구하고 교실 안으로 들어갈 수 없을 것이

다. 따라서 그 해결 방안으로 웹 기반의 평가 시스템을 제안한다. 충분

한 양의 문항과 문항 정보가 확보된다면 교사가 필요로 할 때 손쉽게 검

사지를 구성하여 학생들에게 제공할 수 있으며 학생들은 웹에서 검사 시

행 후 즉각 으로 진단 피드백을 받고 후속 학습으로 이어질 수 있을

것이다.

- 73 -

참 고 문 헌

김경리(2013). 인지진단을 한 진단 거설정과 교육 활용. 이화여

자 학교 학원 박사학 논문.

김남희, 나귀수, 박경미, 이경화, 정 옥, 홍진건(2011). 수학교육과정과

교재연구. 서울 : 겅문사.

김동화(2003). 행 입시제도에 따른 수학학습불안과 학습성취도에 미치

는 향. 교육이론과 실천, 13(2), 41-56.

김성훈(1991). 새로운 측정 이론을 한 하나의 시도. 교육개발, 13(2),

95-103.

김성훈(1993). 새로운 교육평가를 한 인지심리학 교육측정의 활용 가

능성 탐색. 한국교육, 20, 131-154.

김성훈(1997). 규칙장이론의 논리와 활용가능성. 교육학연구, 35(4),

133-153.

김성훈, 송미 (2009). 규모 학업성취도 평가 자료를 활용한 인지상태

진단 - DINA 모형의 용-. 규모 학업성취도평가 자료의 활용

방안 탐색, 한국교육과정평가원 연구자료 ORM 2009-31.

김수진, 김 경, 박지 , 진의남, 이명진, 김선희, 안윤경, 서지희. (2012).

TIMSS 결과를 통한 교육 환경 변화 추이 국제 비교 분석. 한국교

육과정평가원. 연구보고 RRE 2012-4-1.

김희경, 한정아, 최숙기, 강부미(2013). 인지진단모형을 용한 학업성취

로 일 분석 결과 보고 방안, 한국교육과정평가원.

송미 , 이 선, 박윤수(2011). 인지진단모형을 통한 국가수 학업성취도

평가 결과 분석 성 보고 방법 탐색, 한국교육과정평가원. 연

구보고 RRE 2011-8.

송순희, 한혜승(1998). 제 6차 교육과정에 따른 학교 수학교과서 분석 :

1학년 심으로. 교과교육학 연구, 2(1), 68-85.

- 74 -

우 철(2000). 이차방정식과 부등식 문제해결과정에서 나타나는 오류원인

분석과 교정에 한 연구, 한국교원 학교 석사학 논문.

이경미(2007). 일차부등식의 문제해결과정에서 나타나는 오류와 원인 분

석. 한국교원 학교 석사학 논문.

이 주(2014). 인공신경망에 근거한 인지진단모형 Q 행렬의 타당성 평가,

이화여자 학교 학원 박사학 논문.

이용훈(2015). 2015 개정 수학과 교육과정에 한 수학계의 입장. 2015

개정 수학과 교육과정 시안 개발 정책 연구 공개토론회 자료집,

한국과학창의재단, 123-129.

임해미(2014). PISA 2012 수학 소양을 심으로 한 우리나라 학생들의 인

지 ·정의 성취 특성. 제 25회 kICE 교육과정·평가 정책포럼

자료집, 31-54.

정종식(2012). 수학학습의 계성을 고려한 학습부진아 지도방안 연구.

앙 학교 석사학 논문.

미정(2012). 계통성에 의한 학교 수학교과서 연구 : 9-가 심으로.

연세 학교 교육 학원 석사학 논문.

최승 , 황혜정(2014). 수학 교과에서의 학생의 정의 특성 요인의 성취

실태-국내 등 수업 사례를 심으로-. 한국수학교육학회지 시리

즈 E <수학교육논문집>, 28(2), 235-253.

황정규, 서민원, 최종근, 김민성, 양명희, 김재철, 강태훈, 이 식, 김 엽,

신종호, 박인우, 김동일(2011). 교육평가의 이해, 서울: 학지사.

Binet, A., & Simon, T. (1916). The development of intelligence in

children: The Binet-Simon Scale (No. 11). Williams & Wilkins

Company.

Gierl, M. J., Cui, Y., & Hunka, S. (2008). Using Connectionist Models to

Evaluate Examinees’ Response Patterns to Achievement Tests.

Journal of Modern Applied Statistical Methods, 7(1), 19.

Johnson, A. P. (1951). Notes on a suggested index of item validation:

the U-L Index. Journal of Educational Psychology, 62, 499-504.

- 75 -

Ketterlin-Geller, L. R., & Yovanoff, P. (2009). Diagnostic assessments in

mathematics to support instructional decision making. Practical

Assessment, Research & Evaluation, 14(16), 1-11.

Leighton, J. P., Gierl, M. J., & Hunka, S. M. (2004). The Attribute

Hierarchy Method for Cognitive Assessment: A Variation on

Tatsuoka's Rule‐ Space Approach. Journal of Educational

Measurement, 41(3), 205-237.

Leighton, J., & Gierl, M. (Eds.). (2007). Cognitive diagnostic assessment

for education: Theory and applications. Cambridge University

Press.

Mislevy, R. J. (2006). Cognitive psychology and educational assessment.

In Brennan, R. L. (Ed.), Educational measurement (4th ed., pp.

257-305). Praeger Pub Text.

NCTM(미국수학교사 의회)(2007). 학교수학을 한 원리와 규

[Principles and standards for school mathematics]. (류희찬, 조완 ,

이경화, 나귀수, 김남균, 방정숙 역). 경문사.

Rupp, A. A., Templin, J., & Henson, R. A. (2010). Diagnostic

measurement: Theory, methods, and applications. Guilford Press.

Shmueli, G., Patel, N. R., & Bruce, P. C. (2011). Data mining for

business intelligence: concepts, techniques, and applications in

microsoft office excel with xlminer. John Wiley and Sons.

Tatsuoka, K. K. (1983). Rule space: An approach for dealing with

misconceptions based on item response theory. Journal of

educational measurement, 20(4), 345-354.

Tatsuoka, K. K. (1991). Item construction and psychometric models

appropriate for constructed responses. ETS Research Report

Series, 1991(2), i-38.

Tatsuoka, K. K., & Tatsuoka, M. M. (1997). Computerized cognitive

diagnostic adaptive testing: effect on remedial instruction as

- 76 -

empirical validation. Journal of Educational Measurement, 34(1),

3-20.

- 77 -

인지요소 로 일 비율(%) 인지요소 로 일 비율(%) 인지요소 로 일 비율(%) 인지요소 로 일 비율(%)

1 1 1 1 1 1 1 1 1 1 30.8 1 1 0 1 1 1 1 1 0 1 0.6 1 1 1 1 0 0 1 0 0 1 0.3 1 1 1 0 0 1 1 1 0 0 0.2

1 1 1 1 1 1 1 1 0 1 20.8 1 1 1 1 1 1 1 1 0 0 0.5 1 1 1 0 1 1 1 0 1 1 0.3 1 1 1 0 0 1 1 0 0 0 0.2

1 1 1 1 1 1 1 0 0 1 4.1 1 1 1 0 0 1 0 0 0 1 0.5 1 1 1 0 0 1 1 0 0 1 0.3 1 1 1 0 0 1 0 1 1 0 0.2

1 1 1 1 0 1 1 1 0 1 3.4 1 1 0 1 1 1 1 1 1 1 0.5 1 1 1 0 0 1 0 1 0 0 0.3 1 1 1 0 0 1 0 1 0 1 0.2

1 1 1 1 1 1 0 1 1 1 2.5 1 1 0 1 0 1 1 1 0 1 0.5 1 1 0 1 0 1 1 1 0 0 0.3 1 1 1 0 0 1 0 0 0 0 0.2

1 1 1 1 1 1 0 1 0 1 2.5 1 1 1 1 1 1 0 0 0 1 0.4 0 0 0 0 0 0 0 0 0 1 0.3 1 1 1 0 0 0 0 0 1 1 0.2

1 1 1 1 0 1 1 0 0 1 2.0 1 1 1 1 0 0 0 0 0 1 0.4 1 1 1 1 1 0 1 1 0 1 0.2 1 1 0 1 1 0 0 0 0 1 0.2

1 1 1 0 1 1 1 1 1 1 1.7 1 1 1 0 1 1 1 0 0 1 0.4 1 1 1 1 1 0 0 1 1 1 0.2 1 1 0 0 1 1 1 1 0 1 0.2

1 1 1 0 1 1 1 1 0 1 1.5 1 1 1 0 0 0 0 0 0 1 0.4 1 1 1 1 1 0 0 1 0 1 0.2 1 1 0 0 1 1 1 0 0 1 0.2

1 1 1 1 0 1 1 1 1 1 1.4 1 1 1 0 0 0 0 0 0 0 0.4 1 1 1 1 0 1 1 0 1 1 0.2 1 1 0 0 1 1 0 0 1 1 0.2

1 1 0 1 1 1 1 0 0 1 1.1 1 1 0 1 1 1 0 0 0 1 0.4 1 1 1 1 0 1 0 1 0 0 0.2 1 1 0 0 1 1 0 0 0 1 0.2

1 1 1 1 0 1 1 1 0 0 0.9 1 1 0 1 0 1 1 0 0 1 0.4 1 1 1 1 0 1 0 0 0 1 0.2 1 1 0 0 0 1 1 0 0 0 0.2

1 1 1 1 1 1 1 0 1 1 0.7 1 1 0 1 0 1 1 0 0 0 0.4 1 1 1 1 0 0 0 0 0 0 0.2 1 1 0 0 0 1 0 0 0 1 0.2

1 1 1 1 1 0 1 0 0 1 0.7 1 1 0 1 0 0 0 0 0 0 0.4 1 1 1 0 1 1 0 1 1 1 0.2 1 1 0 0 0 0 0 0 0 1 0.2

1 1 1 1 0 1 1 0 0 0 0.6 1 1 1 1 1 1 0 1 0 0 0.3 1 1 1 0 1 1 0 0 0 0 0.2 1 1 0 0 0 0 0 0 0 0 0.2

1 1 1 1 0 1 0 1 0 1 0.6 1 1 1 1 1 0 0 0 0 1 0.3 1 1 1 0 1 0 1 1 1 1 0.2 1 0 0 0 0 0 0 0 0 0 0.2

[부록 1] 체 학생의 인지요소 로 일

<부 록>

- 78 -

1 1 1 0 0 1 1 1 0 1 0.6 1 1 1 1 1 0 0 0 0 0 0.3 1 1 1 0 0 1 1 1 1 1 0.2 0 1 1 1 1 1 1 0 0 1 0.2

0 1 1 0 0 1 0 0 0 0 0.2 1 1 0 1 1 1 0 0 1 1 0.1 1 1 0 0 0 1 0 0 1 1 0.1 0 1 1 0 0 0 0 0 0 0 0.1

1 1 1 1 1 1 1 1 1 0 0.1 1 1 0 1 1 1 0 0 0 0 0.1 1 1 0 0 0 1 0 0 1 0 0.1 0 1 0 1 1 1 1 1 0 1 0.1

1 1 1 1 1 1 1 0 0 0 0.1 1 1 0 1 1 0 1 1 0 0 0.1 1 1 0 0 0 1 0 0 0 0 0.1 0 1 0 1 1 1 1 0 0 1 0.1

1 1 1 1 1 0 1 1 0 0 0.1 1 1 0 1 1 0 1 0 1 1 0.1 1 1 0 0 0 0 0 1 1 1 0.1 0 1 0 1 1 0 0 0 0 1 0.1

1 1 1 1 1 0 1 0 0 0 0.1 1 1 0 1 1 0 1 0 0 1 0.1 1 0 1 1 0 0 0 1 0 0 0.1 0 1 0 1 0 0 1 0 0 1 0.1

1 1 1 1 0 1 1 1 1 0 0.1 1 1 0 1 1 0 1 0 0 0 0.1 1 0 0 1 0 0 0 0 0 0 0.1 0 1 0 0 1 1 0 0 1 1 0.1

1 1 1 1 0 1 0 1 1 1 0.1 1 1 0 1 0 1 1 1 1 1 0.1 1 0 0 0 0 0 0 0 0 1 0.1 0 1 0 0 1 0 0 1 0 1 0.1

1 1 1 1 0 1 0 0 0 0 0.1 1 1 0 1 0 1 0 1 1 1 0.1 0 1 1 1 1 1 1 1 0 1 0.1 0 1 0 0 0 1 0 0 0 1 0.1

1 1 1 1 0 0 0 1 0 1 0.1 1 1 0 1 0 1 0 1 0 1 0.1 0 1 1 1 1 0 0 0 0 1 0.1 0 1 0 0 0 0 0 1 0 1 0.1

1 1 1 0 1 1 1 1 0 0 0.1 1 1 0 1 0 1 0 1 0 0 0.1 0 1 1 0 1 1 1 1 0 1 0.1 0 0 1 1 0 0 1 0 0 0 0.1

1 1 1 0 1 1 0 1 0 0 0.1 1 1 0 1 0 1 0 0 1 1 0.1 0 1 1 0 1 1 0 0 1 1 0.1 0 0 1 0 0 1 0 0 0 1 0.1

1 1 1 0 1 1 0 0 1 1 0.1 1 1 0 1 0 1 0 0 0 0 0.1 0 1 1 0 1 0 1 0 1 1 0.1 0 0 1 0 0 1 0 0 0 0 0.1

1 1 1 0 1 1 0 0 0 1 0.1 1 1 0 0 1 1 1 0 1 1 0.1 0 1 1 0 1 0 0 0 1 1 0.1 0 0 1 0 0 0 0 1 0 1 0.1

1 1 1 0 1 0 0 0 0 1 0.1 1 1 0 0 1 1 0 1 0 1 0.1 0 1 1 0 0 1 1 1 0 0 0.1 0 0 1 0 0 0 0 0 0 1 0.1

1 1 1 0 0 1 1 0 1 1 0.1 1 1 0 0 1 0 1 0 1 1 0.1 0 1 1 0 0 1 1 0 0 1 0.1 0 0 0 1 0 0 0 0 0 1 0.1

1 1 1 0 0 0 1 1 0 1 0.1 1 1 0 0 1 0 1 0 0 1 0.1 0 1 1 0 0 1 1 0 0 0 0.1 0 0 0 0 1 0 0 0 0 1 0.1

1 1 1 0 0 0 0 1 1 0 0.1 1 1 0 0 0 1 1 1 1 1 0.1 0 1 1 0 0 1 0 1 0 0 0.1 0 0 0 0 0 1 0 1 0 1 0.1

1 1 1 0 0 0 0 1 0 1 0.1 1 1 0 0 0 1 1 0 0 1 0.1 0 1 1 0 0 1 0 0 0 1 0.1 0 0 0 0 0 0 1 0 0 1 0.1

1 1 0 1 1 1 1 1 0 0 0.1 1 1 0 0 0 1 0 1 1 1 0.1 0 1 1 0 0 0 0 1 0 0 0.1 0 0 0 0 0 0 0 0 0 0 0.1

1 1 0 1 1 1 1 0 0 0 0.1 1 1 0 0 0 1 0 1 1 0 0.1 0 1 1 0 0 0 0 0 0 1 0.1

- 79 -

[ 록 2] 비검사 항지

- 80 -

- 81 -

- 82 -

[ 록 3] 검사 항지

- 83 -

- 84 -

- 85 -

- 87 -

ABSTRACT

A study of Mathematical Cognitive

Diagnostic Assessment Applying Attribute

Hierarchy Method and Artificial Neural

Network

Yoon Ji-young

Department of Mathematics Education

The Graduate School

Seoul National University

These days, students repetitively experience being evaluated and

rated for their relative achievement in mathematics. However, many

educational experts agree that the main purpose of assessment is not

to rate or compare students to each other but to support learning. The

experts stress that assessments should provide meaningful information

about students' cognitive state to both teachers and students other than

the total score. In this sense, researchers have paid attention to

cognitive diagnostic assessment as a new paradigm for educational

assessment.

Cognitive diagnostic assessment assumes that the cognitive state is

composed of not one ability but various cognitive attributes in order to

diagnose students' potential cognitive state more accurately and more

closely which could not be inferred from the total score of the test. In

addition, it is plausible that the hierarchical relationship among the

- 88 -

attributes especially for the mathematical ability exists. The

mathematical content domain can be divided into various cognitive

attributes, and some of these attributes are required to be mastered in

order to obtain a new one up in the hierarchy.

Focusing on the hierarchical relationship among the cognitive

attributes, this study adopted cognitive diagnostic assessment model as a

method of mathematics education assessment combining cognitive

diagnosis model using attribute hierarchy method(AHM) with the

analyzing method using artificial neural network(ANN) proposed by

several researchers. This study applies the method for learning of

linear equation and linear inequality using some items. This study also

investigates the effectiveness of the AHM-ANN model using simulated

data generated under various parameter settings which were obtained

based on the real data.

For this study, 936 second and third grade students from 6 different

middle schools in Seoul and Gyeonggi province were tested in linear

equation and linear inequality. From the results of AHM-ANN analysis,

it is shown that many students had difficulty in solving word-problems

about linear equation and linear inequality. However, a large proportion

of students who had trouble in word-problems were identified that they

were aware of how to solve a simple linear equation and linear

inequality items and how to set up mathematical modeling. From our

assessment, it is believed that the difficulty of the word-problems in

linear equation and inequality is not caused from the difficulty of

mathematical modeling.

Furthermore, the result of analyzing students' profile to investigate

the validity of the cognitive diagnostic assessment model showed that

83 percent of students’ hierarchy of mastered attributes was

consistent with the hierarchical structure of the attributes set up prior

to the analysis. Also, the result from the analysis of simulated data

showed that the assessment model was considerably accurate when the

- 89 -

guessing and slip parameters of each item are below certain value.

This study confirms that an artificial neural network analysis

algorithm can be successfully applied to the area of equation and

inequality without a separate learning set, while the existing cognitive

diagnostic assessment models require large samples to estimate item

parameters. This study also suggests various ways to measure the

validity of this assessment method.

Key Words : Cognitive diagnostic assessment, Attribute hierarchy

method, Artificial neural network

Student Number : 2013-23375