영어말하기평가의 문항 분석 의사소통 - English Teachingjournal.kate.or.kr/wp-content/uploads/2015/02/kate_64_2...103 영어교육 64권 2호 2009년 여름 영어말하기평가의

103

어 64 2 2009 여

영어말하기평가의 문항 분석: 의사소통 기능을 중심으로

신 동 일 (중앙대학교) *

김 종 국 (안양대학교)*

Shin, Dongil & Kim, JongKuk. (2009). Exploring the relationship between

predicted and actual test task functions in English speaking test. English Teaching,

64(2), 103-124.

Considering the growing interest in English speaking in Korea, little attention has been

paid to speech functions in designing and validating speaking test tasks. This paper

addresses the mismatch between the intended and actually elicited speech functions

from a speaking test so as to provide test developers and users with a clearer idea of why

intended functions to be specified need to be carefully considered and, if necessary,

revised in item development and rating process. This study begins with examining the

communicative functions to be assessed in English speaking test tasks. It next analyzes

the transcription data elicited from 15 Korean college students’ and two native speakers’

responses to 12 speaking test items. The features in predicted and unexpectedly elicited

speech functions are discussed. It is found that there are some divergences between

intended and actually elicited speech functions in both student and native speaker group.

Follow-up research related to this study is also discussed.

I. 서론

어말하 과 평가가 내 어 에 특별한 주목 고 다.

가 어 시험 등학생 상 말하 평가 시행하겠다는 계

과학 가 2007 에 했다. 울시 청 경우 어공 강

안 하 2012 지 어 수업하는 경 하 해 역량

집 하겠다고 약 했다. 한 말하 평가 어과목 수행평가에 10% 상

하겠다는 계 도 했다. 내 , 학 안 크고 어말하 시험

들 본격 시행 고 니 어말하 평가도 신뢰 , 타당 ,

실행용 단 가 집단 보다 극 감당해야 할 것 다.

어말하 한 재 개 , 라 타 과 개 만큼

* 1저자: 신동일, 2저자: 김종

신 동 일 ∙ 김 종

104

말하 학습 취도 능숙도 평가하는 도 타당 채 신

뢰 연 가 꾸 어야 한다. 가 학 단 에 공 어

말하 평가 시행시키 해 는 , 한편 는 시험사용 에

게도 함 는 연 개 보가 공 어야 한다. 내에 는 어말

하 평가 시행과 시험 에 많 과 개 큰 담감 갖고

에 여러 다양한 에 연 가 진행 고 연 결과 쉽게 가공

어 에게 달 필 가 다.

어말하 평가는 다 항과 달리 답 없다. 수험 단순

답- 답 누 보다는 등 , 채 보에 라 평가 가 약

하거 도한 만큼 수험 가 말하 과업 얼마 하게 수행하는지

내린다. 평가 가 항 통해 평가하겠다는 도 수험 답변

도 다 말하 시험 (construct)타당 다는 거 료가 수

다. 항 값과 실 값 상 거 료는, 내용 ,

내 료, 평가 상 료 등과 함께 한 타당

거가 수 다(Chapelle, 1998). 평가 가 하고 도한 , 항

수험 능 하고 하는 도 , 수험 들 어말하 능

하게 도 고 는지는 말하 평가도 한 타당 단

다.

말하 능 특 단 , 들 과 등 평가 역 지

게 채 과 에 아 사 통 능 용, 보다 합 사

통능 , 과업수행 과 같 평가 역 채 에 지 못한 경

우도 많다. 그 에 실 평가도 타당 , 채 신뢰 등 단

하 해 수험 담 특 , 들 사 통 능에 한

충 채 과 에 었는지 연 해볼 필 가 다. 평가 는 말하

평가 항들 시험지 에 도 만큼 실 평가 에 사 통

능 내용 하게 도하고 는지 해야 한다.

다 항 지 평가가 말하 평가 체할 수험

들 암 학습에 고 단편 시험 할 수 다. 말하

평가 항 본래 도한 것과는 다 게 수험 들 할 수 는 것

다. 말하 평가는 답 란 것 없 에 항 도 항 도

실 특 담 하는 것 시험 에 도

미한 연 주 가 것 다.

본 연 목 말하 동 사 통 능 에 평가 가 도

한 말하 평가 항과 수험 실 특 하는 것 다. 연

목 실행하 에 우 내에 사용 고 는 어말하 시험

항들 어 사 통 능 평가하고 는지 사해보 한다. 평가

보 하고 는 항지 하 가 쉽지 않지만 시 타 항

도 지 사 통 능 에 알아보 한다.

어말하기평가의 문항 : 의사 통 기능을 중심으로

105

들 , 사하 능 하는 말하 평가 항 라 학습 가

사하는 능 실 답 에 견 어야 한다. 항

도하는 수험 가 한다 는 해당 평가도 타당

거 료 사용 뿐 아니라 채 용, 채 신뢰 는 도

큰 도움 수 것 다.

Ⅱ. 영어말하 평가와 담화분석적 접근

1990 래 어말하 평가 야에 가 주목할 만한 변 는 담

연 사용해 말하 평가도 타당 고 하는

진행 다. 심리 학 연 들 근하지 못했 실 말하

상 담 내용 연 료 사용하 고 말하 참여 들 상 용

에 타 담 특 보다 심 해할 수 게 었다. 같

담 근 통한 말하 평가 연 는 말하 평가도 타당도 검 ,

과 개 , 타 재 개 에 용한 보 시했다(Lazaraton,

2002; Markee, 2000; McNamara, Hill & May, 2002; Shohamy, 1994).

담 통한 어말하 평가 연 가운 수험 에 주목한 연

가 지 가하고 는 , 수험 특 하게 하고 검

하는 연 들 어말하 평가 도 타당 는 많 시사

공해 주 다. 수험 에 한 여러 연 는 주 술 담 상

에 진행 어 는 , 수험 수 별 특 도 상술(elaboration)

에 해하거 (Young, 1995), 시간 향(Wigglesworth, 1997),

사 통 략 사용(Yoshida-Morise, 1998) 차 연 하 도 했다. 한 담

통해 가 수험 에 미 는 재

향(Brown, 2003; Cafarella, 1997; Katona, 1998; Moder & Halleck, 1998; Ross & Berwick,

1992), 뷰 사 (Johnson, 2000; Lazaraton 1992; Young & He, 1998)

연 도 꾸 실행 었다. 같 담 용한 연 가 어말

하 평가 연 개 에 차 많 용 고 앞 도

연 는 욱 것 다.

담 연 에 수험 에 타 사 통 능에 주목

한 연 는 다 과 같 같다. Wagner(1994)는 CAE(Certificate in Advanced English)

시험 독 과업 Part 2에 8 원어민 수험 들

하 다. 16개 과업에 해 능, 어 , 타 언어학 내용에 라

주 누어 하 다. 능에 결과 7가지( 사, , 견, 견

에 한 지지, 에 한 지지, , ) 할 수 었다. 7가지 능

6가지는 특 타냈지만, 연 과 에 하 쉽지

않 사 통 능 었다. 수험 들 내용 살펴보 항에 주어진


106

그림 료 실 각 다 게 해하고 다 감 과 생각 하고

하 다.

Lazaraton과 Wagner(1996)는 ETS 개 TSE(Test of Spoken English) 담

사 통 능에 주목하 하 다. 그들 15가지 항에 해 원어

민들과 원어민들 각각 어떻게 답변하는지 특 견한 다 시험

타당 검 하고 했다. 원어민들 에 는 시험지 (test

specification)에 한 것과 사한 가 도 었다. 원어민 수험 들

경우 동 한 항 시 었 , 상 수 능숙도 지닌 수험 들만 원

어민들과 큰 차 가 없는 답 경향 보여주었다. 낮 등 수험 들

한 특 만 보여주었다.

연 통해 연 들 가지 과업에 타 능 사

지 했다. 그리고 특 능 평가하는 항들 첩 지 않도 항

내용 가 수 필 가 다고 안했다. 들어 뉴스

해야 하는 11 과업에 수험 들 뉴스 하는 답과

뉴스가 미 운지 하는 답 슷한 포 타 지 하

11 항 어 사 통 능 실질 도하고 는지, 항 통해

도 시키고 싶 사 통 능 과연 엇 지 시험지 에 체

안 지 않았다는 지 했다. 12 째 항도 마찬가지 안고

는 수험 들 양쪽 견에 해 쟁 해야 하는지 아니 한 쪽 견

에 해 만 주 만 해야 하는지 체 항 도가 타 지 않다

고 지 했다.

보다 근에는 Lazaraton (2002) FCE(First Certificate in English) 시험 경에

13 원어민 수험 들 경향 하 다. Part 1에 수험 들 개

보, 재 경, 과거 경험, 미래 계 에 해 질 청 았지만 어

수험 도 가지 항과업에 답하지 못했 청

것과 다 내용 답하 다. 수험 개 게 해야 하

는 Part 2에 는 항 도 실 특 차 가 상보다 크게

타났다. 과업에 는 도 못 미 는 수험 들만 항에 도

한 사 통 능 용하 다. 에, 하는 것 하는 것

개 경험과 항에 는 든 수험 들 항에 하는

답했다. Part 2 같 항과업 타당 해 , Lazaraton (2002) 원

어민들 동 한 과업에 어떻게 하는지, 어떻게 하는 것 공

도할 수 는지 단할 수 는 료 수집해야 한다고 안했다.

그리고 러한 수집과 동 연 들 감당해야 한다고 주 하고 다.

그 는 같 연 동 시험 개 들과 말하 시험 채 들에게 수

험 답 료 보다 신뢰 게 하는 도움 것 라고 하

연 가 보다 지 진행 어야 한다고 주 했다.

담 료 체 시하진 않았지만, 시험 타당 과 해 채


107

들 항 도 시키고 하는 사 통 능 실 수험

에 타 고 는지 실시간 채 할 수 는 검 개 연 도 었다

(Sullivan, Weir & Saville, 2002). 수험 가 한 료 보다 과 채 하

도 돕는 검 는 시험 개 단계에 시험 하거 시험시행 후에

항과업 평가하는 용하게 사용 수 , 극 시험

타당 과 에 여할 수 다고 연 들 주 하고 다.

처럼 항과업 수험 어 사 통 능 도하 해

었는지, 그리고 실 수험 들 는 도 합하는지 탐색하

는 연 들 내에 도 시행 필 가 다. 러한 보는 시험 타당

루는 한 보 공하고 지만 재 지 내에 는 같 담

, 사 통 능 연 가 지 않았 본 연 결과

후 연 시사 수 해본다.

Ⅲ. 연 방법

1. 영어말하 시험들

내에 사용 고 는 어말하 시험 항들 어 사 통 능

평가 도하는지 알아보 해 해당 시험 개 시행 에 보

하고 는 항(개 감수)지 보해야 한다. 그러 본 연 들

공식 시험지 보하 엔 어 움 었고, 우 에 본 시험

들 공개하고 는 샘플 항 료 항 평가 도 했다.

연 들 2009 1월에 각 평가 지 하여 에게

공개 항 수집하 고, 지에 체 항 시 어 지 않

시험 경우엔 시험 주 하고 는 에 한 수험 통해 항

특 악했다. ESPT(www.espt.org), MATE(숙 여 학 언어 원,

2002; , 1999), G-TELP speaking(www.gtelp.co.kr), TEPS speaking(www.teps.or.kr),

TOEIC speaking(http://exam.ybmsisa.com), TOEFL IBT(www.ets.org), OPIc(신 나 &

이 , 2008) 말하 능숙도 시험 항 료 수집했 시험 항 내용

검 하 어 사 통 능 도 평가하는지 단했다. 해

당 시험마다 사용 항 차 살펴보고 항마다 평가하는 핵심 사

통 능 리했다.


108

2. 모의시험 자료와 연 참여자

말하 시험 항 도한 수험 사 통 능 하게 도

는지 실 (empirically) 탐색하 해 MATE 시험 료1 용했

다. 평가 항 도하고 는 사 통 능 리한 다 수험 항별

답 료에 어 사 통 능 실 도 는지 알아보 해 15

어말하 학습 2 원어민 어강사 시험에 참여시 다. 15

학습 는 울 재 학에 재학 학생들 어말하 시험 취업

과 계 목 학습하고 었다. 원어민 학습 들 경향

원어민 경향과 하 해 2 원어민 어강사도 동 한 시험

경에 시 료 았다. MATE 공식수험 (숙 여 학 언

어 원, 2002)에 등 하는 항 여과 없 공하 든 참여 들

해당 시험에 경험 없다는 것 시험 후 했다. 2002 MATE

시험 료는 재 에 사용 고 는 시험 항과 차 가 었

지만 본 연 목 수행시키는 리가 없었다.

본 연 에 사용 MATE 항 12가지 는 (1999)

연 에 약 어 었다. 항에 다루는 상 상 상 과 공

식 상 담고 고, 각 항 크게 3가지 눌 수 는 각

각 ‘ 상 (informal talk)’, ‘ 상 재 말하 (informal speech)’, ‘공식

상 에 말하 (formal speech)’ 할 수 다. 1 (1999)에

해 각 항 과업 상 과 목 능 다.

1 말하 시험 항별 상 과 목 능

단계 과업 상 목 능 과 등

상

1)신상 질 에

답하 개 신상 질 7가지 개 상

2) 상 상 에

답하

상 어 수 는

상 5가지에 간단하게 답

답변,허락, 보,

, 안, 견,

사과

3) 시지 달하 에게 약 변경 것

알림 약 리 보고

12) 해결하 약 지키지 못하

는 처한 상 에 처함

복 한 상 에

과 처 상

1 본 연 의 자료수집을 위해 MATE 의시험 자료 연 자들이 독자적으로 한

것이 본 연 의 결과 실제 MATE 시험의 타당도 및 련 의로 유도하지 않을

것임을 사전에 밝 다. 본 연 의 적을 수행할 적으로만 시험자료가 었

다.


109

상

재 말

하

4) / 동/

사하

미 에게 피스

사 사

5) 안내하 에게 행에 가는

알 안내

6) 술하

( 재시 )

에게 한 수 수

하루 과 알 하루 과 사 상

7) 술하

(과거시 )

에게 감 에 걸리

게 경 함 사건 진행 사 상

공식

상

말하

8) 상 동

사하

한 사람들 어떻게

지내는지 사 술

9) 과 단

하 스트 드 단 시

, 에 한

견과 안 상

10) 견피 하 경보 미 에 경

과 경 에 한 견 시

견 공식 상

에 주 상

11)가상해보 어클럽에 주5 근

실시에 한 견 시

가상 상 에

시 상

사 통 능 여러 헌에 해 씩 다 게 열 고 리 수 겠

지만 본 연 에 는 MATE 항 도 사 통 능 평가 탐색하

해 Lazaraton(2002)에 해 안 사 통 능 사용하도 한다. 그 는

FCE 시험 4 트 어 다양한 어말하 사 통 능 평가하 고

시도하 지만 사 통 능 지 게 고 애매하 에 각 항별

복 거 한 능 보여주고 다는 지 하 , 수험

할 15가지 사 통 능 시하 수험 들 ‘보다

하고 포 ’ 단할 수 는 틀 라고 하고 다. 지 지 어

말하 평가 연 헌에 사 통 능 하는 행연 찾

아보 든 상 에 그 행연 가 본 연 수행하는 어 도

용한 보 공할 수 것 단 다. FCE 시험 계

학습 들 말하 능 평가하는 리 시행 고 고, 내 학에 말

하 어시험 하는 학습 들 역시 수 고 해 볼

본 연 참여 들 해하는 리가 없는 사 통 능

라고 단 다.

2에 15가지 사 통 능 한 에 시하고 다. 그리고 MATE

12가지 평가 항 어 사 통 능 평가하겠다고 도 고 는지

리했다. 15 ‘ 청하 ’ 능 뷰가 아닌, 직

(semi-direct) 말하 평가 상 에 는 견 지 않 사 통 능

에 본 연 에 하 했다. 항 액 내용 는 6 ‘미래

계 말하 ’ 10 ‘ 신 도 말하 ’ 13 ‘동 하거 하 ’ 능

MATE 항에 해 도 평가 진 않았다.


110

2 사 통 능과 해당 능 평가 도 가진 항

평가하겠다고 도 는 사 통 능 해당 MATE 항

1. 개 사실 보 공하 1

2. 사실 보 공하 2,3,5,8

3. 상 상 에 고 싫 하 2

4. 재 상 말하 6,12

5. 과거 경험 말하 7

6. 미래 계 말하

7. 사하 4

8. 하고 하 9

9. 견 하 10

10. 신 도 하

11. 견 당 하 10

12. 해 말하 11

13. 동 하거 하

14. 안하 12

15. 청하

2 평가 도 평가 에 시 공하고 는 보에

했다. 도하고 는 항 능 수험 식, 연 경험에 라

다 게 수 는 가 우 해당 에 고

는 항 도 보가 다. 들어 11 항 경우, 여러 능

복합 평가 것 지만 해당 에 한 공식 시험

에 “공식 상 에 개 주 에 해 가 해 보는 상 수 과

다” 시하고 다. 러한 보에 고 연 들 11 항

평가 도 ‘ 해 말하 ’ 했다.

MATE 시험에 수험 들과 원어민 어강사가 한 내용

사하 , 그런 다 도 내용 사 통 능 14가지 어 에

해당 는지 했다. 각 항 답에 해당 사 통 능 상

한 경우엔 1 , 한 만 짧게 한 경우는 0.5 주었 체

답 합해진 수 체 도수 리해 었다.

Ⅳ. 분석과 토론

1. 말하 시험의 문항들이 평가하고자 하는 의사소통 능

내에 사용 고 는 어말하 시험 항들 어 사 통 능

평가 도하고 는지 3에 리했다. 각 시험마다 Part, Question, Task 등

다 항( )들 시 었지만 연 들 단에 하여 사


111

한 항들 하 항( ) 처리하 다.

각 항마다 가 시 평가가 도 사 통 능만 3에

해 었다. 들어, ESPT 시험 6 항 식 스에 해 만

상 시하고 수험 에게 어떻게 할 것 가 고 다. 항 통

해 수험 들 12 사 통 능 해 말해보 얼마 감당할 수

는지 평가할 수 다. 그러 많 수험 들 답 과 에 ‘과거 경험 말

하 ’ ‘ 사하 ’ ‘ 견 하 ’ ‘ 견 당 하 ’ ‘ 안하 ’ 등 다양한

사 통 능 용할 것 상 다. 그 지만 3에 는 평가

항 단할 수 는 가 차 고 시 사 통 능 만

리한 것 다. 실 수험 들 답 경향 후에 MATE 시험 료

통해 했다.

3 어 말하 평가에 는 사 통 능2

ESPT MATE G-Telp-Speaking TEPS-Speaking TOEIC-Speaking TOEFL

IBT OPIc3

1. 개

사실 보

공하

1,2,3 1 1,3 1 4,5 1,2,3,4,5,

6,7,8,9,10

2.

사실 보

공하

5 2,3,

5,8 7,9

2,3,

6,7 7,8,9

3,4,

5,6 10,12

3. 상

상 에

고 싫

하

2 2 3,7 3 2,5,7

4. 재

상 말하 8 6,12

2,3,4,5,6,

7,8,9,11

5. 과거 경험

말하 7 4,6 4 1 5,8,11

6. 미래 계

말하

7. 사하 4,8 4 2,3,6 3,6 4,5,6,7,

8,9,11

8. 하고 9 8 7

2 ESPT의 9번과 TOEIC-speaking 시험의 1번, 2번 문제는 ‘read a text aloud’ 항 으로 발음

과 억양을 채점하는 항 으로 본 연 에 살펴보고자 하는 의사 통 기능과 련

이 낮아 3에 포함시키지 않았다. 3 OPIc 시험은 측 가능한 의사 통 기능의 순 로 질문이 진행 지 않기 문에 수

험준비 (신 나, 이 , 2008)에 나 실전 문제에 기반하여 자료 수집하 다.


112

하

9. 견

하 7 10 5,10 8 11 2,5

10. 신

도

하

3 11 2,5 2,9,11

11. 견

당 하 7 10 5,10 8 11 2,5

12. 해

말하 6,7 11 10,11 5 10 10,12

13. 동 하

거 하 5,8

14. 안하 12 7,10,11 5 10

3에 보여주는 같 14개 사 통 능 어말하

시험에 게는 7개, 많게는 11개 항( ) 지, 평균 9개 사 통

능 해 었다. 그 에 도 1 개 사실 보 공하

2 사실 보 공하 사 통 능 든 시험에 공통

평가 도하고 는 었다. 14가지 사 통 능 3 상

상 에 고 싫 하 , 6 미래계 말하 , 8 하고 하

능 3 미만 고 었다.

어말하 시험마다 평가 집 하고 는 사 통 능 용 경

향도 악할 수 었다. 들 OPIc 1, 4, 7 사 통 능에 집

어 다. 내에 시행 고 는 OPIc ACTFL(American Council on the

Teaching of Foreign Languages) 등 (novice), (intermediate), 그리고 상

-하(advanced-low) 지만 평가하고 에 상 - 등 한

견 , 견 당 하 등 사 통 능 평가 에 도

어 었다. 연스럽게 항들 개 보, 신 재

과거 보 사하고 술하는 사 통 능에 집 어 다.

TOEFL-IBT 항 경우 사실 보 약하여 공하고 견 하

고 당 하는 사 통 능에 집 하고 다. 1 항 경우 5 사 통

능 과거 경험 말하 평가하고 지만 체 학 맥락에 학술

목 말하 능 평가하는 시험 도에 합 는 사 통 능에 집

하고 다.

TOEIC-speaking 경우는 여러 말하 시험에 하고 는 3, 4, 5, 6, 8

사 통 능 평가 에 어 다. 개 사실

보 말하 견 능 가 다. 에 해 내에 개

어 시행 고 는 어말하 시험 TEPS-speaking, ESPT, MATE 등 시각

료 용해 지도 보고 안내하 (3 ), 4-6개 그림 보고 야


113

연결하 재 상 하 (3 ), 차트 도 보고 사실 보 공

사하는 능(2 ) 보다 도 하게 평가하고 다.

TOEIC-speaking, TOEFL-IBT, OPIc 시험보다 다양한 사 통 능 평가하는

도가 지만, 그만큼 다양한 사 통 능 고 해야 하는 항개 과 감

수, 채 과 채 에 담 생 다는 것 피할 수 없 것 다.

2. 예상된 문항의도와 실제 도출된 의사소통 능의 특성 비

4는 MATE 상 과업 항에 수험 들 어 사 통 능

실 하는지 리한 것 다. 해당 항에 한 체 (A)에 실

해당 사 통 능 가 타 는지(B) B/A 양 안

에 리하 다. 4

Part 1( 상 )에 타 사 통 능 포도

MATE 항 실 사 통 능 수험

/ 체

원어민

/ 체

1)신상 질 에 답하 개 사실 보 공 15/15 2/2

2) 상 상 에 답하

사실 보 공하 15/15 2/2

상 상 에 고

싫 하 15/15 2/2

재 상 말하 1/15

과거 경험 말하 6.5/15 1/2

미래 계 말하 1.5/15

사하 1.5/15 1/2

신 도 하 2/15 1/2

해 말하 1/15 2/2

안하 6.5/15 2/2

3) 시지 달하 사실 보 공하 9/9 2/2

12) 해결하

재상 에 해 말하 7/7 2/2

미래계 말하 1/2

안하 5/7 2/2

들어 MATE 항 1 ‘신상 질 에 답하 ’는 수험 15 15

개 사실 보 능 했고, 원어민 강사 역시 2 2

가 동 한 능 포함해 했다. 상 항 도 실 도 사

통 능 합 고 다. 항 3 에 는 9 수험 들 간단한 내용


114

듣고 다시 약하여 달하는 과업 시도하 다. 항 도 담감

에 6 수험 는 답 시도하지 않았다. 하지만 답 시도한 9 실

에 상 는 사 통 능 견 었다.

2 항 상 상 하고 수험 에게 어 역할 다 에 감

사, 하, 안 등 능 말하게 한다. 시험 상 안에

어 는 상 상 지만, 수험 는 사실 보 공하거 신

고 싫 하는 사 통 능 포함할 것 상 다. 20 동안

간단하게 사 통 능 답하게 하는 항 도가 었다.

그러 실 답에는 상 사 통 능도 견 었다. 들

6.5 과거 경험 말하 능 수험 15 답에 견 었다. 벽에

걸린 신 동양 에 해 가 찬할 수험 2 ‘Ah, you love it?

Actually, I bought it. I bought this paint from the very antique, the store which is selling

the antique things…’ 과거 경험 말한다. 그리고 다시 ‘So if you want, I let

you go. I can just introduce that store and you can see more, uh, better, I mean, more

beautiful and more just unique paintings there. So you want to go with me?’ 안하

능 포함하고 다.

2 수험 가 많 양 여러 사 통 능 포함시

에 채 는 편함 없 수험 사 통 능 리능 채 할 수

것 다. 하지만 항 능 체 지 않거 여러 사 통

능 포 할 수 는 한 항 할 수 없는 사 통 능 복

도 시키 에, 수험 상 채 동 큰 편함

수 다.

들어 3 수험 는 2 수험 처럼 게 하지는 못했 간단하

게 ‘Oh, yeah. I love it, too. Actually, I painted it myself.’라고 하 다. 경우

신 과거 경험 하 말한 수험 3 해당 항 능

도 충실하게 만 시킨 것 가? 5 수험 는 ‘Um, it’s from my father. My

father like the picture.’라고 재 상 에 해 말하 능 용해 답하

다. 5 수험 는 한 답변 했는가? 러한 채 마다 다 게

해한다 채 결과는 결 신뢰 어 릴 수 에 없 것 다.

사 통 능 수행능 능 심 과업 도 평가하는 말하

시험에 , 등 수 말하 시험에 항 도에

어 사 통 능 견 채 들 곤란함에 느 다. 동

항 개 과 채 신뢰 고 한다 할 것 상 는 사 통

능에 해 보수 시험 계가 필 할 도 것 다.

원어민 강사 보 라도 도 지 않 사 통 능 쉽게 도

알 수 다. 거 복도에 워도 냐는 질 에 단순한 사실 보

공할 것 상 지만 원어민 강사 1 간단한 사실 보 뿐 아니라

‘Bicycles in the hallway are in violation of the fire regulations and that’s a hazard’ 답


115

하고 다. 규 란 사실 하 말 하고 거

워 는 안 다는 신 견 당 시키고 다. 양 많

수 상 수험 원어민 강사는 항 사 통 능 도

는 상 없 재 상 과거 경험 보태거 , 견 보태거

해 상 연하 답했다. 2 항 경우 상 도 는 달리 수험

실 사 통 능 용 하 들다.

항 12 항 2 과 경우 다 다. 상 답에 해 한 지

는 2 항에 해 12 항 해결 상 시한 다 에

체 ‘상 하고 안 시해 보십시 ’라는 답 수험 에게

하고 다. 수험 는 재 상 말하 능(7 )과 안하 능(5 )

충실하게 답에 하고 다. 항에 체 상 능 언 하니 실

답에 도 능 것 라고 볼 수 다. 처럼 항에

체 능 한다 , 채 직 단 한 것 상

다.

5 Part 2( 상 재 말하 )에 타 사 통 능 포도

MATE 과업 실 사 통 능 학습

도

원어민

도

4) / 동/ 사하

사하 15/15 2/1

견 하 2/1

도 하 1/15 1.5/1

5) 안내하

사실 보 공하 12/12 2/2

견 하 1/2

안하 1/12

6) 술하 ( 재시 ) 재 상 에 해 말하 15/15 2/2

해 말하 1/2

7) 술하 (과거시 ) 과거 경험에 해 말하 12/12 2/2

해 말하 1/2

5는 그림 보에 상 재 말하 항에 수험 들

어 사 통 능 실 하는지 리한 것 다. 항 4-7 한 개

여러 개 열 그림 보 해당 지시 상 답

한시키고 다. 수험 는 항 통해 주어진 그림 사하거 ,

안내하거 , 하루 과 말하거 , 과거 경험 술하는 능 수행

할 것 상 , 실 답에 도 러한 는 크게 가지 않았다.

도하지도 않았고, 상하지도 못한 사 통 능 양


116

많 능숙도 수 상 수험 답에 견 었다. 들어, 안

내하 항 사실 보 공하는 능 수험 답에 포함 것

었다. 하지만 3 수험 는 ‘But I am pretty sure that you will forget what I’m

saying now. So why don’t just go to the park and ask someone else?’라고 안하

능 포함하 도 했다.

원어민 강사들 단순 보 공하는 수 어 신 도

보태거 하여 말하 도 했다. 들어 사하는 항에 ‘ I

think' 시 하 신 그 공간 하는지 견 하고 다.

어 능숙도가 다고 단 는 수험 원어민 강사 경우 단순

지루하게 사하 보다 신 견 극 보태거 상

가 연하고 하고 도 하는 경향 보여주고 다. 상 수

수험 상 하는 시험에 항개 과 채 지 에 신 함

필 한 도 하다.

능 에 볼 약간 하지 못한 답 결과가 었지만, 그림

보 가진 항 보다 시 항에 도한 사 통 능 실

답 도시킬 수 는 다. 말하 평가 취약한 곳에

는 같 항 가 연 하여 항 타당 과 채 신뢰

필 가 다. 그림 공 지 않고 한 술 사람과

사하게 하고 재 과거 술하게 하 수험 들 신 시험 략

(test-wiseness) 극 용하여 신에게 편리하거 미 어

는 능 극 용할 것 다. 그림 보 변수 고 수험 들

사 술 항에 어 사 통 능 실 도 하는지 가 연 가 필

할 것 다.

6 Part 3(공식 상 에 말하 )에 타 사 통 능 포도

MATE 과업 실 사 통 능 학습

도

원어민

도

8) 사하

개 사실 보 공하 5/7 2/2

사실 보 공하 7/7 2/2

재 상 에 해 말하 7/7 2/2

과거 경험에 해 말하 1/7

사하 7/7 2/2

하고 하 2/7

도 하 2/2

9) 과 단 하

하고 하 15/15 2/2

견 하 5/15 2/2

견 당 하 5/15 2/2


117

도 하 2.5/15 2/2

개 사실 보 공하 1/15

10) 견피 하

견 하 9/9 2/2

견 당 하 6.5/9 2/2

해 말해보 6/9 2/2

동 하거 하 1/2

안하 1/2

11) 가상해보

하고 하 (5) 1/7 2/2

견 하 7/7 2/2

도 하 (5,7,8) 2.5/7 2/2

견 당 하 7/7 2/2

해 말해보 7/7 2/2

6 공식 상 말하 과업 항에 수험 들 어 사 통

능 실 하는지 리한 것 다. 3 항 듣고 약하 그림 보

에 4-7 항과 달리 8-11 항들 훨씬 다양한 사 통 능

수험 답에 견 었다.

들어 8 항 그림 보 없 한 사해보라고 수험

에게 지시한다: ‘Jennifer는 당신에게 미 수감사 에 해 해 주었

습니다. Jennifer는 한 에도 다는 것 알고 어떻게 지내

는지 해 합니다. Jennifer 질 들 후 1 동안 말하십시 . (15 후 질

시) What do you usually do on Chusok holiday?’ 하지만 지시 에 여 보

가 많 질 간단해 수험 들 신 항

도 악하고 각 다 사 통 능 답내용에 포함했다.

수험 개 보(5 ) 사실 보(7 ), 재 상 말하

(7 ) 사하 (7 ) 능 합하여 답하고 다. 그러 4 수험

경우 신 과거 경험에 집 하고 (‘I met my aunt, uncle, and my cousins…

My grandparents pass away. So I couldn’t see them. So I usually met, uh, my family,

usually met my relatives. And sometimes we, my family spend time…), 7 과 8 수험

는 미 수감사 과 한 하고 하 답했다. 다

8 수험 다: ‘We talk a lot about things that we couldn’t talk during

the whole year. It’s more like a family event just as the Thanksgiving Day in America.’

항 8 란 상 동에 해 사하 능 평가하겠다는

도 가지고 다. 그러 지시 에 미 수감사 에 해 언 하고

고 Jennifer가 한 에도 다는 것 알고 어떻게 지내는지

해 한다는 경 에 수험 들 과 미 수감사

하고 하는 능 답에 포함시킨 듯하다.


118

언어학 단 아니라, 내용 , 과업 수행능 , 사 통 능

채 할 , 처럼 사실 보 공한 수험 답과 개 경험

에 집 한 수험 답 어떻게 변별하여 해야 할 지 고민 다.

하고 하는 능 사하고 술하는 능과 도 차 가 ,

재 상 말하는 것 과거 경험 과거시 게 말하는 것과

도 차 가 수 다. 어 운 도 택해 언어학 실수가 도

채 샘플과 쉬운 도 능과 내용 택해 언어학 실수 피한

채 샘플 어떻게 차등 것 지 쉽지 않 야 한다. 항

지시 할수 상 답 는 수 에 없고 리한 수험 들

시험 략 할 가능 아지 수많 경우 수에 채 들

곤 스런 복 만 게 다.

9 항 스트 드 과 단 말하도 수험 에게 청한다. 하

지만 항에 도 여 경 (‘Jennifer는 많 한 학생 햄 거

등 주 스트 드 겨 는다고 지 합니다. 리하 아하는

Peter가 것 보고 스트 드에 어 과 단 는지 말해달라고 합

니다’) 공 수험 들 하여 여러 사 통 능 하

게 허용한다.

들 , 5 수험 는 신 개 사실 보 공하 (‘I personally like

hamburgers because it’s delicious’) 개 견 하 (‘you have to, you have to

avoid eating fast food as possible, as possible as you can’), 과 단 하고

다. 립 에 스트 드 과 단 만 열한 수험 도

었지만, Jennifer가 지 하고 Peter가 말해달라고 하는 근한 상

수험 들 하여 1 개 보 공하게 도한 것 다.

한 한 학생들 아하는 식 열한 경 보 한 식 에

한 신 견 주 하는 답도 도 었다.

든 수험 들 능 답에 포함시 지만 견 하거

(5 ), 견 당 하거 (5 ), 신 도 한(2.5 ) 답도

견 었다. 5 수험 9 항 체 답 내용 보 러한 경향

알 수 다: ‘Yeah, um, uh, the name fast food tells you that this food, this kind of food is

very fast to eat, and so you do, you don’t have to wait for the food. That’s the most, most

advantage thing for fast food, and sometimes, um, I, I personally like hamburgers because

it’s delicious. I like McDonald. And the dis, disadvantage, disadvantages of fast food are

much more. First of all, fast foods are bad for your health. Uh, they contain so much fat, uh,

especially non-trans fat, so they care accumulated in your body and causes very disease, uh,

so, you have to, you have to avoid eating fast food as possible, as possible as you can.’

10 항에 는 수험 하여 경 과 경 에 한 개

견 말하게 한다. 상 답 견 하 견 당 하 능에

집 어 지만 6 수험 가 하여 말하 능 답에 했다.


119

들어 3 수험 는 신 견 다가 게 술한다: ‘But think

about it. O.K.? There is a scale on one side of the scale. There is a lots of gold and the

other side of the scale. There is the entire planet. So what do you think? Do you wanna get

some money for the entire planet?’ 신 견 시 보다는 어

상 해보는 시 공한다. 8 수험 도 ‘I’ll start in former times

about 100 or 200 years ago. The economists didn’t think of environmental problems at all.

Economic growth was the primary point that could, was considered for economists and

most of politicians at that time…’ 신 리하고 과거 상

하는 능 답 에 포함시키고 다.

원어민 강사는 동 하거 하 능, 안하 능도 견 말하

항 답에 포함시키고 다. 10 항 경 과 경 에 한 개

견 말하게 하지만, 시 는 하 에 동 하거 하라는

항 지시 없다. 그럼에도 하고 원어민 강사는 항 사

용 는 동 술 항 해했 신 견 내는 에

‘And so they either have, make the argument that they should, kind of, get an exception to,

kind of, rules or to international agreement. Or the western countries should help them…’

등 내용 경 과 경보 어느 편에도 지 않고 어 상 안

하는 능도 포함하고 다.

11 항에 는 주 5 근 실시가 가 결과 과 말해볼 것

청한다. 상 하고 주 5 근 과 가상하는 능

차 답에 견 것 상했다. 하지만 실 답에 는 주 5

근 에 한 개 견 (7 ), 견 당 하 (7 )가 해 말

하 만큼 많았다. 한 하고 하 능(1 )과 도 하

능(2.5 ) 답에 포함시킨 수험 들도 었다. 들어 10 수험 는

다 과 같 답 시 했다: ‘Yeah, 5 day week work system has many advantages

and disadvantages. Uh, for advantages I think if we adopt the system, uh, we get a lot of,

uh, free time, holidays…’

, 견 , 가상해보 등 항에 수험 들 다양한 내용

과 사 통 능 답에 포함시 다. 항 보 함 든, 수

험 략 단 든, 같 답 허용 다 언어학 능숙도 함

께 한 과업 도 고 해야 하는 항개 채 는 곤 스러

운 상 만 게 다. 특별 8-11 항처럼 그림 보가 없고

경 지 게 여 보가 항 에 도 지 않

사 통 능 하게 답 료에 견 다는 것 주목해야 한다. 각 항

하 사 통 능 평가 도할 필 는 없다. 하지만 도 훨씬

어 사 통 능들과 하 든 내용 답 하게

평가 뿐 아니라 수험 역시 시험 하고 시험결과 해 하는 어

움 겪 수 다. 공평 가 고 검 지 않 시험 략 수험


120

들 사 에 포 수 는 것 다.

7 MATE 12개 항에 도하고 는 사 통 능과 실 수험 들

답에 도 사 통 능 살 연결한 것 다. 에 타

것처럼 신상 질 , 시지 달, 해결, / 동/ 사, 안내,

술하 항 도 1-2개 사 통 능 수험

도했다. 하지만 2 항 상 상 에 답하 , 그리고 Part 3

8-11 항( 사하 , 과 단 하 , 견 피 하 , 가상해보 ) 여

러 사 통 능들 합 어 수험 답에 견 었다. 2 항

다양한 사 통 능 시 사 통 상 안에 평가하겠다는

도 가지고 에 사용 당 가질 수 것 다.

한 항 도도 낮고 답 시간도 20 미만 짧 에 채 동에

어 움 생하지 않 수도 다. 하지만 항 8-11 경우는 항 어

사 통 능 평가 도하는지, 도한 수험 들 하고 는지

가 연 가 필 하다.

7 항과 수험 실 사 통 능 연결

MATE 과업 실 의사 통 기능

Part 1

1)신상 련 질문에 답하기 1. 개인 인 사실 보 공하기

2)일상 상 에 응답하기 2. 일 인 사실 보 공하기

3) 시지 달하기 3. 일상 인 상 에 고 싫음을 표 하기

12)문 해결하기 4. 재 상 을 말하기

Part 2 5. 과거 경험을 말하기

4)장 / 동/인물 묘사하기 6. 미래 계 을 말하기

5)길 안내하기 7. 묘사하기

6) 술하기( 재시 ) 8. 비 하고 하기

7) 술하기(과거시 ) 9. 의견을 표 하기

Part 3 10. 자신의 도를 표 하기

8)묘사하기 11. 의견을 당 하기

9)장 과 단 하기 12. 추측해 말하기

10)의견피력하기 13. 동의하거나 하기

11) 가상해보기 14. 안하기

Ⅴ. 결론 및 제언

본 연 는 말하 시험 사 통 능 에 평가 가 도한 항

도 수험 실 도수 특 했다. 우 내에 사용


121

고 는 7가지 어말하 시험 항들 어 사 통 능 평가 도

하고 는지 검 했다. 시험 Lazaraton(2002) 연 에 안 14

개 사 통 능 에 평균 9개 능 평가가 시 도 듯하

다. 에 개 사실 보 공, 사실 보 공 능 든

시험에 공통 평가하는 항목 었고 미래계 말하 , 상 상 에

고 싫 하 , 하고 하 등 3 미만 드 게

고 었다.

본 연 에 는 사 통 능 에 항 도 수험 실

특 보다 실 살펴보 해 MATE 시험 항 용하

여 15 수험 2 원어민강사 실 료 도했다. 그 결

과 항에 는 시 도 지 않 사 통 능들 하게 수험

답에 견 었다. 특 말하 능숙도가 상 상 단 는 양

많 수험 원어민강사 경우에 항 도 실 특 차

가 욱 컸다. 도 지 않 사 통 능 하게 도한 것 상

상 에 답하 , 사하 , 과 단 하 , 견 피 하 , 가상해보

항 었다. 해당 항 공통 특징 사 통 능 에 한

체 지 하거 , 지 게 많 경 수험 들에게 한

답 양에 한 해 란시킨 경우 다.

Lazaraton (2002) 연 에 도 FCE 말하 시험 견 항

도 는 달리 수험 들 보다 다양한 사 통 능 용했 는 채

동에 어 움 공하거 동 항개 에 편함 공할 것 지

했다. 같 항 지 과 보다 체 특

평가하고 하는 , 상 는 사 통 능 시할 필 가 다.

가 시 항, 상 답 료 시험지 에 포함시킬 필 가 다.

Davidson Lynch(2002)는 항개 지 업 필 과 차 특

하 항 특 만큼 시 항, 상 답 특 드시 지

에 공 필 가 지 하 다. 평가 쪽에 체 평가

도 공해야 시험 하는 학생과 , 시험결과 사용 들 보다 능

시험 하고 시험결과 해할 수 것 다.

본 연 는 시험 료에 고 연 들 수집한 수험 들

경향 한 것 다. 만약 실 말하 시험 료 사용할 수

었다 보다 다양하고 하지 못한 진 시험 료 가능했

것 다. 시험 에 는 한 시간 안에 수험 들 할 수 에 없고,

말 많 하 고 식하고 , 지 피하 한 다양한

략 사용 수 에, 항개 가 도하지 않 사 통 능

욱 하게 견 것 다. 본 연 는 탐색 격 가지고 뿐 ,

러 실 시험상 수험 에 가 연 가 어야 한다.

양 많 상 상 능숙도 보 한 학습 , 원어민강사


122

에 특 알 수 듯 에 어 움 갖고 지 않 수험 라

항에 도한 사 통 능 도 지 않았다. 상 수

수험 상 하는 시험 개 하고 시행하는 라 채

과 동 항개 에 큰 고민 수 는 다.

만약 사 통 능 용할 수 는 능 체 평가하겠다는 말

하 시험 라 항 3-7에 본 것처럼 체 상 답에 한 지시, 그림

보 공해 사 통 능 지 게 산 는 것 한시키는 항

고 해볼 필 가 다. 항에 해 도 지 않 사 통 능 수험 들

에 해 하게 도 다 , 결 시험 채 신뢰 과 항 타당

에 향 것 단 다. 어떻게 항 만들 라도 도

사 통 능 평가가 수험 통해 도 수 없 것 다.

그러 항 도 실 답 에 타 사 통 능 간 차

는 어평가 들 하지 않 순 없다. 그 간극과 상 에 한

연 없다 말하 시험 결과 해 타당 보하 쉽지 않 것

다.

연 진행하 내 어말하 시험과 료 살펴본 결과 말하

시험 과업 어떻게 하는지, 어떻게 과 사 통 능 담

하는지 수험 에 과 시험 할 수 는 료 찾

는 것 쉽지 않았다. 말하 시험 는 에 상

당 지 할애하고 다. 단락 상 담 , 스 리 에피 드 ,

사 통 능 략 용 등 여 매우 한 지 에 만 개 고

었다. 평가 시험 수험 실 살펴보

아닌 담 에 맞춰 시험 료 할 필 가 다.

마지막 , 말하 시험에 도 는 담 료 한 평가도

타당 연 다시 한 강 하고 싶다. 내에 시행 는 여러 말하

시험 시험 개 , 채 신뢰 , 시험 타당 연 료 공개하지 않

고 다. 수험 담 료 도한 실 도 료가

어 사 갖고 는지 연 한 보고 도 찾아 볼 수 없다. 시험 약

, 시험지 연 보고 통해 각 시험 항과 채 동 도하고

는 내용 공개하지 않고는 수험 시험사용 는 시험 특 과 용가

하게 해할 수 없다. 하 시험 개 하고 시행한 후 지 타

당 통해 만 시험 사용 보다 한 미 평가 사용 가

여할 수 는 것 다. 말하 평가 타당 탐 하 한 다 과 같 질

들 후 연 주 가 것 다: 평가 도 사 통 능 타당한

가? 특 항 할 수험 는 도 사 통 능만 사용해야 하는

가? 수험 들 도 지 않 사 통 능 게 사용하도 허락한

다 , 채 신뢰 , 채 식, 채 에 어 변 가 는가? 술능숙

도 수 포함한 수험 특 사 통 능 수행능 에 어 변수 가?


123

17 한 료에 연 결과 지만 본 연 통해 어

말하 평가 과업 어떻게 도 샘플 도시킬 수 는지 탐색

보 공했다. 후 항개 과 업과 타당도 연 에 시

사 공할 것 다.

참고문헌

숙 여 학 언어 원. (2002). MATE Official Test-Preparation Guide. 숙

여 학 .

신 , . (2008). Hello OPIc: 실 스트. Credu: 울.

. (1999). 어말하 평가에 타 학습 어 사용에 한 연 . 사

언어학, 2, 225-260.

Brown, A. (2003). Interviewer variation and the co-construction of speaking proficiency.

Language Testing, 20(1). 1-25.

Cafarella, C. (1997). Assessor accommodation in the V. C. E. Italian Oral Test. Australian

Review of Applied Linguistics, 20(1), 21-41.

Chapelle, C. (1998).Construct definition and validity inquiry in SLA research. In L. F.

Bachman & A. D. Cohen (Eds.), Second language acquisition and language testing

interfaces (pp. 32-70). Cambridge: Cambridge University Press.

Davidson, F., & Lynch, B. K. (2002). Testcraft: A teacher’s guide to writing and using

language test specifications. New Haven: Yale University Press.

Johnson, M. (2000). Interaction in the oral proficiency interview: Problems of validity.

Pragmatics, 10(2), 215-231.

Katona, L. (1998). Meaning negotiation in the Hungarian oral proficiency interview. In R.

Young & A. W. He (Eds.), Talking and testing: Discourse approaches to the

assessment of oral proficiency (pp. 27-52). Philadelphia: John Benjamins.

Lazaraton, A. (1992). The structural organization of a language interview: A conversation

analytic perspective. System, 20(3), 373-386.

Lazaraton, A. (2002). A Qualitative approach to the validation of oral language tests:

Studies in language testing 14. Cambridge: Cambridge University Press.

Lazaraton, A., & Wagner, S. (1996). The revised Test of Spoken English (TSE): Analysis

of native speaker and nonnative speaker data. TOEFL Monograph Series MS-7.

Princeton, NJ: Educational Testing Service.

Markee, N. (2000). Conversational analysis. Mahwah, NJ: Lawrence Erlbaum.

McNamara, T., Hill, K., & May, L. (2002). Discourse and assessment. Annual Review of

Applied Linguistics 22, 221-242.

Moder, C. L., & Halleck, G. B. (1998). Framing the language proficiency interview as a

speech event: Native and nonnative speakers' questions. In R. Young & A. W. He


124

(Eds.), Talking and testing: Discourse approaches to the assessment of oral

proficiency (pp. 117-148). Philadelphia: John Benjamins.

O’Sullivan, B., Weir, C. J., & Saville, N. (2002). Using observation checklists to validate

speaking-test tasks. Language Testing, 19(1), 33-56.

Ross, S., & Berwick, R. (1992). The discourse of accommodation in oral proficiency

interviews. Studies in Second Language Acquisition, 14(2), 159-176.

Shohamy, E. (1994). The validity of direct versus semi-direct oral test. Language Testing,

11(2), 99-124.

Wagner, S. (1994). An analysis of candidate language by task type in Phase B of CAE

Paper 5 based on audiotaped transcription of the standardization video. Report

submitted to the EFL Division, University of Cambridge Local Examinations

Syndicate, Cambridge, UK.

Wigglesworth, G. (1997). An investigation of planning time and proficiency level on oral

test discourse. Language Testing, 14(1), 85-106.

Young, R. (1995). Conversational styles in language proficiency interviews. Language

Learning, 45, 3-42.

Young, R., & He, A. W. (1998). Talking and testing: Discourse approaches to the

Assessment of Oral Proficiency. Amsterdam: John Benjamins.

Yoshida-Morise, Y. (1998). The use of communication strategies in language proficiency

interviews. In R. Young & A. W. He (Eds.), Talking and testing. Discourse

approaches to the assessment of oral proficiency (pp. 205-238). Amsterdam: John

Benjamins.

교육단계(applicable levels): 중등(secondary), 대학(tertiary) 주제어(key words): 말하기 평가(speaking testing), 기능 분석(functional analysis), 담화연구

(discourse study) 신동일 중앙대학교 영어영문학과 156-756 서울시 동작구 흑석동 Tel: 02-820-5098 Email: [email protected] 김종국 안양대학교 교양학부 430-714 경기도 안양시 만안구 안양5동 708-113번지 대신관 413호 Tel: 031-463-1269 Email: [email protected] Received in March 2009 Reviewed in April 2009 Revised version received in May 2009

영어말하기평가의 문항 분석 의사소통 - English Teachingjournal.kate.or.kr/wp-content/uploads/2015/02/kate_64_2...103 영어교육 64권 2호 2009년 여름 영어말하기평가의

Documents