Reliability using Cronbach alpha in sample survey

The Korean Journal of Applied Statistics2021, Vol. 34, No. 1, 1–8 DOI: http://dx.doi.org/10.5351/KJAS.2021.34.1.001

Reliability using Cronbach alpha in sample survey

Hyeonah Park1,a

aDepartment of Information and Statistics, Yonsei University

Abstract

Abstract concepts in social research must use measurement tools that are assured of validity and reliability.Observation score derived by a measurement tool can be divided into a valid observation score, a biased obser-vation score, and an error. The presence or absence of a biased value is associated with validity, and the presenceor absence of an error value is associated with reliability. There are many techniques for seeing whether a mea-surement tool is valid and reliable. For example, there are construct validity using factor analysis and internalconsistency based on the Cronbach alpha. In this study, the calculation of the Cronbach alpha is derived througha sample, so we suggest an estimator of the Cronbach alpha under complex sample design and nonresponse. Ina simulation, the proposed method is compared with many other existing estimators of Cronbach alpha under amultivariate normal distribution.

Keywords: reliability, Cronbach alpha, sample survey

1.서론

어떤현상을설명하기위한방법으로는자료를통해살펴보는것이있다.여기서개인,집단,민족,나라등의구성원들의 집합체에서 발생하는 사회현상을 설명하기 위해서는 주로 자주 사용되는 방법으로 설문조사가

있다. 설문조사를 통해 얻어지는 자료를 가지고 통계 및 빅데이터 분석기법을 사용하여 유용한 정보를 도출함으로써사회현상을설명하게되는것이다.현재통계는빅데이터시대를맞이하여확률에근거하는기법과더불어 알고리즘에 근거한 컴퓨터를 사용한 기법 등이 맞물려 비약적인 기법들이 쏟아져 나온다고 할 수 있

다. 그러나 여기서 간과하지 말아야 할 것은 그 설문조사에서 나온 자료가 그 사회현상 및 거기서 도출되는개념들을 잘 설명하는지를 살펴보아야 하며 계속되는 반복조사에서 일관된 값인지를 알아보아야 한다. 이것을 설문지 관점으로 보면 설문의 문항들이 개념을 잘 설명하는지와 반복된 조사에서 일관된 값을 얻을 수

있는지를 살펴보아야 한다. 자연과학분야에서는 어떤 개념에 대한 정제된 수치들이 거의 존재한다고 할 수있는데예를들어별과별사이의거리,키,몸무게등을들수있다.그러나사회과학분야에서의개념에대한수치는그와같은것들이부족하기에설문지의타당성과신뢰성이중요해지는것이다.

타당성은 개념을잘설명하고 있는지와 측정의 편향이 없는것으로볼 수 있으며 그것을보기위한 기법

으로는요인분석,주성분분석,상관계수등의분석도구를사용하는기준관련타당도와구성타당도등을들수있다. 신뢰성은 반복 측정에서 측정의 값이 일관성이 있는 지를 보는 것으로 기법으로는 재검사법, 대체법,스피어만-브라운공식,크론바흐알파값(Cronbach α)으로보는내적일치도등이있다.

1 Department of Information and Statistics, Yonsei University, 1 Yonseidae-Gil, Wonju 26493, Korea.E-mail: [email protected]

2 Hyeonah Park

신뢰도와타당도에관련된연구로는이론적접근에대한것과실제자료에다사용된사례에대한연구로

나눌 수 있다. 실제로 많이 사용되는 크론바흐알파값의 공식은 Cronbach (1951)에 의해 제안되었다. 강의평가의 타당성과 신뢰성에 관한 연구로 Lee (2010)이 있으며 신뢰도에 관련되어서는 일반화가능도 계수를이용한 평가방법을 소개하고 있다. 그리고 여러 신뢰도 계수의 소개 및 비교분석에 관련된 논문으로 Cho와Chun (2018)이있다.이논문에서는 KR-20계수,크론바흐알파,그리고맥도날드오메가(McDonald’s Omega)등을설명하고있다.또한크론바흐알파계수의로버스트한추정을위해최소한의표본크기에대한논문으로Yurdugul (2008)이 있다. 다변량정규분포의 가정하에 van Zyl 등 (2000)에서 표본분산에 근거한 크론바흐알파값추정량의평균은크론바흐알파값의모수이며그추정량의근사분포가정규분포임을설명하고있다.

본연구에서는복잡한표본설계하에추출되고무응답이발생했을때의자료를가지고크론바흐알파값을

추정하는방법이제안된다.일반적으로는각변수에대한표본분산들과신뢰성을보고자하는변수들의합에대한표본분산을사용하여크론바흐알파값이추정된다.그런데복잡한표본설계하에그와같은추정방법으로는편향이발생되게된다.설계가중치를가지고크론바흐알파값을추정하는방법은 R프로그램에서 survey패키지에 소개되어 있다. 이와 더불어서 단위무응답이 발생한다면 설계가중치와 더불어 무응답보정계수가필요하게된다.기존의중심모수에대한추정량에는적용되는기법이다.이것을크론바흐알파값에적용하여근사적비편향성을만족하는크론바흐알파값추정량을제안하고자한다.제안된추정량의근사비편향성을이론적으로증명하고다변량정규분포하에기존의추정기법들과제안된방법과의비교를통하여연구의실

효성을알아보고자한다.

2.크론바흐알파값의추정

측정이타당하다는전제하에측정의신뢰성을생각해보면관측점수 X를참점수(true score, T )와확률오차 ε

으로나눌수있다.수식으로표현하면 X = T + ε이며측정값의분산에대한참점수의분산의비를측정값의

신뢰도계수라한다.

R =V(T )V(X)

.

신뢰도는반복측정에의한검사간의연관성으로볼수있으며문항간의내적일치도(internal consistency)로도 볼 수 있다. 여기서 Cronbach (1951)은 문항간의 내적일치도를 측정하기 위해 크론바흐알파값을 제안하였다. K을 문항수라 하고 Xk를 k번째 문항에서의 관측점수라 하며 X =

∑Kk=1 Xk일 때 크론바흐알파값의

공식은

α =K

K − 1

(1 −

∑Kk=1 V(Xk)V(X)

)이다.

단지신뢰도를보기위한크론바흐알파값은과소추정의문제를가지고있다.즉신뢰도계수 R의하한이크론바흐알파값 α가된다 (Novick와 Lewis, 1967; Seong, 2007).

하지만 조사의 신뢰도를 언급해야 하는 논문에서 2003년까지 최소한 5,590번 인용되었고 2000년대에도 일년에 평균적으로 약 325번의 사회과학인용빈도를 기록하고 있다 (Cronbach, 2004; Lee, 2010). 이처럼측정도구,예를들어설문지의신뢰도를보기위해서는크론바흐알파값을현재에도많이사용하고있다.

신뢰도 계수 또는 크론바흐알파값을 계산하기 위해서는 모수의 정보가 필요함을 알 수 있다. 그러나 크론바흐알파값을 계산할 때 대부분 표본정보만이 사용된다. 즉 크론바흐알파값의 추정 문제를 고려해 볼 수

Reliability using cronbach alpha 3

있다.일반적으로크론바흐알파값을소개하고있는책 (Seong, 2007; Kim, 2019)에서는 V(Xk)와 V(X)를각각문항의표본분산 S 2

Xk,문항의합의표본분산 S 2

X을사용하여크론바흐알파값을추정하고있다.

α̂old =K

K − 1

1 − ∑Kk=1 S 2

Xk

S 2X

. (2.1)

이것은 표본조사에서 SRS 상황 하에서는 근사 비편향성을 만족한다 할 수 있으나 복잡한 표본설계에의해표본이추출되고조사과정에서무응답이발생하는상황에서는이와같은추정기법은편향이발생될수

있다.그러므로설계효과반영및무응답보정이실시되어야하며이것은표본조사에서일반적으로발생되는현상이며평균적모수의추정에반영되고있다.본연구에서는설계가중치와무응답보정계수를크론바흐알파값계산할때적용하여새로운추정기법을제안한다.

먼저크론바흐알파값을추정하기위해서는 V(Xk)와 V(X)의추정량을제시한다. Xk와 X를 Z로나타내어분산을추정한다.

첫째,표본설계에의한설계가중치를반영한추정량을생각한다.

S 2πZ =

∑Ni=1 π

−1i tiZ2

i∑Ni=1 π

−1i ti

−

∑Ni=1 π

−1i tiZi∑N

i=1 π−1i ti

2

.

단,여기서 N은모집단의크기이고 πi는포함확률이고 π−1i 는설계가중치를나타내며 ti는 i번째개체가표본에

포함되면 1을포함되지않으면 0을가지는변수이다.

둘째,설계가중치와조사과정에서발생하는무응답보정계수를사용한분산추정량으로

S 2φZ =

∑Ni=1 π

−1i φ

−1i tiriZ2

i∑Ni=1 π

−1i φ−1

i tiri−

∑Ni=1 π

−1i φ−1

i tiriZi∑Ni=1 π

−1i φ

−1i tiri

2

을제안하며단,여기서 ri은응답여부를나타내는변수로써추출된표본에서응답이이루어진개체이면 1을응답이이루어지지않은개체이면 0을주는것이다.그리고 φi는응답확률로써표본이추출되었을때 ri = 1인확률을나타낸다.

분산추정량 S 2πZ를사용한크론바흐알파추정량은

α̂design =K

K − 1

1 − ∑Kk=1 S 2

πXk

S 2πX

(2.2)

이다.이추정량은 R에서 survey패키지에서크론바흐알파값을계산할때사용되기도한다.

그리고분산추정량 S 2φZ를사용하여크론바흐알파값의추정량을제시한다.

α̂new =K

K − 1

1 − ∑Kk=1 S 2

φXk

S 2φX

. (2.3)

식 (2.3)의크론바흐알파값추정량 α̂new가본연구에서최종적으로제안되는기법이다.

Theorem 1. µZ가 Z변수의모평균이고 a1, a2, a3, a4, a5가음이아닌상수이며 n이표본크기일때,

E

N∑i=1

π−1i tiZi

= NµZ

4 Hyeonah Park

이고

a1 < N−2nV

N∑i=1

π−1i tiZi

< a2

이며, φi > a3, a4 < maxi(N−1nπ−1

i ) < a5,응답확률의독립성,그리고 Z를 Xk나 X로변경가능의가정하에

E(S 2φZ

)=

1N

N∑i=1

(Zi − µZ)2 + o(n−

12)

= V(Z) + o(n−

12)

(2.4)

와

E(α̂new) = α + o(n−

12)

(2.5)

의근사비편향성을증명할수있다.

Proof: 테일러전개를사용하여∑Ni=1 π

−1i φ−1

i tiriZi∑Ni=1 π

−1i φ

−1i tiri

=

∑Ni=1 Zi

N+

1N

N∑i=1

π−1i φ

−1i tiriZi −

∑Ni=1 Zi

N

N∑i=1

π−1i φ−1

i tiri

+ op

(n−

12)

을전개할수있다.이와비슷하게∑Ni=1 π

−1i φ−1

i tiriZ2i∑N

i=1 π−1i φ

−1i tiri

=

∑Ni=1 Z2

i

N+

1N

N∑i=1

π−1i φ

−1i tiriZ2

i −

∑Ni=1 Z2

i

N

N∑i=1

π−1i φ

−1i tiri

+ op

(n−

12)

의식을얻는다.위두식에의해식 (2.4)가증명되며이것은제안된분산추정량의근사비편향성을나타낸다.

이번에는 Z를 Xk나 X로치환해서생각한다.이것을가지고식 (2.3)의크론바흐알파값의추정량에대해테일러전개를실행한다.

α̂new =K

K − 1

1 − ∑Kk=1 S 2

φXk

S 2φX

=

KK − 1

1 − ∑Kk=1 V(Xk)V(X)

[1 −

1V(X)

(S 2φX − V(X)

)]−

1V(X)

K∑k=1

(S 2φXk− V(Xk)

)+ op

(n−

12) .

위의결과를사용하여식 (2.5)를증명하며이것은제안된크론바흐알파값추정량의근사비편향성을의미한다. �

대체적으로크론바흐알파값의추정에대해서는많이언급되지않으며표본분산을사용한크론바흐알파

값의 추정이 주로 사용된다. van Zyl 등 (2000)에서 다변량정규분포를 가정했을 때 표본분산을 사용한 크론바흐알파값추정량의정규근사이론이있으며 Armor (1974)에서분산대신주성분분석에서의최대고유값을사용한경우가있다.그리고연속형변수에서정의되는크론바흐알파값 α를이항범주형변수에서정의되면

그것을 KR20계수라한다.또한변수(문항)간상관계수의평균을사용하면크론바흐알파값 α는스피어만브

라운공식의일반적인형태와일치하게된다.이와같은사실을살펴보면표본조사에서는크론바흐알파값의추정에대한연구가되어있지않음을알수있다.본연구에서는복잡한표본설계와조사과정에서무응답이발생한 경우에 크론바흐알파값의 추정량에 대해 생각하였다. 그리고 이론상으로 제안된 추정량이 크론바흐알파값 α에 근사적으로 비편향성이 만족됨을 알 수 있었다. 이와 같이 증명된 사실에 대해 모의실험을실시하여자료에의접근의유용성을살펴보고자한다.


Table 1: Comparison of estimators under ρ = 0.65

(φ1, φ2, φ3, φ4, φ5) Variable α α̂old α̂design α̂new α̃new

(0.8,0.3,0.4,0.5,0.7)

all 0.734 0.807 0.786 0.736 0.737except variable1 0.725 0.813 0.789 0.727 0.729except variable2 0.652 0.736 0.713 0.655 0.656except variable3 0.632 0.708 0.684 0.633 0.633except variable4 0.661 0.740 0.715 0.663 0.664

(0.9,0.5,0.7,0.5,0.8)


(0.8,0.6,0.7,0.6,0.8)


3.모의실험

크론바흐알파값추정량과기존추정방법과의비교를위해다변량정규분포에서가상의자료를생성시켜실

험을 실시한다. 첫째, 변수(variable)를 (variable1, variable2, variable3, variable4)로 4개 생각하여 모평균이(µ1, µ2, µ3, µ4) = (10, 20, 30, 35)이고 모분산이 (σ1, σ2, σ3, σ4) = (10, 20, 30, 35)며 각 변수간 상관계수를 ρ =

0.65를 고려하여 자료를 생성시킨다. 둘째, ρ12 = ρ23 = ρ24 = 0.80이고 그 외의 상관계수는 0.65를 가정하여자료를 발생시킨다. 이 두 가상 자료에 대해 음수를 제외하고 각각 66,795개, 69,201개를 가상의 모집단으로가정한다.

그리고 4개의변수의합이 70보다작으면층1을 120보다작으면층2를 160보다작으면층3을 200보다작으면층4를그외는층5로나눈다.각층에서표본크기가 (n1, n2, n3, n4, n5) = (10, 28, 18, 12, 32)이만족되도록단순임의추출을실행한다.응답확률은

(φ1, φ2, φ3, φ4, φ5) = (0.8, 0.3, 0.4, 0.5, 0.7), (0.9, 0.5, 0.7, 0.5, 0.8), (0.8, 0.6, 0.7, 0.6, 0.8)

의세가지경우를고려한다.모의실험의횟수는 1,000번을실시하여추정량들을계산한다.

먼저제안된크론바흐알파값의추정량과기존에사용된크론바흐알파값추정량을살펴보면다음과같다.첫째, 크론바흐알파값의 추정량은 응답자료를 가지고 표본분산을 사용한 것으로 식 (2.1)과 관련이 있으며둘째,응답자료에설계가중치를반영한분산추정을사용한것으로식(2.2)와관련이있다.셋째,식 (2.3)의제안된크론바흐알파값추정량을사용한것과넷째,응답확률을모른다고가정하고층별표본응답률로추정한것을응답확률로간주하여식 (2.3)의크론바흐알파값추정량을사용한것이있다.모의실험을위하여네번째추정량의기호로 α̃new를사용한다.

모의실험을 통해서 1,000개의 값에 대한 평균을 크론바흐알파값의 모수와 비교하고 1,000개 추정량의값을사용하여MSE를살펴본다.

Table 1과 Table 2는상관계수를달리했을때의모집단을나타내는데 Table 2가변수별연관성이더높은것이 고려된다. 각 표에서 α의 열의 값은 크론바흐알파값의 모수를 나타내며 행에서 all에 해당하는 것이 4개의전체변수를사용한값이며 except varablie1이 variable1을제외하고 variable 2, 3, 4를사용하여크론바흐

6 Hyeonah Park

Table 2: Comparison of estimators under ρ12 = ρ23 = ρ24 = 0.80, ρ = 0.65

(φ1, φ2, φ3, φ4, φ5) Variable α α̂old α̂design α̂new α̃new

(0.8,0.3,0.4,0.5,0.7)


(0.9,0.5,0.7,0.5,0.8)


(0.8,0.6,0.7,0.6,0.8)


알파값을계산한것이다. α의열의값을제외한각칸의값은 1,000번의추정량의값의평균을나타내며 α의

열의값과비교함으로써편향의의미를살펴본다.또한각표에서 3가지의응답확률을고려하였으며각층의응답확률을달리하면서응답확률이전반적으로높아지는경우를생각한다.

Table 1과 Table 2에서 모든 변수를 사용한 크론바흐알파값의 모수 α가 0.734 이상이며 표준화 시키면0.8이상이나타나는것으로모의실험에서신뢰성이높은경우에대한것을실시한다.크론바흐알파값이 1에가깝게나와야신뢰성이있으며신뢰성이있어야타당성으로써의척도로생각해볼수있기때문에측정도구

로써의정확성측면에서크론바흐알파값이약 0.7이상나오는것을고려한다.

Table 1과 Table 2를해석해보면다음과같은결론을찾을수있다.

첫째, 모든 표에서 제안된 크론바흐알파값 추정량 α̂new가 근사적인 비편향성을 가짐을 알 수 있다. 모든변수를 사용한 경우나 변수를 한 개씩 제외한 경우에도 동일한 현상이 나타나며 층별 응답률이 다른 경우나

모집단의변수별연관성이다른경우에도비슷한결과가도출된다.

둘째, 모든 표에서 표본분산을 사용한 크론바흐알파값의 추정량 α̂old의 편향이 가장 큼을 알 수 있다.그리고 Table 1과 Table 2를 비교해 볼 때 Table 2의 편향이 약간 작이지는 것을 보아서는 모집단의 변수간상관관계가높을수록편향은줄어드는경향이있다.

셋째,설계가중치를사용한크론바흐알파값의추정량 α̂design의편향이 α̂old 다음으로높다.이것또한 Ta-ble 2의편향이약간작아지는경향이있으며모집단의변수간상관관계가높을수록편향은줄어드는경향이있다.

넷째, 실제로 식 (2.3)의 추정량 α̂new은 응답확률을 안다고 생각한 경우이다. 실제 현상에의 적용을 위해층별표본응답률을사용한크론바흐알파값추정량 α̃new을가지고모의실험해본결과근사적인비편향성이

만족됨을 확인할 수 있다. 모든 변수를 사용한 경우나 변수를 한 개씩 제외한 경우에도 α̂new와 비슷한 값이

나타나며 층별 응답률이 다른 경우나 모집단의 변수별 연관성이 다른 경우에도 비슷한 결과가 도출된다. 그러므로실제자료에의사용의안정성을확인해본결과라알수있다.

다섯째,이모든모의실험의결과는 Theorem 1의식 (2.5)의이론적증명을가상의모집단을통해실험적증명을완성한것이라할수있다.


마지막으로 표에는 기록되지 않았으나 모의실험 결과에 대한 MSE는 약 0.001에서 0.005로 대체적으로작게나타나며제안된추정량의MSE가거의가장작게나타난다.

4.결론

신뢰도를보는관점은두가지가존재한다.동일개체에대해두번의조사를통해상관관계를살펴봄으로써연관성이 높으면 신뢰도가 있다고 하는 것이며 관측점수를 참점수와 확률오차로 나누어서 관측점수 대비

확률오차의 비중이 낮아지면 신뢰도가 있다고 하는 것이 있다. 크론바흐알파값은 후자에 속하는 것으로써거기서정의된신뢰도계수의하한으로만들어진것이지만지금까지많은분야에서설문지의신뢰도를알아

보기위해사용되고있다.이것의장점은서두에서여러번언급되었으며그와같은신뢰도측정방법의추정을복잡한표본설계와무응답발생시어떻게접근할수있는가에대한것을살펴보았다.설계가중치사용과무응답조정계수를 적절히 사용하여 분산을 추정하였으며 그것을 가지고 크론바흐알파값을 추정하였다. 그리고이론적으로 실험적으로 근사 비편향성을 증명하였다. 추정의 접근 방법은 어렵지 않았으나 이론적 증명과실험적증명을실시함으로써실제조사현장에서사용의용이성을살펴본결과라할수있다.

그리고본연구에서응답확률의추정에대해서군(class)별표본응답률에대한것만언급하였다.실제로이론적증명에서는응답확률은미리알고있다고가정하고제안된크론바흐알파값추정량의근사비편향성

을알아보았다.

표본응답률의사용도빈번하게사용되고있으나향후연구로써모수적또는비모수적응답확률의추정

이 발생했을 때 또는 편향된 응답확률의 추정이 생성됐을 때 제안된 크론바흐알파값 추정량에 대해 이론적

또는실험적접근을시도해보는것을확장된내용으로남겨둔다.또한항목의합에대한신뢰도계수에대해더확장된개념의접근에서수정된크론바흐알파값에대한연구도향후에실시해보고자한다.

References

Armor, D. J. (1974). Theta reliability and factor scaling, In Costner, H. L. (ed.), Sociological Methodology.Jossey-Bass, San Francisco, 17–50.

Cho, E. and Chun, S. (2018). Originators of reliability coefficients : A historical review of the originators ofreliability coefficients including Cronbach’s alpha, Survey Research, 19, 73–104.

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of test, Psychometrika, 16, 297–334.Cronbach, L. J. (2004). My current thoughts on coefficient alpha and successor procedures, Educational and

Psychological Measurement, 64, 391—418. .Kim, S. (2019). Understanding of Social Research Methods for Social Research Analysts. Freeacademy.Lee, K. H. (2010). A study on validity and reliability of students’ evaluation, Journal of the Korean Data &

Information Science Society, 21, 87–98.Novick, M. R. and Lewis, C. (1967). Coefficient alpha and the reliability of composite measurements, Psychome-

trika, 32, 1, 1–13.Seong, T. J. (2007). Validity and Reliability. Hakjisa.van Zyl, J. M., Neudecker, H., and Nel, D. G. (2000). On the distribution of the maximum likelihood estimator

of Cronbach’s alpha, Psychometrika, 65, 271–280.Yurdugul, H. (2008). Minimum sample size for cronbach’s coefficient alpha : a monte-caro study, H.U. Journal

of Education, 35, 397–405.

Received September 17, 2020; Revised October 13, 2020; Accepted October 13, 2020

8

표본조사에서크론바흐알파값을사용한신뢰성

박현아1,a

a연세대학교정보통계학과

요 약

사회조사에서 추상적 개념은 타당성과 신뢰성이 보장된 측정도구를 사용하여야 한다. 그와 같은 측정도구에 의해 도출된 관측점수는 타당한 관측점수와 편향된 관측점수와 오차로 나눌 수 있으며 편향된 값의

유무가타당성과연관되어있으며오차값의유무가신뢰성과연관되어있다.측정도구가타당도및신뢰도를만족하는 지를 보기 위한 기법들이 많이 존재한다. 예를 들면 요인분석을 통한 구성타당도, 크론바흐 알파값에 의한 내적일치도 등을 들 수 있다. 본 연구에서 크론바흐알파값의 계산은 표본을 통해서 도출되는 데복잡한 표본설계와 무응답이 발생했을 때 크론바흐알파값의 추정법에 대해 살펴본다. 제안된 기법에 대한모의실험으로다변량정규분포를사용하여기존의여러다른크론바흐알파값의추정기법과비교분석한다.

주요용어:신뢰성,크론바흐알파,표본조사

(26493)강원도원주시연세대길 1,연세대학교정보통계학과. E-mail: [email protected]

Reliability using Cronbach alpha in sample survey

Documents