Top Banner

of 7

Kaczmirek Survey Design

Apr 03, 2018

Download

Documents

quentin3
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
  • 7/28/2019 Kaczmirek Survey Design

    1/7

    W e b S u r v e y s . A B r i e f G u i d e o n

    U s a b i l i t y a n d I m p l e m e n t a t i o n I s s u e s .

    L a r s K a c z m i r e k

    C e n t e r f o r S u r v e y R e s e a r c h a n d M e t h o d o l o g y ( Z U M A )

    k a c z m i r e k @ z u m a - m a n n h e i m . d e

    w w w . g e s i s . o r g / z u m a

    D e c e m b e r 2 0 0 5

    T h e r s t p a r t o f t h i s p a p e r i n t r o d u c e s t h r e e g e n e r a l r e c o m m e n d a t i o n s ( b e

    u s e r - f r i e n d l y , b e t r u s t w o r t h y , b e e x p l i c i t ) w h i c h s h o u l d g u i d e t h e p r o c e s s o f

    c o n d u c t i n g a n d i m p l e m e n t i n g a w e b s u r v e y . T h e s e c o n d p a r t d e v e l o p s t h e

    r e c o m m e n d a t i o n s i n t o a l i s t o f g u i d e l i n e s g r o u p e d a c c o r d i n g t o t h e d i e r e n t

    s t a g e s o f c o n d u c t i n g a w e b s u r v e y .

    K e y w o r d s : W e b s u r v e y s , o n l i n e s u r v e y s , s u r v e y s o f t w a r e , g u i d e l i n e s .

    C o n t e n t s

    1 I n t r o d u c t i o n 2

    2 T h r e e e s s e n t i a l r e c o m m e n d a t i o n s f o r w e b s u r v e y s : B e u s e r - f r i e n d l y , t r u s t w o r -

    t h y a n d e x p l i c i t 2

    2 . 1 B e u s e r - f r i e n d l y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

    2 . 2 B e t r u s t w o r t h y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

    2 . 3 B e e x p l i c i t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

    3 G u i d e l i n e s f o r c o n d u c t i n g w e b s u r v e y s 3

    3 . 1 W r i t i n g a q u e s t i o n n a i r e f o r t h e w e b . . . . . . . . . . . . . . . . . . . . . . 3

    3 . 2 G e t t i n g i t o n l i n e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

    3 . 3 I n v i t a t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

    4 R e f e r e n c e s 6

    T h i s p a p e r i s c o - p u b l i s h e d a s K a c z m i r e k , L . ( 2 0 0 5 ) . W e b S u r v e y s . A B r i e f G u i d e o n U s a b i l i t y a n d

    I m p l e m e n t a t i o n I s s u e s . I n M . H a s s e n z a h l , & M . P e i s s n e r ( e d . ) , U s a b i l i t y P r o f e s s i o n a l s 2 0 0 5 ( p p .

    1 0 2 - 1 0 5 ) . G e r m a n C h a p t e r o f t h e U s a b i l i t y P r o f e s s i o n a l s A s s o c i a t i o n e . V .

    1

  • 7/28/2019 Kaczmirek Survey Design

    2/7

    K a c z m i r e k , L . ( 2 0 0 5 ) . W e b S u r v e y s . A B r i e f G u i d e o n U s a b i l i t y a n d I m p l e m e n t a t i o n

    I s s u e s . A v a i l a b l e a t h t t p : / / w e b s m . o r g / g u i d e s /

    1 I n t r o d u c t i o n

    T h e m a i n o b j e c t i v e o f t h e p r e s e n t p a p e r i s t o f o r m u l a t e t h r e e e s s e n t i a l r e c o m m e n d a t i o n s

    w h i c h m a y g u i d e t h r o u g h t h e p r o c e s s o f i m p l e m e n t i n g a n d c o n d u c t i n g a w e b s u r v e y .

    T h e s e c o n d p a r t o f t h e p a p e r e l a b o r a t e s o n t h e s e r e c o m m e n d a t i o n s b y l i s t i n g p r a c t i c a l

    g u i d e l i n e s f o r d i e r e n t s t a g e s i n t h e p r o c e s s o f t h e w e b s u r v e y . T h e b i b l i o g r a p h y s e r v e s

    a s a s t a r t i n g p o i n t f o r r e a d e r s w h o l o o k f o r a b r o a d e r u n d e r s t a n d i n g o f w e b s u r v e y s

    a n d e m p i r i c a l d a t a . T h i s b r i e f g u i d e d o e s n o t c l a i m t o b e a n e x h a u s t i v e c o m p i l a t i o n o f

    a l l n o t e w o r t h y g u i d e l i n e s o r r e c o m m e n d a t i o n s . I t i s l i k e l y t h a t r e s o u r c e s c o v e r i n g w e b

    s u r v e y m e t h o d o l o g y s u c h a s t h e i n f o r m a t i o n p o r t a l W e b S M ( h t t p : / / w e b s m . o r g ) w i l l

    c o m p i l e t h e i r o w n l i s t o f g u i d e l i n e s a n d r e c o m m e n d a t i o n s . S t i l l , s i t u a t i o n s m a y o c c u r

    w h e r e e x c e p t i o n s a r e a p p r o p r i a t e .

    2 T h r e e e s s e n t i a l r e c o m m e n d a t i o n s f o r w e b s u r v e y s : B e

    u s e r - f r i e n d l y , t r u s t w o r t h y a n d e x p l i c i t

    2 . 1 B e u s e r - f r i e n d l y

    I t i s e s s e n t i a l t o u s e t h e a d v a n t a g e s o f o n l i n e s u r v e y m e t h o d o l o g y w h i l e a v o i d i n g t h e

    i n t r o d u c t i o n o f n e w o b s t a c l e s w h i c h w o u l d n o t b e p r e s e n t i n a c o m p a r a b l e p a p e r a n d

    p e n c i l q u e s t i o n n a i r e . T h e i m p l e m e n t a t i o n o f a w e b s u r v e y s h o u l d p r o c e e d i n a w a y

    u t i l i z i n g t e c h n i c a l a d v a n c e s w i t h o u t i m p o s i n g t e c h n i c a l c o m p l e x i t y o n y o u r p a r t i c i p a n t s .

    F o r e x a m p l e y o u s h o u l d p r o v i d e a h y p e r l i n k i n a n e - m a i l i n v i t a t i o n , w h i c h l e a d s d i r e c t l y

    t o t h e q u e s t i o n n a i r e w i t h o u t a n e x t r a l o g i n p r o c e d u r e . A v o i d t h e n e e d t o i n s t a l l n e w p l u g -

    i n s . G i v e p a r t i c i p a n t s a s m u c h c o n t r o l o v e r t h e s u r v e y p r o c e s s a s w i t h a n e q u i v a l e n t p a p e r

    a n d p e n c i l q u e s t i o n n a i r e o r m o r e . U s e r - f r i e n d l i n e s s i s a n i m p o r t a n t a s p e c t t o a c h i e v e v a l i d

    d a t a . B a d l y d e s i g n e d s u r v e y s s u e r f r o m m i s u n d e r s t a n d i n g s i n t h e q u e s t i o n s a n d a n s w e r

    c a t e g o r i e s . F o r c e d a n s w e r c o n t r o l s ( w h e r e a r e s p o n s e i s n e c e s s a r y t o p r o c e e d ) m a k e i t

    m o r e l i k e l y t o p r o d u c e i n v a l i d d a t a .

    2 . 2 B e t r u s t w o r t h y

    C o n f o r m t o e s t a b l i s h e d c o d e s o f c o n d u c t ( e . g . A A P O R , 2 0 0 2 , A D M , 1 9 9 9 , f o r a l i s t o f

    c o d e s s e e W e b S M ) . C h o o s e a n a p p r o p r i a t e i m p l e m e n t a t i o n f o r y o u r w e b s u r v e y s o t h a t

    p a r t i c i p a n t s a r e i n f u l l c o n t r o l o f t h e i r a n s w e r s d u r i n g t h e i r p a r t i c i p a t i o n . F o r e x a m p l e

    y o u s h o u l d e m p o w e r y o u r p a r t i c i p a n t s s o t h e y c a n c h a n g e t h e i r p r e v i o u s a n s w e r s a n d

    p r o v i d e c o m m e n t s . D i s c l o s e y o u r i d e n t i t y a n d c o n t a c t i n f o r m a t i o n a n d g i v e i n f o r m a t i o n

    a b o u t t h e g o a l s o f t h e s u r v e y . E n s u r e d a t a i n t e g r i t y a n d v i r t u a l a n o n y m i t y a s f a r a s

    p o s s i b l e . A s y o u b u i l d u p t r u s t , i t b e c o m e s m o r e l i k e l y f o r r e s p o n d e n t s t o p a r t i c i p a t e i n

    y o u r s u r v e y .

    2

  • 7/28/2019 Kaczmirek Survey Design

    3/7

    K a c z m i r e k , L . ( 2 0 0 5 ) . W e b S u r v e y s . A B r i e f G u i d e o n U s a b i l i t y a n d I m p l e m e n t a t i o n

    I s s u e s . A v a i l a b l e a t h t t p : / / w e b s m . o r g / g u i d e s /

    2 . 3 B e e x p l i c i t

    B e i n g e x p l i c i t m a k e s y o u r r e p o r t a n d d a t a q u a l i t y m o r e c o n v i n c i n g . T h u s , d i s c l o s e y o u r

    m e t h o d o l o g y . A s t h e s t a n d a r d s f o r o n l i n e s u r v e y s a r e s t i l l d e v e l o p i n g t h e v a r i o u s p o s s i -

    b i l i t i e s o f i m p l e m e n t a t i o n m a k e i t h a r d t o c o m p a r e a n d e v a l u a t e t h e i r e e c t s o n p a r t i c -

    i p a t i o n b e h a v i o r , d a t a q u a l i t y a n d a l l s o r t s o f s u r v e y e r r o r s . D i e r e n t i m p l e m e n t a t i o n

    p r o c e d u r e s ( c o n c e r n i n g i n c e n t i v e s , i n v i t a t i o n , r e m i n d e r , c o n t a c t m o d e s e t c . ) a r e l i k e l y t o

    h a v e a n e e c t o n r e s p o n d e n t s ' b e h a v i o r . N e v e r t h e l e s s , o n l i n e s u r v e y s a r e n o t n e c e s s a r i l y

    i n f e r i o r t o o t h e r s u r v e y m o d e s . I n o r d e r t o a l l o w o t h e r s t h e a s s e s s m e n t o f y o u r s u r v e y

    p r o v i d e i n f o r m a t i o n a b o u t y o u r s a m p l e , t h e m o d e s y o u u s e d , t h e c o n t e x t i n w h i c h t h e

    s u r v e y i s c o n d u c t e d ( t o p i c a n d i n s t i t u t i o n ) a n d t h e i m p l e m e n t a t i o n p r o c e d u r e s .

    S h a r e s c r e e n s h o t s o f t h e r s t p a g e ( u s u a l l y t h e i n v i t a t i o n a n d e x p l a n a t o r y p a g e ) a n d

    o n e e x a m p l e p a g e o f t h e s u r v e y . T h i s i s t h e e a s i e s t w a y t o d e m o n s t r a t e t h e l o o k a n d f e e l

    o f y o u r s u r v e y . F u r t h e r m o r e , s e v e r a l m e a s u r e s o f r e s p o n s e / n o n - r e s p o n s e s h o u l d b e s t a t e d

    ( f o r a d i s c u s s i o n o n s u r v e y q u a l i t y a n d d i e r e n t t y p e s o f s u r v e y e r r o r s s e e C o u p e r , 2 0 0 0 ) .

    Y o u s h o u l d r e p o r t : n u m b e r o f t o t a l i n v i t a t i o n s , v i s i t s t o t h e r s t w e b p a g e , r e s p o n s e s t o

    t h e r s t q u e s t i o n a n d n u m b e r o f t o t a l c o m p l e t i o n s . F o r t h e n u m b e r o f c o m p l e t i o n s a n d

    d r o p - o u t s t o b e c o m p a r a b l e s t a t e h o w m a n y a n s w e r s ( p e r c e n t a g e ) a r e n e c e s s a r y o r w h a t

    c o n s t i t u t e s a d a t a s e t t o b e c o u n t e d a s a c o m p l e t i o n . P r o v i d e t h e n u m b e r o f q u e s t i o n s ,

    p a g e s a n d t h e n u m b e r o f n e c e s s a r y a n s w e r s ( d a t a p o i n t s ) i n c l u d e d i n t h e s u r v e y . R e p o r t

    t h e a v e r a g e t i m e a n d s t a n d a r d d e v i a t i o n i t t o o k t i l l c o m p l e t i o n .

    3 G u i d e l i n e s f o r c o n d u c t i n g w e b s u r v e y s

    3 . 1 W r i t i n g a q u e s t i o n n a i r e f o r t h e w e b

    1 . S e a r c h f o r a l r e a d y d e v e l o p e d q u e s t i o n n a i r e s a n d s c a l e s . W h i l e w r i t i n g a n e w q u e s -

    t i o n n a i r e a l l o w s t h e h i g h e s t e x i b i l i t y i n t e r m s o f w o r d i n g , d e s i g n a n d a n s w e r t y p e s ,

    q u e s t i o n s a b o u t t h e o b t a i n e d d a t a q u a l i t y a n d t h e r e b y t h e q u a l i t y o f t h e q u e s t i o n -

    n a i r e i t s e l f o f t e n r e m a i n u n a n s w e r e d . T h r e e w i d e l y e s t a b l i s h e d a n d a c c e p t e d q u a l i t y

    c r i t e r i a f o r q u e s t i o n n a i r e s a n d t e s t s a r e o b j e c t i v i t y , r e l i a b i l i t y a n d v a l i d i t y . T o a s -

    s e s s a n d i m p r o v e t h e q u a l i t y m u c h w o r k h a s g o n e i n t o t h e c o n s t r u c t i o n o f s c a l e s

    a n d q u e s t i o n n a i r e s . T h e r e f o r e , s t a r t b y s e a r c h i n g f o r q u e s t i o n n a i r e s o r s c a l e s , w h i c h

    c o n c e r n y o u r i n f o r m a t i o n n e e d s ( c f . G l c k n e r - R i s t , 2 0 0 4 a n d P e r l m a n , 2 0 0 1 ) .

    2 . U s e t h e s a m e s e t o f d e m o g r a p h i c a l q u e s t i o n s f o r a l l o f y o u r s u r v e y s . T h i s w i l l m a k e

    y o u r s a m p l e s a n d r e s u l t s m o r e c o m p a r a b l e , t h e r e b y a v o i d i n g d i e r e n t c a t e g o r i e s

    f o r t h e s a m e v a r i a b l e ( e . g . a g e ) i n d i e r e n t s u r v e y s ( c f . H o m e y e r - Z l o t n i k & W o l f ,

    2 0 0 3 a n d f o r G e r m a n y E h l i n g , H o m e y e r - Z l o t n i k , Q u i t t , v o n d e r H e y d e & B o s c h ,

    2 0 0 4 ) .

    3 . M a k e i t a s s h o r t a s p o s s i b l e . T o m a x i m i z e y o u r r e s p o n s e r a t e s a n d t h e n u m b e r

    o f c o m p l e t i o n s k e e p y o u r s u r v e y s h o r t . A u s e f u l m e a s u r e f o r s u r v e y l e n g t h i s t h e

    n u m b e r o f d e c i s i o n s / a n s w e r s a r e s p o n d e n t m u s t m a k e i n o r d e r t o c o m p l e t e a s u r v e y .

    T h e n u m b e r o f a n s w e r s p r o v i d e s a b e t t e r e s t i m a t i o n f o r t h e l e n g t h o f a s u r v e y t h a n

    3

  • 7/28/2019 Kaczmirek Survey Design

    4/7

  • 7/28/2019 Kaczmirek Survey Design

    5/7

    K a c z m i r e k , L . ( 2 0 0 5 ) . W e b S u r v e y s . A B r i e f G u i d e o n U s a b i l i t y a n d I m p l e m e n t a t i o n

    I s s u e s . A v a i l a b l e a t h t t p : / / w e b s m . o r g / g u i d e s /

    8 . A v o i d d r o p - d o w n - m e n u s . T h e r e i s a t e n d e n c y t o s e l e c t t h e t o p e n t r i e s . W o r s e ,

    d r o p - d o w n - m e n u s a r e e a s i l y o v e r l o o k e d . I f y o u n e e d t o i m p l e m e n t i t , d o n o t u s e

    d e f a u l t s e l e c t i o n s o f a n s w e r c a t e g o r i e s . M a k e t h e r s t e n t r y s o m e t h i n g l i k e - s e l e c t

    h e r e - . O t h e r w i s e y o u w i l l n o t b e a b l e t o t e l l t h e d i e r e n c e b e t w e e n a r e s p o n s e o f

    t h a t c a t e g o r y a n d a n i t e m n o n - r e s p o n s e . D o n o t u s e d r o p - d o w n m e n u s o r c a t e g o r i e s

    f o r a n s w e r s w h i c h a r e v e r y e a s y t o a n s w e r , l i k e f o r e x a m p l e Y e a r o f b i r t h ? I n t h i s

    c a s e a t e x t e l d w o u l d b e a p p r o p r i a t e . O n l y u s e d r o p - d o w n m e n u s a n d l i s t b o x e s ,

    i f r e s p o n d e n t s k n o w t h e a n s w e r w i t h o u t h a v i n g t o l o o k a t a l l e n t r i e s .

    9 . R a n d o m i z e t h e s e q u e n c e o f y o u r i t e m s . I f y o u h a v e v e r t i c a l a n s w e r c a t e g o r i e s w i t h -

    o u t a n e c e s s a r y o r d e r t h i s m i g h t b e a g o o d i d e a b e c a u s e r e s p o n d e n t s t e n d t o c h o o s e

    t h e a n s w e r s a t t h e t o p . D o n o t r a n d o m i z e a l p h a b e t i c a l l i s t s , e . g . c o u n t r y n a m e s

    a n d m a k e s u r e t h a t a p o s s i b l e d o n ' t k n o w o r o t h e r r e m a i n s a t t h e e n d o f t h e

    l i s t .

    1 0 . A v o i d s c r o l l i n g . D i s p l a y o n l y s o m a n y q u e s t i o n s o n o n e p a g e a s t w i t h i n t h e

    w i n d o w . D i s t r i b u t e t h e q u e s t i o n s o n s e v e r a l p a g e s . T h i s a l l o w s t h e s a v e a n d

    c o n t i n u e f e a t u r e t o w o r k , g i v e s y o u d a t a a b o u t r e s p o n s e t i m e s p e r p a g e a n d a l l o w s

    s o f t c o n t r o l s b y s e r v e r - s i d e d s c r i p t s .

    1 1 . I m p l e m e n t l t e r s w h e r e a p p r o p r i a t e . F i l t e r s , j u m p s , s k i p s , c o n d i t i o n i n g a r e m e a n s

    t o a d a p t t h e q u e s t i o n n a i r e t o t h e r e s p o n s e b e h a v i o r o f e a c h p a r t i c i p a n t . T h e y

    a l l o w t o s k i p n o n - a p p r o p r i a t e q u e s t i o n s d e p e n d i n g o n t h e p r e v i o u s a n s w e r s g i v e n

    a n d t h u s r e d u c e t h e l e n g t h o f a s u r v e y t o t h e i n d i v i d u a l m i n i m u m .

    1 2 . U s e y o u r c o r p o r a t e d e s i g n . U t i l i z e h e a d e r a n d b a c k g r o u n d t o d e s i g n t h e s u r v e y i n

    y o u r c o r p o r a t e d e s i g n .

    1 3 . R u n p r e t e s t s w i t h t h e w e b s u r v e y . C h e c k t h e m a t c h i n g o f t h e q u e s t i o n w o r d i n g a n d

    t h e i r a n s w e r c a t e g o r i e s , t h e s p e l l i n g a n d t h e o w o f t h e q u e s t i o n n a i r e . C h e c k f o r

    c o n s i s t e n t l a y o u t , w h i l e y o u i p f a s t t h r o u g h y o u r q u e s t i o n n a i r e . A v o i d s w i t c h i n g

    b e t w e e n l e f t a l i g n m e n t a n d c e n t e r a l i g n m e n t . T e s t t h e s u r v e y w i t h p e o p l e s i m i l a r

    t o t h e s a m p l e . C h e c k t h e s u r v e y w i t h d i e r e n t b r o w s e r s a n d d i e r e n t s e t t i n g s ( e . g .

    f o n t s i z e s a n d w i n d o w s i z e s ) . I d e n t i f y q u e s t i o n s w h e r e r e s p o n d e n t s m i g h t g e t s t u c k .

    R e d e s i g n b e f o r e y o u g o o n l i n e .

    3 . 3 I n v i t a t i o n s

    1 4 . W h e n i m p l e m e n t i n g l i s t - b a s e d s a m p l i n g b y e - m a i l : M a k e y o u r e - m a i l i n v i t a t i o n s

    s u i t t h e i r e n v i r o n m e n t . P r o v i d e a n U R L w h i c h l e a d s d i r e c t l y t o t h e s u r v e y . T e s t

    t h e U R L i n d i e r e n t e - m a i l c l i e n t s . S t o r e t h e p a r t i c i p a n t s ' l o g i n o r i d e n t i c a t i o n

    n u m b e r i n t h e U R L g i v e n s o t h e r e s p o n d e n t s d o n o t n e e d t o l l i n a n e x t r a n u m b e r .

    S e n d p l a i n t e x t . A v o i d a t t a c h m e n t s a n d h t m l . H a v e a v a l i d s e n d e r a n d o n l y o n e

    v i s i b l e r e c e i v e r p e r e - m a i l . U s e a m e a n i n g f u l s u b j e c t l i n e a n d a d j u s t i t w i t h e v e r y

    n e w e - m a i l t o t h e s a m e r e s p o n d e n t . U s e p e r s o n a l i z e d e - m a i l s i f p o s s i b l e i n s t e a d

    5

  • 7/28/2019 Kaczmirek Survey Design

    6/7

    K a c z m i r e k , L . ( 2 0 0 5 ) . W e b S u r v e y s . A B r i e f G u i d e o n U s a b i l i t y a n d I m p l e m e n t a t i o n

    I s s u e s . A v a i l a b l e a t h t t p : / / w e b s m . o r g / g u i d e s /

    o f D e a r M a d a m o r S i r . C h e c k t h e e - m a i l s t h a t w e r e n o t d e l i v e r e d ( b o u n c e s ) f o r

    c o i n c i d e n c e s a n d s y s t e m a t i c d e s i g n e r r o r s .

    1 5 . W h e n i m p l e m e n t i n g a n i n t e r c e p t s u r v e y : M a k e y o u r i n t e r c e p t s u r v e y s u i t i t s e n v i -

    r o n m e n t . U s e a s y s t e m a t i c a p p r o a c h t o i n v i t e v i s i t o r s o f a w e b s i t e , e . g . i n v i t e e v e r y

    n t h v i s i t o r . T h e m o s t c o m m o n a p p r o a c h e s u s e p o p u p s o r b a n n e r s f o r i n v i t a t i o n .

    I n t h e f o l l o w i n g c a s e s , a n i n v i t a t i o n t o w e b s i t e v i s i t o r s s h o u l d b e a v o i d e d : ( i ) I f

    t h e y d e c l i n e d t o p a r t i c i p a t e , ( i i ) i f t h e y a l r e a d y p a r t i c i p a t e d , ( i i i ) i f t h e v i s i t o r w a s

    i n v i t e d l e s s t h a n s e v e r a l m i n u t e s a g o . T h e a b o v e t h r e e r u l e s l e a d t o t h e f o l l o w i n g :

    ( i v ) I f y o u a r e n o t a b l e t o c o n t r o l y o u r i n v i t a t i o n s f o r a g i v e n v i s i t o r ( f o r e x a m p l e

    i f t h e p l a c e m e n t o f c o o k i e s i s n o t a l l o w e d ) , r e s i s t t h e u r g e t o b o t h e r h i m / h e r w i t h

    m u l t i p l e a n d r e p e a t i n g i n v i t a t i o n s . U s u a l l y c o o k i e s a r e u s e d t o i d e n t i f y r e p e a t i n g

    v i s i t o r s .

    4 R e f e r e n c e s

    A D M , A r b e i t s k r e i s d e u t s c h e r M a r k t - u n d S o z i a l f o r s c h u n g s i n s t i t u t e e . V . ( 1 9 9 9 ) . S t a n -

    d a r d s f o r Q u a l i t y A s s u r a n c e f o r O n l i n e S u r v e y s . R e t r i e v e d f r o m h t t p : / / w w w .

    a d m - e v . d e / E N G L I S H / q u a l i _ o n l i n e _ e . h t m l

    A A P O R , A m e r i c a n A s s o c i a t i o n f o r p u b l i c o p i n i o n r e s e a r c h . ( 2 0 0 2 ) . S t a n d a r d s a n d b e s t

    p r a c t i c e s . R e t r i e v e d f r o m h t t p : / / w w w . a a p o r . o r g / d e f a u l t . a s p ? p a g e = s u r v e y _

    m e t h o d s / s t a n d a r d s _ a n d _ b e s t _ p r a c t i c e s

    B a t i n i c B . , R e i p s U . - D . & B o s n j a k M . ( 2 0 0 2 ) . O n l i n e S o c i a l S c i e n c e s . H o g r e f e .

    B e s t S . J . & K r u e g e r B . S . ( 2 0 0 4 ) . I n t e r n e t D a t a C o l l e c t i o n . S a g e P u b l i c a t i o n s .

    C o u p e r M . P . ( 2 0 0 0 ) . W e b S u r v e y - A R e v i e w o f I s s u e s a n d A p r o a c h e s . P u b l i c O p i n i o n

    Q u a r t e r l y , 6 4 , 4 6 4 - 4 9 4 .

    C o u p e r M . P . , T r a u g o t t M . W . & L a m i a s M . J . ( 2 0 0 1 ) . W e b S u r v e y D e s i g n a n d A d m i n -

    i s t r a t i o n . P u b l i c O p i n i o n Q u a r t e r l y , 6 5 , 2 3 0 - 2 5 3 .

    C r a w f o r d S . , M c C a b e S . E . & P o p e D . ( 2 0 0 5 ) . A p p l y i n g W e b - B a s e d S u r v e y D e s i g n

    S t a n d a r d s . J o u r n a l o f P r e v e n t i o n & I n t e r v e n t i o n i n t h e C o m m u n i t y , 2 9 , 1 , 4 3 - 6 6 .

    D i l l m a n D . A . ( 1 9 9 9 ) . M a i l a n d I n t e r n e t S u r v e y s . T h e T a i l o r e d D e s i g n M e t h o d . W i l e y .

    E h l i n g M . , H o m e y e r - Z l o t n i k J . H . P . , Q u i t t H . , v o n d e r H e y d e C . & B o s c h V .

    ( 2 0 0 4 ) . D e m o g r a s c h e S t a n d a r d s . S t a t i s t i s c h e s B u n d e s a m t . A v a i l a b l e f o r d o w n -

    l o a d a t h t t p : / / w w w . g e s i s . o r g / M e t h o d e n b e r a t u n g / U n t e r s u c h u n g s p l a n u n g /

    S t a n d a r d d e m o g r a f i e /

    G l c k n e r - R i s t A . ( e d . ) . ( 2 0 0 4 ) . Z U M A - I n f o r m a t i o n s s y s t e m . E l e k t r o n i s c h e s H a n d b u c h

    s o z i a l w i s s e n s c h a f t l i c h e r E r h e b u n g s i n s t r u m e n t e , V e r s i o n 8 . 0 0 . A v a i l a b l e f o r d o w n -

    l o a d a t h t t p : / / w w w . g e s i s . o r g / M e t h o d e n b e r a t u n g / Z I S /

    H o m e y e r - Z l o t n i k J . H . P . & W o l f C . ( e d s . ) . ( 2 0 0 3 ) . A d v a n c e s i n C r o s s - N a t i o n a l C o m p a r -

    i s o n . A E u r o p e a n W o r k i n g B o o k f o r D e m o g r a p h i c a n d S o c i o - E c o n o m i c V a r i a b l e s .

    K l u w e r A c a d e m i c / P l e n u m P u b l i s h e r s .

    K a c z m i r e k L . ( 2 0 0 4 ) . C h o o s i n g s u r v e y s o f t w a r e . H o w t o d e c i d e a n d w h a t t o c o n s i d e r . A

    g u i d e a v a i l a b l e a t h t t p : / / w w w . w e b s m . o r g /

    6

  • 7/28/2019 Kaczmirek Survey Design

    7/7

    K a c z m i r e k , L . ( 2 0 0 5 ) . W e b S u r v e y s . A B r i e f G u i d e o n U s a b i l i t y a n d I m p l e m e n t a t i o n

    I s s u e s . A v a i l a b l e a t h t t p : / / w e b s m . o r g / g u i d e s /

    M a n f r e d a K . , B o s n j a k M . , H a a s I . & V e h o v a r V . ( 2 0 0 5 ) . W e b s u r v e y r e s p o n s e r a t e s c o m -

    p a r e d t o o t h e r m o d e s . A m e t a - a n a l y s i s . P r e s e n t a t i o n a t t h e 6 0 t h A n n u a l A A P O R

    C o n f e r e n c e , A m e r i c a n A s s o c i a t i o n f o r P u b l i c O p i n i o n R e s e a r c h , M a y 1 2 - 1 5 , 2 0 0 5 ,

    M i a m i , F l o r i d a .

    P e r l m a n G . ( 2 0 0 1 ) . W e b - B a s e d U s e r I n t e r f a c e E v a l u a t i o n w i t h Q u e s t i o n n a i r e s . R e t r i e v e d

    f r o m h t t p : / / w w w . a c m . o r g / ~ p e r l m a n / q u e s t i o n . h t m l

    W e b S M . W e b S u r v e y M e t h o d o l o g y S i t e . h t t p : / / w w w . w e b s m . o r g /

    W e l k e r M . , W e r n e r A . & S c h o l z J . ( 2 0 0 5 ) . O n l i n e - R e s e a r c h . M a r k t - u n d S o z i a l f o r s c h u n g

    m i t d e m I n t e r n e t . D p u n k t . v e r l a g .

    7