20150124 ksp(サイト公開用)

オンライン調査モニタのSATISFICE行動に関する実験的研究三浦麻子（関西学院大学文学部）小林哲郎（国立情報学研究所）研究 1は国立情報学研究所の「情報・システム研究機構研究活動に係る行動規範」にもとづき同・研究倫理審査委員会の承認を受けて，研究 2は関西学院大学「人を対象とした臨床・調査・実験研究」倫理審査の承認 (2014-39)を受けて実施された．

サイト公開に際する注記：発表時点で論文公刊が決定していた研究 1に関する資料のみを掲載します．

オンラインモニタ調査の隆盛•質問紙調査によるリサーチの環境変化

• 社会心理学においても，オンラインモニタ調査が，いわゆる「社会調査」や大学等の講義参加者を対象とした集合状況での調査に取って代わりつつある• 日本社会心理学会の 2014年度年次大会の研究発表のうちオンラインモニタ調査データにもとづくものが 386件中少なくとも 41件に達している

• 世界的にもMechanical Turk(MT; https://www.mturk.com/mturk/)を利用して登録者に「タスク」を遂行させるスタイルで調査（あるいは実験）を実施した学術論文が急増している

第 418回関西社会心理学研究会 (2015/1/24)

視点

オンラインモニタ調査の隆盛•ニーズがあればそこにマーケットが生じ，参入が増加するのは必然•オンラインモニタ調査会社の急増•オンライン調査への協力を手軽な「小遣い稼ぎ」手段とするモニタの急増

• 日常的に数多くの調査を「こなす」人々の存在


視点

Satisfice•目的を達成するために必要最小限を満たす手順を決定し，追求する行動• cf: Satisfice vs Optimize(Simon, 1957)

• 2種類の Satisfice(Krosnick, 1991)• 弱い Satisfice

• 調査項目の内容を理解した上で回答しようとしているが、選択可能な選択肢を部分的にしか検討しない

• 強い Satisfice• 調査項目の内容を理解するための認知的コストを払わず、誰にでも選択可能な選択肢（ DKやリッカート尺度の中点など）を選んだり、あてずっぽうに選択したりする


視点

Satisficeが発生する原因 (Krosnick, 1991)

•調査項目の難しさ•回答者の能力•回答者の動機づけ

• 回答者の認知欲求• 調査テーマの個人的重要性• 調査への回答が何かの役に立つという信念• 回答による疲れ• 調査主体の姿勢（注意深い回答を要求するか否かなど）

Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5, 213–236.


視点

House effects•同時期に同一内容の調査を実施しても，調査会社により結果が異なる現象•ここでは， Satisficeの度合いがオンライン調査パネルの構築方法や管理方法によって異なる可能性

• パネル間の質や特性の違いは得られるデータや分析結果に差異をもたらす可能性があるため，研究者がオンライン調査を使うためにはパネル間比較に関する情報がきわめて重要


視点

研究 1オンラインモニタにおける Satisfice 傾向の検出とHouse effectsの検証

三浦麻子・小林哲郎 (2015; in press). オンライン調査モニタの Satisfice行動に関する実験的研究社会心理学研究 , 31(1).


スクリーニング調査• Satisfice 傾向のベースライン測定

• 「調査票の教示文を十分に読まなければ，正しい回答行動ができない」項目によって，モニタの Satisfice傾向を測定し，それに応じて別の Satisfice 傾向にどのような違いが生じるかを検討する

• Instructional Manipulation Check (IMC)• Oppenheimer et al.(2009)

• 報酬としてコースクレジットか現金 10 ドルを報酬として約束された大学生を対象としたオンライン調査で，教示違反者が46%(Study 1)/35%(Study 2)存在．遵守－違反者間に回答時間と認知欲求の有意差あり


研究1

IMC(Oppenheimer et al., 2009)


Oppenheimer, D. M., Meyvis, T., & Davidenko, N. (2009). Instructional manipulation checks: Detecting satisficing to increase statistical power. Journal of Experimental Social Psychology, 45, 867-872.

研究1

本研究で用いた IMC


あなたの日常的な行動についておたずねします

人間の意思決定に関する近年の研究で、人間の決定は「真空」状態でおこなわれるものではないことが知られています。個人の好みや知識、そしてその人がそのときどんな状況にあるかが、意思決定過程に重要な影響を及ぼすのです。われわれはこうした意思決定過程の研究のため、あなたの意思決定者としてのある要素を知りたいと考えています。つまり、あなたがこの指示を時間をかけてよく読んでいるかどうかに興味があるのです。もし誰もこの指示をお読みになっていないとしたら、指示内容を変えることが意思決定に与える影響を見たい、というわれわれの試みは効果を持たないからです。そこで、あなたがこの指示をお読みになったなら、以下の質問には回答せずに（つまり、どの選択肢もクリックせずに）次のページに進んで下さい。よろしくお願いします。

あてはまらない

あまりあてはまらない

どちらともいえない

ややあてはまる

あてはまる

1. さまざまな意見を聞いたり議論したりすることが楽しい 1 2 3 4 5

2. 政治や経済など、社会の出来事や状況に常に関心を持っている 1 2 3 4 5

3. 自分の知識や経験を社会のために生かしたい 1 2 3 4 5

研究1

実施対象の選定•調査実施の打診

• House effectsを検討するためには，複数業者の別モニタを対象とした同一時期・内容の調査実施が必要

•モニタ登録者を協力者とするオンライン調査サービスを提供しており，社会心理学の研究でよく利用されている5社を対象として，「モニタの回答行動に関する調査会社間の比較」という目的を伝えた上でスクリーニング調査と本調査の全質問項目を提示し，実施を打診

•うち，応諾を得られたのは 2社• 拒否した 3社はいずれもその理由を「「正しく」答えないことを求める設問が含まれている」ためとした


研究1

データ収集の実際


A社 B社

調査時期2014年 8 月 8日 12時

～ 13日 13時

2014年 8 月 8日 12時～ 9日 10時

＋ 8 月 13日 12時～ 13日23時

依頼数 36125 81900

回収総数 6561 7980

他社登録「なし」数 2130 2037

報酬抽選全員

画面の標準的なフォーマット（色やクリックボタンの形状など）は各社独自のものを用いたが，調査タイトル「あなたの生活に関するお伺い」や，改ページやワーディングなどは完全に同一とし，極力統制した研究

1

結果： Satisficeの実態• 出現比率

• A社 51.2% ＜ B社 83.8%

• 属性の特徴（名義回帰）• B社モニタ，男性，高年齢，既婚，子ども有の協力者がより高い Satisfice 率 (Cox-Snell’s R2 = 0.13)

•回答時間


個人属性 1 個人属性 2 個人属性 3性別・年齢・居住地域婚姻状況・子ども有無職業

A社 B社 A社 B社 A社 B社遵守群 21.5 20.6 8.5 7.7 11.4 7.8違反群 17.6 17.6 9.0 9.0 6.9 8.7

IMC SES 他社登録有無A社 B社 A社 B社 A社 B社

遵守群 59.3 61.8 31.6 32.4 7.7 10.6違反群 28.0 23.4 19.4 25.1 8.8 11.3

研究1

本調査•目的： Satisficeの発生メカニズムの検討

• 心理学でよく用いられるリッカートタイプの尺度に対する「望ましくない回答行動」と Satisfice 傾向の関連を知る

• 例の「不良回答」は，•そもそも教示文すら読まないような「 Satisfice 傾向の高い回答者」において顕著に見られるのか ?

•それとも，そうした先有傾向とは独立に，尺度項目の多さに応じた「厭気」のような形でテンポラルに発現するのか ?

• House effectsはあるのか ?


研究1

条件操作とモニタの割り付け•リッカートタイプの尺度の総項目数

• 5因子性格検査短縮版 FFPQ-50 （藤島・山田・辻 , 2005）にもとづき，総項目数の異なる 3 条件（ 5因子に該当する項目が2/6/10項目となる 10/30/50項目版）を作成

• 「この質問は一番左（右）の選択肢を選んで下さい」でSatisfice 傾向を測定（出現位置はランダマイズ）

•モニタの割り付け•スクリーニング調査で「他社登録なし」とした回答者のうち 1800 名を調査会社ごとにランダムサンプリング

• 各条件 600サンプルを，遵守群と違反群にブロッキングした上で，ブロックごとに完全無作為配置


研究1

データ収集の実際


A社 B社

調査時期2014年 8 月 20日 12時

～ 25日 13時2014年 8 月 20日 12時

～ 26日 9時 30分

依頼数 1800（各条件 600）

1800（各条件 600）

回収総数 1297（ 431, 444, 422）

1575(523, 529, 523)

報酬抽選全員

画面の標準的なフォーマット（色やクリックボタンの形状など）は各社独自のものを用いたが，調査タイトル「あなたのお考えに関する調査」や，改ページやワーディングなどは完全に同一とし、極力統制した

研究1

結果：属性や態度傾向に関する調査会社間の差異


A社 B社性別（男性%） 60.1 49.3

年齢（平均 (SD)） 47.7(13.37) 47.2(16.75)

結婚歴（既婚 %） 75.0 70.5

子ども（あり%） 60.8 56.4

職業（主要 4種%）

正社員 27.1 ﾊﾟｰﾄ･ｱﾙﾊﾞｲﾄ 4.1

主婦 14.2無職 11.5


主婦 20.4無職 14.6

SES （平均 (SD)） 5.8(1.82) 5.4(1.85)オンラインモニタ調査協力頻度（平均(SD)）

5.32(14.71) 18.06(25.99)

文系学術研究信頼性評価（平均 (SD)） 0.60(0.22) 0.56(0.20)

理系学術研究信頼性評価（平均 (SD)） 0.70(0.19) 0.63(0.20)

研究1

結果：属性や態度傾向に関する調査会社間の差異


A社 B社性別（男性%） 60.1 49.3

年齢（平均 (SD)） 47.7(13.37) 47.2(16.75)

結婚歴（既婚 %） 75.0 70.5

子ども（あり%） 60.8 56.4

職業（主要 4種%）


主婦 14.2無職 11.5


主婦 20.4無職 14.6

SES （平均 (SD)） 5.8(1.82) 5.4(1.85)オンラインモニタ調査協力頻度（平均(SD)）

5.32(14.71) 18.06(25.99)

文系学術研究信頼性評価（平均 (SD)） 0.60(0.22) 0.56(0.20)

理系学術研究信頼性評価（平均 (SD)） 0.70(0.19) 0.63(0.20)

Joint-probabnility Testにより，サンプルの脱落による共変量バランスの毀損はみられないことを確認した

研究1

結果：リッカートタイプ尺度での Satisfice率


IMC 遵守群n = 610

IMC 違反群n = 687



A社 B社

0%

5%

10%

15%

20%

25%

1.0%

13.9%

7.4%

14.9%

1.0%

15.3%

2.4%

21.2%

5.5%

21.2%

2.3%

19.0%

10項目版

30項目版

50項目版

研究1





A社 B社

0%

5%

10%

15%

20%

25%

1.0%

13.9%

7.4%

14.9%

1.0%

15.3%

2.4%

21.2%

5.5%

21.2%

2.3%

19.0%

10項目版

30項目版

50項目版

結果：リッカートタイプ尺度での Satisfice率• Satisfice 率は最大でも 2 割強

• 長い教示文は読み飛ばしても，リッカート尺度の個々の項目内容は読んでいる回答者が多い

• 調査会社ごとの Satisfice 率は A社＜ B社だが，スクリーニング調査より差は小さい

•調査会社 /項目条件間の比較• A社： IMCに対する反応と総項目数の主効果がスト

レートに出現• B社： A社よりやや複雑なパタンを呈し，複雑な交互

作用が見られる


House effects研究

1

結果： Satisficeを予測するモデルの推定• Satisfice 率の差の統計的有意性を検討

• 独立変数：リッカートタイプ尺度の総項目数 3 条件（ 10項目条件を参照カテゴリとして 30項目条件と 50項目条件を表すダミー変数を作成 )

• 共変量：性別（女性），年齢，既婚ダミー，子ども有無ダミー（子ども有り），職業ダミー（会社勤務（一般社員），パート・アルバイト，主婦、無職）， SES，オンライン調査への週平均回答頻度，文系・理系の学術研究に対する信頼性評価

• 調査会社およびブロック（ IMC 遵守群・違反群）ごとにモデルを推定• 本研究はHouse effectsに注目しており，独立変数および共変量の回帰係数が調査会社間で等しいという強い仮定をおくのは適切ではない

• 無作為配置はブロックごとに行っているため，独立変数の効果もブロックごとに推定するのが適切

• IMC 遵守群と違反群で独立変数と共変量の回帰係数が等しいという仮定は強すぎる• なお，独立変数の係数をそのまま Satisfice 率の増減として解釈可能であること，従属変数のセルの度数が小さい場合に最尤法による推定が不安定になる現象を回避できることから，最小二乗法を用いて推定した


研究1

結果： Satisficeを予測するモデルの推定


IMC遵守群 IMC違反群 IMC遵守群 IMC違反群

30項目 0.005 0.014 -0.070 * 0.066 *(0.015) (0.034) (0.028) (0.026)

50項目 0.045 ** 0.062 + -0.045 0.038(0.015) (0.035) (0.028) (0.026)

性別（女性） -0.026 0.008 -0.041 -0.021(0.016) (0.040) (0.029) (0.027)

年齢 0.000 -0.005 ** -0.001 -0.002 *(0.001) (0.002) (0.001) (0.001)

既婚 -0.042 + 0.005 0.021 -0.007(0.022) (0.047) (0.043) (0.036)

子ども（あり） 0.012 0.075 + -0.017 -0.007(0.019) (0.040) (0.040) (0.031)

会社勤務（一般社員） 0.006 0.006 0.000 0.032(0.017) (0.034) (0.034) (0.029)

パート・アルバイト 0.006 -0.075 -0.011 -0.046(0.023) (0.061) (0.038) (0.039)

主婦 0.011 -0.150 ** 0.102 ** -0.046(0.023) (0.057) (0.039) (0.038)

無職 -0.022 0.055 0.040 -0.061(0.022) (0.056) (0.040) (0.038)

SES -0.002 -0.003 -0.004 0.005(0.004) (0.008) (0.007) (0.006)

オンライン調査への週平均回答頻度 0.001 0.001 -0.001 -0.000(0.001) (0.001) (0.001) (0.000)

文系学術研究に対する信頼 -0.005 0.184 * -0.014 0.090(0.039) (0.076) (0.072) (0.071)

理系学術研究に対する信頼 0.002 -0.396 ** -0.198 * -0.329 **(0.047) (0.084) (0.077) (0.073)

定数 0.029 0.495 ** 0.283 ** 0.405 **(0.044) (0.089) (0.061) (0.058)

N 578 674 241 1260

決定係数 0.037 0.083 0.142 0.053

カッコ内は標準誤差**: p < .01, *: p < .05, +: p < .10

A社 B社

Coef. (B)

研究1

結果：本調査における Satisfice 傾向

• 「確信犯的」 Satisficer• すべての項目に中間値 3を回答

• 40/106, 46/134, 42/143 名（順に 10, 30, 50項目版）• 出現比率に調査会社による差あり（ A社 2.85 ％， B社 5.78 ％）（総項目数条件による差なし）

• 回答所要時間• Satisficer ＜非 Satisficer

• 調査会社によらずどの調査パタンでも Satisficerが短く， 30項目版と 50項目版にはほとんど違いなし• 10項目版： 130.0秒－ 226.2秒，• 30項目版： 199.0秒－ 291.0秒， 50項目版： 196.1秒－ 392.7秒


リッカートタイプ尺度の項目を精読しなかったモニタには，元来調査協力への動機づけが低い「確信犯的」 Satisficerに，そこまで動機づけが低いわけではないが項目数の多さに「厭気」がさしたことによって一時的に生じた Satisficerが上乗せされている

研究1

Satisficerは実質科学的知見を毀損するか

• One day, 稲増氏 said,• Web調査でとった尺度項目のデータって， αが奇妙なんですよね…

• Maniaci, & Rogge (2014)• 様々な Satisfice検出基準で分類された「注意」「不注

意」回答クラス間で Big Five 各因子の α係数を比較→どの基準でも「不注意」回答クラスで著しく低い


Maniaci, M. R., & Rogge, R. D. (2014). Caring about carelessness: Participant inattention and its effects on research. Journal of Research in Personality, 48, 61-83.

オンライン調査の Satisficeに関心があるなら，この論文は必読 !!

研究1

今回データの場合• 5因子性格検査 50項目版への回答を対象として，データ全体および Satisfice 群と Not satisfice群で CFAを行い， α係数を算出


データ全体(n=945)

Satisfice 群(n=143)

Not satisfice群

(n=802)

Neuroticism .862 .837 .870

Extraversion .785 .821 .793

Conscientiousness .782 .833 .799

Agreeableness .795 .773 .802

Openness to experience .715 .819 .719 研究

1

因子構造をよく見ると…


Satisfice Not satisfice大勢でわいわい騒ぐのが好きである .665 .740地味で目立つことはない .470 -.547にぎやかな所が好きである .683 .681大勢の人の中にいるのが好きである .622 .677もの静かである .371 -.406人の上に立つことが多い .650 .548人に指示を与えるような立場に立つことが多い .552 .512じっとしているのが嫌いである .624 .406人から注目されるとうれしい .494 .460スポーツ観戦で我を忘れて応援することがある .555 .319

Satisfice Not satisfice芸術作品に接すると鳥肌がたち興奮をおぼえることがある .579 -.476美や芸術にはあまり関心がない .472 .529考えることは面白い .540 -.626イメージがあふれ出てくる .509 -.603自分の感じたことを大切にする .585 -.548変わった人だとよくいわれる .547 -.111空想の世界をさまようことはほとんどない .601 .175好奇心が強い .605 -.605感情豊かな人間である .610 -.493別世界に行ってみたい .613 -.218

全体的にあまり安定した構造は得られていませんが，それにしても…

研究1

研究 1・まとめ• オンライン調査モニタの回答行動について，特に「望ましくない」それとしてしばしば問題となるSatisficeに焦点を当てて検討した

• Satisficeを検出可能な2種類の設問（教示と尺度項目）を含む質問紙調査を2社で同時実施し，Satisfice 傾向の発生頻度や発生パタンを比較検討した

• 教示の読み飛ばしによるSatisficeは非常に頻繁に生じることが示され，尺度項目の読み飛ばしによるSatisficeは相対的には少ないがその発生パタンに調査会社によるパタンの違いすなわちHouse effectsが見られた

• Satisficeは5因子性格検査の因子構造を奇妙にさせ，実質科学的知見を毀損する可能性が示された


研究1

展望：実査への Tips（研究 1）• あらかじめスクリーニング調査を実施することが，それ自体が事後の調査における協力率を高め，またそこにSatisfice 傾向をもつ回答者を特定できる強めの設問を置くことによって，Satisficeの含まれにくいデータを得やすくなる

• スクリーニング調査にどのような「仕掛け」を施すかは，研究者がどのようなデータを得たいのか，つまりその研究目的や調査内容に依存する

• ただし，特性的にSatisfice 傾向をもつ回答者が特定することとそれを排除することは，完全に同義というわけではない• Satisfice 傾向をもつサンプルの排除によってデータの質を高める努力は，一方では研究の外的妥当性を低めることにつながり，「学生などを対象としたConvenience sampleを用いるより外的妥当性が高い」という本来のオンライン調査のメリットを毀損しかねない


まとめと展望

20150124 ksp(サイト公開用)

Science