国 語 に お け け る 法的慎尺度の開発
外国語語におけける文法的慎重性尺度の開発
外国語
文法的慎重性新しい構成概念
の提案質問紙を用いた
尺度構成語におけ
質問紙を用いた尺度構成
妥当性の検証
今後の展望ける文法的慎重性尺度の開発
今後の展望
草薙邦広福田純也
川口勇作田村 祐福田純也
名古屋大学大学院日本学術振興会特別研究員
田村 祐後藤亜希栗田朱莉室田大介室田大介
名古屋大学大学院
外国語
文法的慎重性新しい構成概念
の提案質問紙を用いた
尺度構成語におけ
質問紙を用いた尺度構成
妥当性の検証
今後の展望ける文法的慎重性尺度の開発
今後の展望
文法的慎重性とはなにか
• 外国語の文法に関わる運用のばらつき
• 外国語の文法に関わる運用のばらつき–熟達度–タスク要因–タスク要因–個人差…
文法的慎重性とはなにか
• スピードと正確さの⼆律背反関係
• スピードと正確さの⼆律背反関係–時間をかければ正確–急ぐと不正確–急ぐと不正確
(Speed-Accuracy Trade-Off, Dennis & Evans, 1996; Goldhammer & Kroehne, 2014; van der Linden, 2007, 2009)
外国語運用におけるスピード————正確さの関係と学習者の個人差A
ccur
acy
おそいと正確!
Speed
Acc
urac
y
Acc
urac
y
はやいと不正確!
Speed
Acc
urac
y
Speed発達で関数が変化
文法的慎重性とはなにか
• ⼆律背反関係を仲介する要因⼆律背反関係を仲介する要因–ある程度学習者に固有の筈–⾏動特性であり,⼼理特性であり,ある程度メタ認知的特性でもある
–他の心理特性と複雑な関連を示す–他の心理特性と複雑な関連を示す筈
文法的慎重性とはなにか• 個人差
–年齢・適性–年齢・適性–態度–ビリーフ
(Loewen et al, 2009)
–不安–⾃⼰効⼒感
Acc
urac
y
–⾃⼰効⼒感–⽅略–動機づけ Speed
文法的慎重性とはなにか
• 個人差と文法運用個人差と文法運用–Kormos (1996)
• 正確さ—流暢さに関する個人差と発話中の修正回数の相関関係について
• 関係は示したとはいえなかった• 関係は示したとはいえなかった–Karchava and Amaar(2014)
• ビリーフと気づきの関係
文法的慎重性とはなにか
• 個人差と文法運用個人差と文法運用–Kormos (1996)
• 正確さ—流暢さに関する個人差と発話中の修正回数の相関関係について
• 関係は示したとはいえなかった• 関係は示したとはいえなかった–Karchava and Amaar(2014)
• ビリーフと気づきの関係
文法的慎重性とはなにか• 文法的慎重性
–ひとつの構成概念–ひとつの構成概念–学習者固有の⾏動的・心理的・メタ認知的特性
–慎重,分析的,認知負荷が高く,時間を⻑く消費する⾔語運⽤を促す性質を持つ文法的慎重性が高い学習者ほど,課題に⻑く消費する⾔語運⽤を促す性質を持つ
–文法的慎重性が高い学習者ほど,課題においてスピードよりも正確さを優先する傾向があると捉える
文法的慎重性とはなにか
• 意義心理⾔語学的実験の統制要因に
意義–心理⾔語学的実験の統制要因に(共変量など)
–⼲渉実験などの独⽴変数などに–学習者の個人差と運⽤の関係–学習者の個人差と運⽤の関係–評価・教育実践上の学習者プロファイルに
外国語
文法的慎重性新しい構成概念
の提案質問紙を用いた
尺度構成語におけ
質問紙を用いた尺度構成
妥当性の検証
今後の展望ける文法的慎重性尺度の開発
今後の展望
尺度構成• 手順
1. 項目の執筆1. 項目の執筆2. 予備調査3. 初回の項目選択4. 本調査4. 本調査5. 二回目の項目選択6. 信頼性・妥当性の検証
尺度構成
• 項目の執筆⾔語運⽤に関わる内省データを元
項目の執筆–⾔語運⽤に関わる内省データを元に40項目共同研究者全員の協議により執筆→初回項目プール(k = 40))
–「当てはまり」について尋ねる7件リッカートスケール
尺度構成• 予備調査
– 2⼤学(私⽴⼤学)– 2⼤学(私⽴⼤学)– n = 167– 一般教養科目としての英語相当科目の受講者– 全員が1年次– 質問紙の構成– 質問紙の構成
• フェイスシート• 項目プール(k = 48)• アンカー尺度(Tanaka & Ellis, 2003; 草薙, 2014)
尺度構成
• 初回の項目選択初回の項目選択–全項目プールから3因子抽出–適合度,因子寄与率,共通性,反応の分布などから総合的に判断し15項目を本調査の項目として選択
–アンカー尺度とは弁別性が⾒られた–アンカー尺度とは弁別性が⾒られた
尺度構成• 本調査
–協⼒者(n = 2,269)–協⼒者(n = 2,269)• 11⼤学(n = 850)• 2高校(n = 1,158)• 2中学校(n = 261)
–質問紙の構成–質問紙の構成• フェイスシート• 調査項目(k = 15)
尺度構成
• 2222回目の項目選択回目の項目選択–因子負荷量,共通性,反応の分布および適合度の観点から1項目を削除(Item 7)
–3因子,全14項目を持った「外国語–3因子,全14項目を持った「外国語における文法的慎重性尺度」
項目反応の分布Item 1
Fre
quen
cy
1 3 5 7
040
0
Item 2
Fre
quen
cy
1 3 5 7
030
0
Item 3
Fre
quen
cy
1 3 5 7
040
0
Item 4
Fre
quen
cy
1 3 5 7
040
0
Item 5
Fre
quen
cy
1 3 5 7
060
0
Rating Rating Rating Rating Rating
Item 6
Rating
Fre
quen
cy
1 3 5 7
040
0
Item 8
Rating
Fre
quen
cy1 3 5 7
030
0
Item 9
Rating
Fre
quen
cy
1 3 5 7
040
0
Item 10
Rating
Fre
quen
cy
1 3 5 7
040
0
Rating Rating Rating Rating
Item 11
Rating
Fre
quen
cy
1 3 5 7
030
0
Item 12
Rating
Fre
quen
cy
1 3 5 7
030
0
Item 13
Rating
Fre
quen
cy
1 3 5 7
040
0
Item 14
Rating
Fre
quen
cy
1 3 5 70
300
Item 15
Rating
Fre
quen
cy
1 3 5 7
030
0
相関パタン
Item1
Item2
Item3
Item4
Item5
Item6
Item8
Item9
Item10
Item11
Item12
Item13
Item14
Item15
探索的因⼦分析
項目番号 因子1 因子2 因子3 共通性10 0.950.950.950.95 -0.02 -0.07 0.78
9 0.840.840.840.84 0.00 0.02 0.746 0.630.630.630.63 0.01 0.13 0.568 0.590.590.590.59 0.21 -0.01 0.54
因因1
1 2 3 4 5 6 7
0.76
12
34
56
7
0.63
45
67
因因2
0.688 0.590.590.590.59 0.21 -0.01 0.5415 0.02 0.890.890.890.89 -0.08 0.7112 -0.01 0.890.890.890.89 -0.04 0.7411 0.05 0.830.830.830.83 -0.08 0.6414 -0.01 0.760.760.760.76 0.13 0.7313 -0.07 0.720.720.720.72 0.22 0.71
4 0.00 -0.06 0.860.860.860.86 0.662 -0.10 0.18 0.650.650.650.65 0.511 0.11 0.06 0.620.620.620.62 0.573 0.45 -0.12 0.550.550.550.55 0.73
*単純合計得点
0.3
Item2
Item4
Item2
Item4
Item2
Item4
12
3 0.68
1 2 3 4 5 6 7 1 2 3 4 5 6 7
12
34
56
7
因因3
3 0.45 -0.12 0.550.550.550.55 0.735 0.31 0.07 0.350.350.350.35 0.46
負荷量の二乗和 3.62 3.01 2.47因子寄与率 0.26 0.21 0.18累積寄与率 0.26 0.47 0.65
-0.4 -0.2 0.0 0.2 0.4 0.6
-0.3
-0.1
0.1
0.3
X
Y
Item1
Item3
Item4
Item5
Item6Item8
Item9Item10
Item11Item12Item13Item14Item15
Item1
Item3
Item4
Item5
Item6Item8
Item9Item10
Item11Item12Item13Item14Item15
Item1
Item3
Item4
Item5
Item6Item8
Item9Item10
Item11Item12Item13Item14Item15
*最尤法,プロマックス回転,因子数は並⾏分析によって提案された数
尺度構成
• 因⼦の命名と下位尺度の設定因⼦の命名と下位尺度の設定•因⼦1 1 1 1 →→→→語彙・統語的慎重性
–項目:6, 8, 9, 10:6, 8, 9, 10:6, 8, 9, 10:6, 8, 9, 10(k k k k = 4= 4= 4= 4)•因⼦2 2 2 2 →→→→音韻的慎重性
–項目:11, 12, 13, 14, 15:11, 12, 13, 14, 15:11, 12, 13, 14, 15:11, 12, 13, 14, 15(k k k k = 5= 5= 5= 5)–項目:11, 12, 13, 14, 15:11, 12, 13, 14, 15:11, 12, 13, 14, 15:11, 12, 13, 14, 15(k k k k = 5= 5= 5= 5)•因⼦3 3 3 3 →→→→語用論的慎重性
–項目:1, 2, 3, 4, 5:1, 2, 3, 4, 5:1, 2, 3, 4, 5:1, 2, 3, 4, 5(k k k k = 5= 5= 5= 5)
検証的高次因⼦分析
ΧΧΧΧ2222(74) = 1230. 14(74) = 1230. 14(74) = 1230. 14(74) = 1230. 14pppp < . 01< . 01< . 01< . 01CFICFICFICFI = .95= .95= .95= .95TLI TLI TLI TLI = .94= .94= .94= .94TLI TLI TLI TLI = .94= .94= .94= .94RMSEARMSEARMSEARMSEA = .08 [.08, .09]= .08 [.08, .09]= .08 [.08, .09]= .08 [.08, .09]SRMRSRMRSRMRSRMR = .04= .04= .04= .04
信頼性
k α 平均相関k α 平均相関
語彙・統語的慎重性 4 .88 .64語⽤論的慎重性 5 .86 .56音韻的慎重性 5 .92 .70音韻的慎重性 5 .92 .70全体 14 .94 .53
外国語
文法的慎重性新しい構成概念
の提案質問紙を用いた
尺度構成語におけ
質問紙を用いた尺度構成
妥当性の検証
今後の展望ける文法的慎重性尺度の開発
今後の展望
妥当性の検証
• 検証する課題検証する課題1. 内容的妥当性2. 他心理特性との関連3. 運⽤との関連
文法性判断課題運⽤との関連
1. 文法性判断課題2. C-test
内容的妥当性:専門家の判断
因子分析 a b c d e f gItem1 語⽤論 ○ ○ ○ ○ ○ ○ ○Item2 語⽤論 ○ ○ ○ ○ ○ ○ ○
■専門家(⾔語学専門・⼤学教員,⼤学 Item2 語⽤論 ○ ○ ○ ○ ○ ○ ○
Item3 語⽤論 ○ ○ ○ ○ ○ ○ ○Item4 語⽤論 ○ ○ ○ ○ ○ ○ ○Item5 語⽤論 ○ ○ ○ ○ ○ ○ ○Item6 語彙・統語 ○ ○ ○ ○ ○ ○ ○Item8 語彙・統語 ○ ○ ○ ○ ○ ○ ○Item9 語彙・統語 ○ ○ ○ ○ ○ ○ ○Item10 語彙・統語 ○ ○ ○ ○ ○ ○ ○Item11 音韻 ○ ○ ○ ○ ○ ○ ○
門・⼤学教員,⼤学院生)7人の判断
■項目が測っている⾔語的領域の分類課題
■ウェブ上のアン Item11 音韻 ○ ○ ○ ○ ○ ○ ○Item12 音韻 ○ ○ ○ ○ ○ ○ ○Item13 音韻 ○ ○ ○ ○ ○ ○ ○Item14 音韻 ○ ○ ○ ○ ○ ○ ○Item15 音韻 ○ ○ ○ ○ ○ ○ ○
■ウェブ上のアンケートフォーラムを⽤いて各⾃依頼して実施
妥当性の検証
• 検証する課題検証する課題1. 内容的妥当性→○2. 他心理特性との関連3. 運⽤との関連
文法性判断課題運⽤との関連
1. 文法性判断課題2. C-test
基準関連妥当性:他⼼理特性との関連
■予備調査参加者の回答におけるアンカー尺度との関係(n = 167)■学習ビリーフ(Tanaka & Ellis, 2003; 草薙, 2014)
-分析的ビリーフ(k = 7)-経験的ビリーフ(k = 7)
■文法的慎重性は経験的ビリーフよりも分析的ビリーフとの相関が高い
0.0
0.2
0.4
0.6
P1 P2P3
P4P5
A1
A5
A6 A7
E1
E2E4
E5
E6
P1 P2P3
P4P5
A1
A5
A6 A7
E1
E2E4
E5
E6
P1 P2P3
P4P5
A1
A5
A6 A7
E1
E2E4
E5
E6
P1 P2P3
P4P5
A1
A5
A6 A7
E1
E2E4
E5
E6
P1 P2P3
P4P5
A1
A5
A6 A7
E1
E2E4
E5
E6
P1 P2P3
P4P5
A1
A5
A6 A7
E1
E2E4
E5
E6
P1 P2P3
P4P5
A1
A5
A6 A7
E1
E2E4
E5
E6
PH
1 3 5 7
0.71 0.75
1 3 5 7
0.63
13
57
0.33
13
57
P0.66 0.61 0.39
LS7
■文法的慎重性は経験的ビリーフよりも分析的ビリーフとの相関が高い■収斂的・弁別的妥当性がある
-1.0 -0.5 0.0 0.5 1.0 1.5
-0.6
-0.4
-0.2
0.0
X
Y
PH1
PH2
PH3
PH4
PH5
LS1LS3
LS4
LS5
A2
A3A4
E3
E7
PH1
PH2
PH3
PH4
PH5
LS1LS3
LS4
LS5
A2
A3A4
E3
E7
PH1
PH2
PH3
PH4
PH5
LS1LS3
LS4
LS5
A2
A3A4
E3
E7
PH1
PH2
PH3
PH4
PH5
LS1LS3
LS4
LS5
A2
A3A4
E3
E7
PH1
PH2
PH3
PH4
PH5
LS1LS3
LS4
LS5
A2
A3A4
E3
E7
PH1
PH2
PH3
PH4
PH5
LS1LS3
LS4
LS5
A2
A3A4
E3
E7
PH1
PH2
PH3
PH4
PH5
LS1LS3
LS4
LS5
A2
A3A4
E3
E7
LS0.51
13
57
0.22
13
57
A0.54
1 3 5 7 1 3 5 7 1 3 5 7
13
57
E
*単純合計得点
妥当性の検証
• 検証する課題検証する課題1. 内容的妥当性→○2. 他心理特性との関連→○3. 運⽤との関連
文法性判断課題運⽤との関連
1. 文法性判断課題2. C-test
基準関連妥当性:運用との関連(文法性判断課題)
■文法性判断課題の正答率・反応時間との関係(n = 22)■文法性判断課題(k = 48,α = .72,草薙・川口, 2014)■被験者:⼤学院生・⼤学生,高熟達度(TOEIC: M = 777.14)■正規性逸脱のため,Spearmanの順位相関係数■文法的慎重性は正答率と相関するが,反応時間とは相関しなかった■文法的慎重性は正答率と相関するが,反応時間とは相関しなかった
LS
2 4 6
0.79 0.76
0.3 0.6 0.9
0.36
13
57
-0.05
24
6 P
0.86 0.39 0.05
PH
0.25
6
-0.05
*単純合計得点
0.25
24-0.05
0.3
0.7 正正正
0.08
1 3 5 7 2 4 6 6000 14000
6000
1600
0
反反反反
妥当性の検証
• 検証する課題検証する課題1. 内容的妥当性→○2. 他心理特性との関連→○3. 運⽤との関連
文法性判断課題 △運⽤との関連
1. 文法性判断課題→△2. C-test
基準関連妥当性:運用との関連(cccc----testtesttesttest)
■C-testの得点・課題完遂時間との関係(n = 77)■被験者:2⼤学の⼤学生,本調査と全員重複■C-test:⾃作,k = 17, α = .64, 語数 = 249, M = .32, SD = .14
-課題完遂時間を計測,急ぐ指示はなし-スタイル:ナラティブ-スタイル:ナラティブ
■文法的慎重性は正答率,課題完遂時間との相関を⽰した
P
1 3 5
0.75 0.56
200 600
0.27
130.28
13
5 LS0.57 0.27 0.28
PH 5
*単純合計得点
PH0.16
13
5
0.24
200
800 Time
0.33
1 2 3 4 1 3 5 0 4 8 12
04
8Score
妥当性の検証
• 検証する課題検証する課題1. 内容的妥当性→○2. 他心理特性との関連→○3. 運⽤との関連
文法性判断課題 △運⽤との関連
1. 文法性判断課題→△2. C-test→○
妥当性の検証• まとめ
1. 専門家が適切に分類1. 専門家が適切に分類2. ビリーフとの弱〜中程度の相関3. 経験的ビリーフよりも分析的ビ
リーフとの高い相関4. 文法性判断課題の正答率と相関4. 文法性判断課題の正答率と相関5. C-testの正答率と相関6. C-testの課題完遂時間と相関
外国語
文法的慎重性新しい構成概念
の提案質問紙を用いた
尺度構成語におけ
質問紙を用いた尺度構成
妥当性の検証
今後の展望ける文法的慎重性尺度の開発
今後の展望
今後の展望• 文法的慎重性
–ひとつの構成概念–ひとつの構成概念–学習者固有の⾏動的・心理的・メタ認知的特性
–慎重,分析的,認知負荷が高く,時間を⻑く消費する⾔語運⽤を促す性質を持つ文法的慎重性が高い学習者ほど,課題に⻑く消費する⾔語運⽤を促す性質を持つ
–文法的慎重性が高い学習者ほど,課題においてスピードよりも正確さを優先する傾向があると捉える
今後の展望
• 今後の研究案信頼性・妥当性の更なる検証
今後の研究案1. 信頼性・妥当性の更なる検証2. 既存の心理特性とのマッピング3. 文法的慎重性を共変量にした心理
⾔語学的測定⾔語学的測定4. 学習者プロファイルと⼲渉効果5. 文法的慎重性の通時的発達(Kusanagi
et al., to appear in PAAL 2014)
引用文献①• Dennis, I., & Evans, J. St. B. T. (1996). The speed-error trade-off
problem in psychometric testing. British Journal of Psychology, 87, 105–129.105–129.
• Goldhammer, F., & Kroehne, U. (2014). Controlling individuals’ time spent on task in speeded performance measures: Experimental time limits, posterior time limits, and response time Modeling. Applied Psychological Measurement, 38, 255–267.
• Kartchava, E., & Ammar, A. (2014). Learners' Beliefs as Mediators of What Is Noticed and Learned in the Language Classroom. TESOL Quarterly, 48, 86-109.Classroom. TESOL Quarterly, 48, 86-109.
• Kormos, J. (1999). The effect of speaker variables on the self-correction behaviour of L2 learners. System, 27, 207–221.
• Loewen, S., Li, S., Fei, F., Thompson, A., Nakatsukasa, K., Ahn, S., & Chen, X. (2009). Second language learners’ beliefs about grammar instruction and error correction. Modern Language Journal, 93, 91–104.
引用文献②• Tanaka, K., & Ellis, R. (2003). Study abroad, language proficiency,
and learner beliefs about language learning. JALT journal, 25, 63-85.85.
• van der Linden, W. J. (2007). A hierarchical framework for modeling speed and accuracy on test items. Psychometrika, 73, 287–308.
• van der Linden, W. J. (2009). Conceptual issues in response-time modeling. Journal of Educational Measurement, 46, 247–272.
• 草薙邦広 (2014) 「明示的および暗示的知識と学習者ビリーフの関係英語を学習する日本の⼤学生を対象に 」『中部地区英語教育学会
草薙邦広 「明示的および暗示的知識と学習者ビリーフの関係—英語を学習する日本の⼤学生を対象に—」『中部地区英語教育学会研究紀要』 43, 87–92.
• 草薙邦広・川口勇作 (2014) 「文法性判断課題におけるパフォーマンスと確信度の関連は反応時間に仲介されるか:反応時間解析と時系列シミュレーション分析を⽤いて」 第44回中部地区英語教育学会⼭梨⼤会. ⼭梨⼤学.
外国語
草薙邦広福田純也
名古屋大学大学院日本学術振興会特別研究員
川口勇作田村 祐後藤亜希栗田朱莉 -0
.10.
10.
3
Y
Item1
Item2
Item3
Item4
Item5
Item6Item8
Item11Item12Item13Item14Item15
Item1
Item2
Item3
Item4
Item5
Item6Item8
Item11Item12Item13Item14Item15
Item1
Item2
Item3
Item4
Item5
Item6Item8
Item11Item12Item13Item14Item15語
におけ
栗田朱莉室田大介
名古屋大学大学院-0.4 -0.2 0.0 0.2 0.4 0.6
-0.3
X
Item8Item9Item10
Item8Item9Item10
Item8Item9Item10
お問い合わせは草薙邦広
kusanagi@nagoyakusanagi@nagoyakusanagi@[email protected]
ける文法的慎重性尺度の開発
https://sites.google.com/site/kusanagikuni/home