鷲崎愛媛大学講演-プロジェクト型演習2014年12月15日

プロジェクト型演習における成績評価と個人特性に基づくチーム構成（に向けて）

鷲崎弘宜早稲田大学グローバルソフトウェアエンジニアリング研究所所長

http://www.washi.cs.waseda.ac.jp/

[email protected] @Hiro_Washi

協力: 山田佑輔伊永祥太筧捷彦深澤良彰（早稲田大学）

山戸昭三（筑波大学）大久保雅司（NECマネジメントパートナー）

愛媛大学招待講演 2014年12月15日

http://www.washi.cs.waseda.ac.jp/

mailto:[email protected]

• 早稲田大学グローバルソフトウェアエンジニアリング研究所所長・准教授

• 国立情報学研究所客員准教授

• ソフトウェア設計、再利用、品質保証、教育・学習の研究、教育、社会展開

• SQiP研究会運営小委員会副委員長 • SQuBOK策定委員会開発領域世話役 • 情報規格調査会ISO/IEC/SC7/WG20主査

• SEMAT Japan Chapter Chair • IEEE CS Japan Chapter Secretary • コンテスト運営: ACM-ICPC, SamurAI

Coding • 会議運営: ASE, SEKE, SPLC, APSEC,

AsianPLoPほか • プログラム委員: ASE, ICST, … • 論文: ICSE, ASE, ICST, … 2

要約 • 目的: プロジェクト型演習の学習効果把握と改善 • 対象: 早稲田大学情報理工学科1(2)講座、4年間 • 学習効果把握のための測定

– 事前・事後アンケートで差の確認 – 演習の進行とともに発言活発化の確認 – 成績の工夫: 360度評価（1講座のみ） – 学習ジャーナルによる学習プロセスの認知把握 – FFS理論による個人特性の把握

• 学習効果改善に向けた分析 – 一部の個人特性（特にマネージャ型、アンカー型）の存在がチーム学習効果に影響している可能性あり。

– 個人特性が多様な補完的チームほど、学習効果が高いとはいえない。

– 学習効果の高いチームほど、少数の活動を指摘。ただし一部の分析であり全体の精査必要。

発表論文 • 鷲崎弘宜, 吉田裕介, 筧捷彦, 深澤良彰, 山戸昭三, 大久保雅司, 粂照彦, 玉木学, 加納寿一, "情報システム開発の実践的講座におけるチーム構成と学習効果の関係", プロジェクトマネジメント学会春季研究発表大会, 2012.

• 鷲崎弘宜, 吉田裕介, 筧捷彦, 深澤良彰, 山戸昭三, 大久保雅司, “情報システム企画・開発の実践的な疑似プロジェクトベース教育”, 日本工学教育協会平成24年度工学教育研究講演会, 2012.

• 伊永祥太, 鷲崎弘宜, 吉田裕介, 筧捷彦, 深澤良彰, 山戸昭三, 大久保雅司, 玉木学, “情報システム開発の実践的講座におけるチーム構成と教育効果の関係”, 工学教育, Vol.61, No.5, pp.88-93, 日本工学教育協会, 2013.

• S. Inaga, H. Washizaki, et al, “Team Characteristics for Maximizing the Educational Effectiveness of Practical Lectures on Software Intensive Systems Development”, 26th IEEE-CS Conference on Software Engineering Education and Training (CSEE&T 2013)

• Yusuke Yamada, Shota Inaga, Hironori Washizaki, Katsuhiko Kakehi, Yoshiaki Fukazawa, Shoso Yamato, Masashi Okubo, Teruhiko Kume, Manabu Tamaki, “The Impacts of Personal Characteristic on Educational Effectiveness in controlled-Project Based Learning on Software Intensive Systems Development,” 27th IEEE-CS Conference on Software Engineering Education and Training (CSEE&T 2014)

目次

• プロジェクト型演習の課題

• 研究対象

• 学習効果の把握

• 教育改善に向けて: 学習プロセスの把握

• 教育改善に向けて: 個人特性とチーム構成

• まとめと展望

ITシステムの受発注（企画、開発）プロジェクト型演習

• 学生が自律的に実問題を特定および解決

• 大抵、チームで実践

3

学習方法と効果 [Edgar]

• 2週間後の記憶割合

7

10～20%

読む

聴く

図・絵を見る

動画を見る

デモを見る

現地で現物を見る

議論に参加する

大勢に説明する

魅力的なプレゼンをする

疑似的にやってみる

実際にやってみる

30%

50%

70%

90%

Edgar Dale, Audio-Visual Methods in Technology, Holt, Rinehart and Winston.

経済産業省IT人材育成強化加速事業

• 産学における高度IT人材育成への危機意識

• IPA 「大学における産学連携教育」 2010-

8

2010年開始

九州大学ＰＢＬ入門

筑波大学ソフトウェア品質保証

東洋大学実システムのプログラミング基礎

山口大学

ロジカルシンキング基礎情報セキュリティマネジメントシステム概論プロジェクトマネジメント入門

早稲田大学

ＩＴ経営プロジェクト基礎システム開発プロジェクト基礎（連携: NEC, NECラーニング）

2011年開始

会津大学ベンチャー体験工房（ＰＢＬ初級）（日本ユニシス）ソフトウェア工学Ⅰ

愛媛大学ロジカルシンキング実践システムデザイン

静岡大学情報システムデザイン論

中央大学ロジカルシンキングヒューマンインターフェース

公立はこだて未来大学

システム情報科学実習（日本IBM）ロジカルシンキング・ライティング

http://www.ipa.go.jp/jinzai/renkei/itaku/doc/21_1.pdf


















受講生チーム

要求

成果物発注者

大学教員 TA

連携企業

・・・

エンドユーザ

獲得

開発

提示

検収

提供指導・支援・評価

成績評価はどうすれば？

どの程度関与すべき？

チームをどう組めばいいの？

教育目標はどう設定すれば？

どういうテーマがいいの？

どう進めればいいの？

連携

成果は出るの？

目次


• 研究対象





研究対象 • 情報理工学科 3-4年生

• 90分×3コマ×5日間

• 発注「ＩＴ経営プロジェクト基礎」

• 受注「システム開発プロジェクト基礎」

年学生数チーム数

2011 26 6 2012 17 4 2013 39 8

2014 62 12

15

システム開発プロジェクト基礎

• 1日目

– チームビルディング

– 経営改革の必要性

– ＳＷＯＴ分析とあるべき姿の抽出

– あるべき姿の設定とCSFおよびIT課題の抽出

• 2日目

– ＩＴ戦略策定

– ＩＴ成熟度評価と業務プロセスの改革

– ＩＴ戦略企画書

• 3日目

– ＩＴ調達

– ＲＦＰの発行と提案評価方法、基準の設定

– ＩＴ調達の準備と実施

• 4日目

– ＩＴサービス導入・プロジェクトとＰＭ

– ITサービス導入に関する諸問題

– ITサービス導入に関する諸問題への対処

• 5日目

– ＩＴサービス活用

– モニタリングとコントロール

– IT経営のまとめ

• 1日目

– システム開発概論

– プロジェクトマネジメント

• 2日目

– プロジェクトの立ち上げと基本計画

– 要求分析の手順

– システム要件定義の手順

• 3日目

– 要求分析演習（ヒアリング調査の準備）

– システム要件定義演習（要件定義書の作成）

– システム要件定義演習（要求事項の整理）

• 4日目

– システム要件定義演習（要件定義書の作成）

– システム設計の手順

– システム設計演習（機能設計）

• 5日目

– システム設計演習（ユーザインタフェース設計）

– 品質管理

– プロジェクト完了報告 12

IT経営プロジェクト基礎システム開発プロジェクト基礎

13

ヒアリング

（改善含む）分析/設計

発表・講評

検証と成績

14

教育目標主な手段検証

K: 知識講義

S: スキル演習

A: 意志・態度発表

ジャーナル、アンケート

事前/事後知識評価

成果物評価 360度評価

観察、発言

発表、ジャーナル/アンケート確認

（追跡調査）

目次


• 研究対象





チームの決定

5日間演習

終結

事前アンケート事後アンケート

学習ジャーナル発言数

FFS 理論

Q1, …………. Q2, …………. Q3, ………….

Q1, …………. Q2, …………. Q3, ………….

測定データ

0

1

2

3

4

5

基礎専門

事前

事後

知識の向上確認 • 共通キャリアスキルFWに基づく自己評価約40項目

– 0: 知らない～ 3: 実行できる～ 5: 評価できる – 基礎系（意思疎通など）、専門系（ITガバナンスなど） – 学習効果 (Kdif) = 事後の合計 (Kaft) – 事前の合計 (Kbef)

• 概ね3程度に到達、ただしばらつきあり

17

‘11

0

0.5

1

1.5

2

A B C D E F

基本

専門

演習の観察と発言状況

• 活発さのメトリクスとして3分あたり発言回数を測定 • 日ごとに打ち解けて議論が活発化、最後にまとめ • チームのばらつき大きい。知識増分とも関係？

18

0

50

100

150

200

A B C D E F

チームあたり発言数

0

5

10

15

20

25

30

10分 30分 60分 10分 30分 60分 10分 30分 60分 90分

1日目 2日目 3日目 4日目

A

B

C

D

E

F

‘11

360度評価（現在は IT経営のみ）

• 各個人の成績 = X * Y

• X: チーム内メンバ間相互評価: 他メンバの貢献度順位づけ

• Y: チーム間相互評価: 他チームの成果・発表順位づけ

A B C D A1 A2 A3 A4 B1 B2 B3 B4 C1 ・・・

A1 9 8 10 10 8 9

A2 8 9 10 10 9 8

A3 9 8 10 10 8 9

A4 9 10 8 10 8 9

B1 6 7 8 9 10 8

B2 6 8 10 8 9 10

B3 7 8 9 8 10 9

B4 10 9 8 10 9 8

C1 6 7 8 10

・・・ 6 8 10 9 記載データは架空のもの

目次


• 研究対象





学習ジャーナルと学習プロセス

学習プロセスチームの決

定 5日間演習終結

1st 学習ジャーナル 2nd 学習ジャーナル

Learning Journal

Learning Journal

修正グランディッドセオリー

12

気づき／振り返り・演習を通じて気づいたことや改善を要する事項について所感を記してください。

他の班の発表で自分が気が付かないような項目に関して、言及していたので参考になった。人を惹きつけるようなプレゼンのやり方を学んだ。システム開発において、何が重要なことなのかを理解することができた。

プロセス

修正グランディッドセオリー(M-GTA)[2]

• 質的分析手法

• 記録やデータから概念への変換

学習ジャーナル1

……………

活動1 活動2 活動3

……… 活動4 活動5

学習プロセス

学習ジャーナル2

学習ジャーナルN

13 [2] Y. Nagayama, M. Hasegawa, “Nursing care process for releasing psychiatric inpatients from long-term seclusion in Japan:

Modified grounded theory approach”, Nursing and Health Sciences, Blackwell Publishing Asia Pty Ltd, Yamaguchi, 2012.

学生の学習プロセスの認知

Have learning motivation

Introduction of the tasks

Teamwork

Accomplishment of given tasks

Introspection

Before the course

During the course

Acquire skill and knowledge

・discussion ・role sharing

・helping each other ・information sharing

Determine learning goals

Find weakness and how to overcome it

20

•学習ジャーナルの質的分析結果

学習効果の高いチームの学習プロセス

21

• あくまで一部の分析結果: 学習効果の高いチームほど、限られた数の活動を学習ジャーナルで指摘

• 改善案: 振り替えるべきポイントの絞込み

ある学習効果の高かったチームある学習効果の低かったチーム



Teamwork


Introspection






Teamwork


Introspection




ここまでのまとめ

• プロジェクト型演習 – 学生がチームで自律的に問題を特定・解決

– 疑似的にやってみることで学習事項の記憶定着

– IPA 産学連携教育、2講座、4年間

• 学習効果の把握 – 事前・事後アンケートで差の確認

– 演習の進行とともに発言活発化の確認

– 成績の工夫: 360度評価（1講座のみ）

• 学習効果改善に向けた学習プロセス把握 – 学習ジャーナルから学習プロセスの識別

– 学習効果の高いチームほど限られた数の活動に言及

– 改善案: 振り替えるべきポイントの絞込み

目次


• 研究対象





問題発生

学生の体験: 3年次のPBL

4

学生の体験: 何が問題であったか？

偏った個人特性

5

リーダ

マネジメント

学生の体験: どうあるべきであったか？

補完的な個人特性

6

リーダ

マネジメント

関連研究 • FFS理論に基づき同質型ではなく補完型チームは高生産 [小林01]

• Myers-Briggs Type Indicator (MBTI) による学生の個人特性のばらつきと、システム開発チームの問題・成果の関係分析 [Peslak06] – 個人特性の16の分類 – MBTI型のばらつきの調査。組み合わせは未調査。

• Five Factor Model (FFM)による個人特性識別とペアプログラミングの関係分析 [Salleh09]

• プロジェクト上のリスクと個人特性の偏りの関係の指摘、指向性がブレンドされたチームほど低リスク [Klein02]

Alan R. Peslak, “The Impact of Personality on Information Technology Team Projects”, Proceedings of the 2006 ACM SIGMIS CPR: Forty

four years of computer personnel research: achievements, challenges & the future, ACM New York, pp. 273 – 279

N. Salleh, E. Mendes, and J. Grundy. 2009. An Empirical Study of Effects of Personality in Pair Programming

using the Five-Factor Model. Empirical Software Engineering and Measurement, ESEM 2009. pp. 214-225.

Gary Klein, et al., “Wanted: Project teams with a blend of IS professionals orientation,” Communications of the ACM, Vol.45, No.6, 2002.

研究課題 Research Questions

• RQ1 FFS理論に基づき個人特性は学生によって異なるか？

• RQ2 学習効果は学生によって異なるか？

• RQ3 学生個人について個人特性によって学習効果に違いはあるか？

• RQ4 チームについて個人特性のばらつきによって学習効果に違いはあるか？

• RQ5 チームについて個人特性の組合せによって学習効果に違いはあるか？

FFS理論 – 個人特性 • 様々なモデル

– FFS（Five Factors & Stress）[小林01]: 特徴定量化 – ハーマンモデル [Herrman00] – Five Factor Model

• FFS理論 – 30問アンケートによる傾向特定: 可変、内外 – 例: 嫌なことがあると黙ってしまう（4段階回答）

[Herrman00] Ned Herrman, “ハーマンモデル－個人と組織の価値想像力開発－”, 2000

変化

安定

外部情報吸収

内部情報・経験凝集

リーダ

アンカー

タグボート

マネージャ

[小林01] 小林恵知, “チームマネージメント”, 2001

RQ1 FFS理論に基づき個人特性は学生によって異なるか？

• 全型が出現。マネージャ型、アンカー型が多い。

• 変化よりも安定を好む学生の傾向？

33 リーダタグボートマネージャアンカー

学生数

RQ2 学習効果は学生によって異なるか？

• 異なる。正規分布に近い。

• 学習効果の測定が妥当なことの証左

34

学生数

学習効果 Kdif

RQ3 学生個人について個人特性によって学習効果に違いはあるか？

• Bonferoni 検定の実施: p値=0.374 (> 0.05)

• 学生の個人特性型で学習効果に統計的有意差なし

• 特定の個人特性であることは、学習効果の大きさと無関係

35 リーダタグボートマネージャアンカー

各学生の学習効果

RQ4 チームについて個人特性のばらつきによって学習効果に違いはあるか？

p-value: 0.03 (<0.05) (t-test)

• ‘11～’13: 個人特性が「情報吸収 <-> 経験凝集」についてばらついたチームほど、偏ったチームよりも学習効果が高い

• しかし両群のほぼ中間に位置するチームもあり・・・

偏ったチームばらついたチーム

チーム

学習

効果

（平均）

チーム内の個人特性の標準偏差

高い

低い

0

5

10

15

20

25

30

35

40

45

50

0 2 4 6 8 10

RQ4 チームについて個人特性のばらつきによって学習効果に違いはあるか？（つづき）

• ’11～’14: 個人特性が「情報吸収 <-> 経験凝集」についてばらついたチームほど、偏ったチームよりも学習効果が高いとはいえない

• 値（例えば標準偏差）を用いると、分析結果が個々のデータにセンシティブとなり、普遍的傾向は見出しにくい

偏ったチームばらついたチーム

チーム

学習

効果

チーム内の個人特性の標準偏差

高い

低い

RQ5 チームについて個人特性の組合せによって学習効果に違いはあるか？

38 A,M,T

(5)

A,M

(8)

M,T

(1)

L,A,M

(3)

L,M,T

(1)

L,M

(2)

A,T

(1)

L,A,M,T

(4)

A

(1)

• リーダ L, アンカー A, マネージャ M, タグボート T

チーム

学習

効果

• 分類木による分析: リーダ型がおらず、マネージャ型とタグボート型が存在する場合に、学習効果最大

• テーマを講師側が設定、短期疑似PBLのためリーダ不要？

• 個人特性型で「粗く」見ることで、普遍的傾向を見出しやすく

39

RQ5 チームについて個人特性の組合せによって学習効果に違いはあるか？（つづき）

M,T有、かつ、L無

(6)

その他

(20)

チーム

学習

効果

• RQ1 FFS理論に基づき個人特性は学生によって異なるか？ – 異なる。4つの型が全て出現。 – 偏りあり: マネージャ、アンカー型が多い

• RQ2 学習効果は学生によって異なるか？ – 異なる。正規分布に近い。

• RQ3 学生個人について個人特性で学習効果は違うか？ – 学生の個人特性型で学習効果に統計的有意差なし

• RQ4 チームについて個人特性のばらつきで学習効果は違うか？ – 個人特性がばらついたチームほど、偏ったチームよりも学習効果が高いとはいえない

• RQ5 チームについて個人特性の組合せで学習効果は違うか？ – 違いはある。リーダ型がおらず、マネージャ型とタグボート型が存在する場合に、学習効果が最大。

研究課題への回答のまとめ

議論

• 演習・PBLの内容に応じた活用可能性

–テーマが固定され短期間の疑似PBL（演習）であ

れば、タグボート型・マネージャ型が各チームにいるように調整するとよい可能性

–テーマ自由の長期PBLの場合は？

• 分析の今後

–個人特性型の有無や組み合わせといった「粗い」分析で普遍的傾向を見出せる可能性

–他の個人特性モデルの併用: MBTI, FFM

目次


• 研究対象





全体のまとめと展望

• 教育を改善するためにはデータが必要 – 「測り」「把握する」ことへのこだわり: アンケート、発言、学習ジャーナル

– 同一箇所で継続調査、異なる箇所での調査比較

• データに裏打ちされた改善が必要 – 学習プロセスの把握、学生の振り返りポイントの絞込み

– 個人特性に沿ったチーム構成の可能性

• 目的に沿ったさらなる分析が必要 – 個人特性、360度評価・発言・学習プロセス、学習効果の関係は？

– 発言数について’11-’14データでは個人特性と明確な関係なし

鷲崎 愛媛大学講演-プロジェクト型演習2014年12月15日

Software

鷲崎愛媛大学講演-プロジェクト型演習2014年12月15日