Richard Lai 2014 - An assessment ePortfoilo for developing the reflective thinking of the students of a software engineering class

An assessment e‐Portfolio for developing the reflective thinking of 

the students of a software engineering class 

Richard LaiDepartment of Computer Science and 

Computer EngineeringLa Trobe University, Melbourne, Australia

[email protected]

The underlying principle behind this piece of work

• Student learning guided by pedagogical principle rather than technology, with the latter supporting the former

The theory of Constructive Alignment

Constructive Alignment [Biggs, 1996] states that education is about conceptual change which takes place when it is clear to students (and teachers) what is “appropriate”, what the objectives are, where all can see where they are supposed to be going. 

Biggs, J, (1996) “Enhancing teaching through constructive alignment” Higher Education, 32:347‐364,Kluwer Academic Publisher.

The design of the teaching and learning activities are guided by the ILOs and constructivism

Intended learning Outcomes (ILOs)

Assessment methodsdesigned to assess  student learning outcomesagainst the ILOs

John Bigg’s Constructive Alignment

Constructive Progressive Alignment (CPA)

• An extension to CA which is largely a technique for course planning

• The extension motivated by the need to take into consideration of the progressive learning behaviour of students

Schulman’s 6‐stage learning process [Schulman,2002]

1. Engagement and motivation,2. Knowledge and understanding,3. Performance and action, 4. Reflection and critique, 5. Judgment and design, and6. Commitment and identity. Schulman, L. S. , “Making differences: a table of learning”. Change 34, 36–44., 

2002.

The design of the teaching and learning activities including assessment tasks (assessments for learning) are guided by (a) the ILOs;  (b) constructivism; and (c)  students’  learning process which is based on the first four stages of Shulman’s table of learning

Intended learning Outcomes (ILOs), with Emergent Learning Outcomes absorbed into the ILOs

Constructive Progressive Alignment

Assessment methods designed to assess  student learning outcomes against the ILOs 

Lai, R. and Sanusi, N, “Improving higher education student learning through a table of learning”, Special issueon Higher Education in Creative Education, July 2013.

Reflection• A process of drawing comparisons with what happened, what students already know, relating this experience to the theories they have been introduced to and modifying their own ideas and professional practice in light of this reflection

The 4 R process • Developed by Bain in 2002• Report• Relate• Reason• Reconstruct

Report

• Describe or re‐tell the key elements of what students have learnt, seen or experienced. 

• Why is it relevant? • Respond to the incident or issue by making observations, expressing their opinion, or asking questions

Relate• Drawing a relationship between one’s current personal or theoretical understandings and identify aspects of the observation which have personal meaning or connect with his/her experience.

• Making a connection between the incident or issue and one’s own skills, professional experience, or discipline knowledge. 

• Asking questions like: Have I seen this before? Were the conditions the same or different? Do I have the skills and knowledge to deal with

Reason • Exploring the relationship between theory and practice and seeking a deep understanding of why something has happened. 

• Analysing a concept, event or experience by asking questions and looking for answers, reviewing the literature, considering alternatives and multiple perspectives. 

• Detailing significant factors underlying the incident or issue by asking questions like: How would a knowledgeable and/or experienced person perceive/handle this? What are the ethics involved?

Reconstruct

• Discussing the improvements needed • Applying the your learning to other contexts and future professional practice by taking a stand or position on an issue. 

• How would I deal with this next time? What might work and why? Are there different options? What might happen if ....? Can I make changes which will benefit others?

The e‐Portfolio tool used• Moodle versus PebblePad• Moodle providing better facilities for e‐assessment tasks 

• Moodle’s ability to align better with the CPA pedagogy

• Moodle chosen instead of PebblePad, despite its better user interface and searching capability

No PercentStrongly Agree 5 32 48.5% Mean StDev Med

Agree 4 28 42.4% 4.3 0.9 4.5

Neutral 3 4 6.1%

Disagree 2 0 0.0%Strongly Disagree 1 1 1.5%

Overall, the teaching/learning and assessment activities of CSE3SDM/CSE5SDM have helped me

reflect on my own learning

No PercentStrongly Agree 5 36 63.2% Mean StDev Med

Agree 4 15 26.3% 4.5 0.7 5.0

Neutral 3 6 10.5%

Disagree 2 0 0.0%Strongly Disagree 1 0 0.0%

Overall, the teaching/learning and assessment activities of CSE5CPE have helped me reflect on my

own learning

Comments on the 4Rs from a student of the 2014 System, Design and Methodology 

(SDM) class  

• Discovering the difference between software engineering and computer science

• Giving us the fundamentals for doing the project

• Discovering the difference between program and system

• Relating project description to final software product 

Comments from another 2014 SDM student about the 4Rs

• Forcing me to think what has occurred, where I was at, what my goals are, where I want to be, and how to improve my shortcomings

• Correcting them and moving forward

Conclusions

• The 4R principle effective for helping software engineering students reflect on their learning

• Moodle as an e‐Portfolio tool working well with the 4R principle and the CPA pedagogy

Conclusions

• The 4R principle effective for helping software engineering students reflect on their learning

• Moodle as an e‐Portfolio tool working well with the 4R principle and the CPA pedagogy