Bringing order out of chaos: using B8 principles and a strong collaborative partnership to monitor and review an international, (mostly) distance research.

Bringing order out of chaos: using B8 principles and a strong collaborative partnership to monitor and review an international, (mostly) distance research degree programme

by Irim Sarwar

1. Monitoring vs Review – B8 principles 2. We’re not exactly normal…The nature of OCMS and its programmea)  Admissions & RISb) Stages – OCMS, MPhil, PhD c) Checkpoints – Registration, Transfer, Dean’s Review, Pre-Viva, Viva

3. What does B8 look like in practice?

4. Discussion: In small groups, identify your challenges and brainstorm possible solutions. In addition, share your ‘life hacks’ for programme monitoring and review: what works for you?

B8 Principles

Monitoring vs. Review:  Monitoring is an ongoing process of checks on processes, minor corrections, enhancements, and vigilance of provision. Review is an eagle’s eye view – it looks at the soundness of the programme as a whole, often related to re-validation or re-approval.

• B8.1: Maintaining Strategic Oversight: infrastructure for monitoring and review, e.g., committees, reporting

• B8.2: Use outcomes of programme monitoring & review for enhancement• B8.3: Protecting academic interest of students if programme closes• B8.4: Defining processes, roles, and responsibilities• B8.5: Evaluate processes for monitoring/review and improve as needed• B8.6: Use external reference points and expertise• B8.7: Student engagement• B8.8: Staff support and development

What quality assurance looks like in the life of a student.

• Quality monitoring begins at Admissions• Continues through the Research Induction School, after which students 

are assessed at the PRRC (RIS) for admittance into the OCMS Stage• Registration (PRRC – Main; OAB)• Stage Plans/Online Reporting• Seminars given and attended• Transfer panel – assessment interview for readiness for PhD• Transfer to PhD• Dean’s review – checkpoint when thesis is half-written; timeline drafted• Pre-viva – mock exam, with recommendations for thesis before final 

submission• Viva and corrections – internal/external examiner

Helping Students Succeed – Who’s who?

• During RIS, students are assigned a mentor to work closely with them to craft a project proposal during the OCMS stage

• At registration, a team of supervisors – a Main Supervisor and Second Supervisor with complementary strengths are assigned to guide the student academically, with a Director of Studies in place as an anchor at OCMS (most of our supervisors are external experts, as we have a small faculty) to act in a pastoral role for the student and as OCMS liaison for the supervisory team

• Students need to progress through three stages OCMS (pre-registration), MPhil (post-registration with university) and PhD (post-transfer with university). Each stage has a Stage Leader with oversight over the progress of all the students in his stage. 

• Stage Leaders report to the Academic Dean on the progress of their students every six months, working with students to put additional support and planning in place where necessary

• Extensive administrative support for all stages from Admissions to Post-Viva – from visa and library letters, to university forms and cards, to student reporting (me!)

• This allows for extensive support, maximising opportunities to triangulate and recognise issues early

Quality Maintenance through Online Reporting

• Offers students structure in the research programme• All reporting refers back to the ‘big picture’ of the stage plan• Residential reports filled in monthly if full-time or during 6 week residency if part-

time• Reports by both student/supervisor after supervision (in person, Skype, phone, e-

mail exchange)• Half-yearly (March/September) reports and research schedules• Supervisors fill in an Annual Report in August• All reports have a similar pattern: reflect on the past, current action, planning for 

the future, problems/obstacles – how can OCMS can help?• Any concerns reported to House Tutors/Stage Leaders to enable early 

action/resolution• Maintains contact with distance students and external supervisors

B8.1: Strategic Oversight• Where do we start?• Overarching principles: What is the purpose of the programme? What 

does ‘success’ mean? Define goals.• What needs to be overseen? Overall management of institution; Finances; 

Academic programme management; Progression, etc.• Best infrastructure? Committees? Types of committees? Size? • Flow of responsibility?• Lather, rinse, repeat: Constant monitoring of oversight process and 

adjustments to improve structure (B8.5 – slipping it in here saves us a slide!)

B8.2: Outcome  Enhancement

• What arises in committee?• ‘students proposed that expected competencies/skills – ‘signposts’ – for each stage be made 

explicit, along with ways to reach the appropriate levels of competence.’ BoS meeting, 12.11.13

• Result: Document with ‘signposts’, e.g.,• Methodology and Critical Analysis: • -ability to reflect on the process of sharpening the chosen methods (demonstrating this in the 

transfer report/final thesis)• -ability to use the primary sources critically and informed by one's chosen methods (main 

script/final thesis)• -ability to analyse and discuss primary and secondary sources• -ability to develop a critical argument

B8.3: Contingency plan

• Should institution close, then what?• Agreements with collaborative/validating institution?• The partner institution will immediately cease to promote or process student enrolments and 

amend website details for their provision• Agreement from existing students will be sought with respect to transferring to the 

alternative partner institution or MU campus• The partner institution will have and make available to MU in English (at a timely point) up-

to-date student details, staff details, teaching & learning assessment tools• The management team of the partner institution will work with MU to support the transition 

process for students as far as possible. External examiner(s) will be notified of the change. • The MU programme leader or partner institution programme leader will have mapped the 

curriculum for the programme(s) listed above and confirm that the programmes are equivalent 

B8.4: Processes, Roles, Responsibilities

• What do committees and people do?• How do they fit together? E.g.,Terms of reference (OCMS Assessment Board): To monitor and where necessary, take action to: (i) Ensure the programme is delivered in accordance with the arrangements at validation or review and in compliance with Middlesex University (the University) Research Degree Regulations (the Regulations);(ii) Ensure compliance with the University’s quality assurance systems for research degrees. 2. To decide whether to approve applications from candidates to be registered on a University research degree (either MPhil or MPhil with the possibility of transfer to PhD).  The OAB’s deliberations with regard to registration are informed by the recommendations of the Pre-Registration Review Committee. Decisions to approve registration are passed forward to the University for review and confirmation.

Code of practice (Executive Officer, Student Records & Quality Enhancement)The Executive Officer is responsible for: (i) Ensuring that procedures to maintain and enhance the quality of OCMS' academic provision through internal monitoring and improvement planning, are operated in accordance with the University’s Regulations and Learning and Quality Enhancement Handbook. (ii) Collating: Information for the Annual Monitoring Report; Documentation for the review of the Programme at the end of the Memorandum of Co-operation approved period.  (iii) Assisting with other external academic reviews which may arise. (iv) Facilitating the annual updating of the Research Degree Programme Handbook, Research Student Handbook and Supervisor Handbook. (v) Attending meetings of the Board of Study, OAB, PRRC as minutes secretary and in the post holder's function as Student Records officer.(vi) Advising on quality related procedures in order to ensure that academic decisions are made in their light. (vii) Servicing registry functions in respect of the capture and utilisation of academic data

Section (QAA ) Indicator Topic (Handbook) SectionProvider Arrangements Indicator 1 Provider regulations and procedures 

for the Research Degree Programme are found in this Programme Handbook. Shorter, user-friendly versions of the Programme Handbook are produced as handbooks for students and supervisors All handbooks are readily available to students, faculty and supervisors on OCMS’ web-campus (Moodle) and the OCMS website. OCMS policies and guidance documents, and Middlesex University’s (MU) regulations are also available on  Moodle. Handbooks can be requested in hard copy.

• OCMS Research Degree Programme Handbook

• Student Handbook• Supervisor Handbook

The Research Environment  Indicator 4 OCMS provides an international, research active environment with diverse provision for doing and learning about research, both in Oxford and online. 

A structured framework for PDP and research skills training and development is in place and based on the Vitae Researcher Development statement. 

Expectations for satisfactory progress are clear (12.1), progress is monitored and compliance is obligatory. Thorough online reporting arrangements are in place. Appropriately qualified and experienced supervisors are appointed.

Research Environment 14.1-14.10

14.9

Monitoring Student Progress 11.1-11.4. Reports 11.5-11.6.

9.1-9.2

B8.7: Student Engagement

• How to involve students in programme monitoring and review?

• Student Forum, which feeds into…• Board of Study, which welcomes ALL students, not just reps: • To ensure that there is an effective channel for formal communication between students and 

staff.• To provide a forum for students and staff to discuss matters concerning OCMS provision to 

support doing and learning about research. • To receive feedback from students about their experience on the Programme and to 

recommend actions to respond to concerns.

• From the Board of Study, working groups have been created, guidelines generated, changes made

B8.8: Staff Development

• Begin with Staff Evaluation/Assessment to determine current performance and needs

• Ask staff to fill in forms assessing their own performance and what they think they need as springboard for discussion

• Ask for suggestions to improve environment/performance (e.g., one suggestion was regular admin staff meetings – we’re so small, we talk to each other all the time. It hadn’t occurred to us to formalize it until this suggestion was made)

• People have been sent on courses, I was encouraged to apply for the EO Liaison committee, others have been given research time

What are we looking at now?

• Student seminar guidelines by stage and by role, booking online, training seminar chairs

• Improving website: easier navigation for students and staff; clearer presentation; integrating it into a whole for smoother operation

• Strengthening collaboration with MU: going to seminars, using the library, using Unihub/MU email account; faculty going over/coming to give presentations; induction visits; Partner Enhancement visits