2.2. Chest Mas Calit in FPC

1

Proiectul CALISIS Asigurarea calitii n sistemul de formare profesional continu din Romnia

Program regional de formare profesional a specialitilor-evaluatori i a reprezentanilor

furnizorilor de formare profesional Activitatea A.8.3

CHESTIONARE DE MSURARE A CALITII N SISTEMUL DE FORMARE

PROFESIONAL CONTINU

Autorii: Stefano Orfei, Septimiu Ranta, Lucia Hohan, Cristina Brncoveanu Tils Romania, Fiatest Centru Educational

Octombrie decembrie

2011

Scopul: Msurarea performanei sistemului de management al

calitii

Msurarea diferenei dintre calitatea oferit clienilor i calitatea perceput de acetia

Obinerea feedback-ului din partea clienilor i a prilor interesate pentru dezvoltarea de programe de formare prin care s creasc loialitatea acestora i competitivitatea organizaiei

Informaiile colectate n urma aplicrii chestionarelor de msurare a calitii reprezint date de intrare pentru analiza efectuat de management n vederea stabilirii msurilor necesare creterii satisfaciei i ncrederii clienilor n produsele/ serviciile furnizate de organizaie.

2

CHESTIONARE DE MASURARE A CALITATII ELABORATE IN CADRUL SMC CALISIS

NIVELUL FFP

Chestionare de masurare a calitatii PFP din punctul de

vedere al:

Participanilor la PFP

Formatorilor

Angajatorilor participanilor la PFP

Furnizorului de formare privind calitatea examinatorilor

(competen, deontologie s.a.)

NIVELUL CAJ

Chestionare de masurare a calitatii procesului de

autorizare/monitorizare din punctul de vedere al:

Furnizorilor de formare profesional

Evaluatorilor

CNCFPA

NIVELUL CNCFPA

Chestionare de masurare a satisfaciei prilor

interesate n calitatea activitilor CNFPA

Comisiile Judeene de Autorizare

Furnizorii de formare profesional

Partenerii sociali

Autoritati

ETAPELE UTILIZRII CHESTIONARELOR

Specificarea informatiilor ce trebuie obtinute Identificarea respondentilor

Determinarea metodei de administrare a chestionarelor

Structurarea chestionarului

Identificarea vocabularului

adecvat

Identificarea ordinii

intrebarilor

Pre-testarea si revizuirea chestionarului

Aplicarea chestionarului

Codificarea rezultatelor chestionarului

Analiza datelor

Specificarea informatiilor ce trebuie obtinute

1

Stabilirea problemei generale

Necesitatea identificrii nevoilor clienilor

2

Stabilirea obiectivului specific al chestionarului

Evaluarea gradului de satisfacie a participanilor

3

Tipuri de informaii necesare

Cantitative vs. calitative

3

Identificarea respondenilor

Cursani

Formatori

Angajatori

Evaluatori

Experi CNCFPA / CAJ

Autoriti

FFP

Determinarea metodei de administrare a chestionarelor

Tiprite pe hrtie

Online

Telefonic

Prin e-mail

Prin interviu structurat

1. ntrebri dihotomice cu rspunsuri DA / NU

Exemplu: Considerai c procesul de evaluare a produs perturbaii n activitatea dvs.?

(CH *CAJ FFP)

DA NU

(1) (2)

Structurarea chestionarului tipuri de ntrebri

ntrebri nchise

4

Structurarea chestionarului tipuri de ntrebri 2. Scal nominal presupune repartizarea

arbitrar a unui numr obiectelor sau evenimentelor avute n vedere, cu scopul identificrii sau clasificrii lor.

Exemplu: Notai modulele cursului n funcie de relevan fa de obiectivele cursului (5 cel mai relevant, 1 cel mai putin relevant).

Audit intern Comunicare Chestionare Ghid SMC

ntrebri nchise

3. Scal ordinal permite ordonarea obiectelor n funcie de un anumit criteriu, ntr-o relaie de ordonare.

Exemplu: V rugm s ordonai urmtoarele 4 documente innd cont de preferinele dvs. (4-apreciai cel mai mult; 1-cel mai puin)

CERAC__ CEC__ Studiul A.2. __ Studiul A.5.1.3 __

ntrebri nchise

Structurarea chestionarului tipuri de ntrebri

4. Scal semantic

Exemplu: n ce msur credei c a fost inovativ cursul?

Deloc Puin Suficient de Foarte

(1) (2) (3) (4)

ntrebri nchise

Structurarea chestionarului tipuri de ntrebri

5

5. ntrebri cu rspuns unic/multiplu

Exemplu: Care din urmtoarele elemente s-a

considerat c necesit a fi dezvoltate/ mbuntite (putei bifa mai multe rspunsuri):

(CH FFP ANG)

Cunotine Aptitudini Atitudini Comportament

ntrebri nchise

Structurarea chestionarului tipuri de ntrebri

6. Scala Linkert permite exprimarea acordului fa de o afirmaie

Exemplu: Din punctul dvs. de vedere, obiectivul

general al cursului a fost atins?

(CH FFP ANG)

Acord total Acord Indiferent Dezacord Dezacord total

ntrebri nchise

Structurarea chestionarului tipuri de ntrebri

7. Scala importanei permite exprimarea importanei unei caracteristici

Exemplu: Ct de important este pentru dumneavoastr adaptarea programului de formare la nevoile participanilor?

Extrem de important

Foarte important

Important Puin important

neimportant

ntrebri nchise

Structurarea chestionarului tipuri de ntrebri

6

8. ntrebri matrice permite respondentului s aprecieze mai multe aspecte conform aceluiai set de rspunsuri (rspuns simplu/multiplu)

Exemplu:

ntrebri nchise

Structurarea chestionarului tipuri de ntrebri

1. Pe termen scurt (1-4 sptmni de la ncheierea cursului), care este nivelul vizibil al mbuntirii urmtoarelor aspecte:

a) Cunotine 1 2 3 4

a) Aptitudini 1 2 3 4

a) Atitudini 1 2 3 4

a) Comportament 1 2 3 4

ntrebri complet nestructurate

1.Cu rspuns unic

2.Cu mai multe rspunsuri

3.Cu rspuns de tip eseu Exemplu: Care este numrul de angajai ce au participat la

procesul de formare profesional? Enumerai 3 dificulti n implementarea unui SMC n

organizaia dumneavoastr?

ntrebri deschise

Structurarea chestionarului tipuri de ntrebri

Identificarea vocabularului adecvat

Identificarea ordinii intrebrilor

Limbaj: Simplu Direct Neinterpretabil

1. ntrebri care s provoace interes

2. ntrebri n succesiune logic

3. ntrebri dificile, cu caracter personal

7

Pre-testarea si revizuirea chestionarului

Chestionarul trebuie s ofere: Siguran n obinerea informaiilor Informaii valide Se face prin: Pretestare pe un grup de repondeni selectai la ntmplare Retestare pe acelai grup dup un interval de timp pentru validare

Exemplu metodologie Chestionarele de msurare a satisfaciei la nivelul FFP

Baza teoretic pornete de la metodologia ACSI (American Customer Satisfaction Index),

Exemplu metodologie Chestionarele de msurare a satisfaciei la nivelul FFP

Sunt identificate trei arii de msurare, n cadrul crora indicatorii sunt la rndul lor mprii n subgrupe omogene:

Arie Grupe de indicatori

Program de

formare

Atingerea rezultatelor / obiectivelor

Impact asupra muncii

Durate

Predare

Personal implicat

Formatori

Tutori

Ambian

Logistic Materiale de curs

Logistic

8

Exemplu metodologie Chestionarele de msurare a satisfaciei la nivelul FFP

Nivelul de ansamblu al satisfaciei este definit relativ la urmtoarele dimensiuni:

Performana msurat: aceste date provin din chestionarele de evaluare CH FFP ANG, CH FFP FORM, CH FFP PART;

Nivelul serviciului: corespunde performanei agreate cu clientul (utilizatorul final) formrii;

Performana dorit: corespunde nivelului de performan ce se urmrete prin planuri de mbuntire continu, pornind de la analiza performanelor precedente.

Exemplu metodologie Chestionarele de msurare a satisfaciei la nivelul FFP

n cadrul sistemului de evaluare, diferitele arii de evaluare vor avea aceeai pondere, n timp ce ponderea relativ a diferitelor grupe de indicatori variaz n funcie de prezena lor n chestionar

Arie Pondere

relativ Grup de indicatori

CH FFP

ANG

CH FFP

FORM

CH FFP

PART

Program de

formare 50%

Atingerea rezultatelor /

obiectivelor 25% 50% 40%

Impact asupra muncii 60% - 20%

Durate 15% 10% 10%

Predare - 40% 30%

Personal

implicat 40%

Formatori 75% - 60%

Tutori 25% 100% 15%

Ambian - - 25%

Logistic 10% Materiale de curs - 35% 25%

Logistic 100% 65% 75%

Exemplu metodologie Chestionarele de msurare a satisfaciei la nivelul FFP

Indicatorii au fost mprii n cantitativi (sau descriptivi) i calitativi; opiniile celui chestionat sunt exprimate prin indicatori de tip calitativ, cu rspuns deschis sau nchis sub form de scal de evaluare cu 4 niveluri, utilizat n toate chestionarele pentru omogenizarea evalurilor. Scala utilizat e urmtoarea:

Nivel al

scalei

Nivel de satisfacie Descriere

1 Nesatisfctor Nu e suficient pentru satisfacerea ateptrilor

noastre

2 Parial satisfctor Rspunde doar parial nevoilor noastre

3 Satisfctor Rspunde nevoilor noastre

4 Mai mult dect

satisfctor

E mai mult dect ne ateptam

9

Exemplu metodologie Chestionarele de msurare a satisfaciei la nivelul FFP

Evaluare cu ntrebare unic

1. n ce msur a corespuns cursul ateptrilor

dumneavoastr?

1 2 3 4

Evaluare ntrebare cu mai multe rubrici de evaluare

1. n ce msur considerai c au fost ndeplinite obiectivele propuse

de curs?

a) Obiectiv 1

1 2 3 4

a) Obiectiv 2

1 2 3 4

a) Obiectiv n

1 2 3 4

Exemplu metodologie Chestionarele de msurare a satisfaciei la nivelul FFP

Evaluare cu ntrebare cu mai multe rubrici i elemente de evaluare

1. Cum evaluai nivelul de competena, eficacitate (aprofundarea i

detalierea coninutului) i claritatea prezentrii susinute de formatorilor

n discutarea temelor/subiectelor din cadrul cursului?

Formator Competena Eficacitate Claritate

a) Tema 1 (Numele

formatorului)

1 2 3 4 1 2 3 4 1 2 3 4

a) Tema 2 (Numele

formatorului)

1 2 3 4 1 2 3 4 1 2 3 4

a) Tema n (Numele

formatorului)

1 2 3 4 1 2 3 4 1 2 3 4

Exemplu metodologie Chestionarele de msurare a satisfaciei la nivelul FFP

n toate chestionarele a fost introdus o ntrebare pentru evaluarea de ansamblu a PFP / FFP, care s permit evidenierea urmtoarele aspecte:

Dac corespunde evalutrii medii (CSI) asupra ariilor de msurare, valideaz sistemul de evaluare n ansamblul su i raportul (ponderile) dintre arii de evaluare, grupe de indicatori i indicatori individuali;

Dac nu corespunde evalutrii medii (CSI) asupra ariilor de msurare, permire:

Identificarea ariilor de evaluare din care rezult o mai mare satisfacie / insatisfacie a participantului;

Evaluarea validitii sistemului de evaluare i redistribuirea ponderilor ntre diversele arii sau grupe de indicatori.

10

CHESTIONAR DE MSURARE A CALITII PROCESULUI DE FORMARE PROFESIONAL DIN PUNCTUL DE VEDERE AL PARTICIPANILOR LA PROCESUL DE FORMARE

PROFESIONAL - List indicatori

Arie de evaluare

Grup de indicatori Indicatori Tip indicator Scala de evaluare

Pro

gram

d

e fo

rmar

e

1. Atingerea rezultatelor

/ obiectivelor

1.1. Explicarea finalitii/obiectivelor Cantitativ DA / NU

1.2. Atingerea obiectivului general Calitativ De la 1 la 4

1.3. Atingerea obiectivelor individuale Calitativ De la 1 la 4

1.4. Satisfacerea ateptrilor Calitativ De la 1 la 4

1.4.1. Satisfacerea ateptrilor profesionale Calitativ De la 1 la 4

1.4.2. Satisfacerea ateptrilor personale Calitativ De la 1 la 4

2. Impact asupra muncii

2.1. Utilitate pentru ocupaie Calitativ De la 1 la 4

2.2. Coeren cu activitile desfurate Calitativ De la 1 la 4

3. Durate

3.1. Durata cursului Calitativ De la 1 la 4

3.1.1. Durata comparativ cu obiectivele Calitativ De la 1 la 4

3.1.2. Pogramarea tematicilor Calitativ De la 1 la 4

3.1.3. Raport ntre teorie i practic Calitativ De la 1 la 4

4. Predare

4.1. Coerena tematicilor cu obiectivele Calitativ De la 1 la 4

4.2. Coerena exerciiilor cu tematicile Calitativ De la 1 la 4

4.3. Utilitatea exerciiilor practice Calitativ De la 1 la 4

4.4. Utilitatea lucrului pe echipe Calitativ De la 1 la 4

4.5. Grad de inovare al evenimentului Calitativ De la 1 la 4

4.6. Applicabilitate n derularea activitii Calitativ De la 1 la 4

CHESTIONAR DE MSURARE A CALITII PROCESULUI DE FORMARE PROFESIONAL DIN PUNCTUL DE VEDERE AL PARTICIPANILOR LA PROCESUL DE FORMARE

PROFESIONAL - List indicatori

Pe

rso

nal

imp

licat

1. Formatori

1.1. Competen asupra tematicilor de curs Calitativ De la 1 la 4

1.2. Eficacitarea prezentrii Calitativ De la 1 la 4

1.2.1. Capacitatea de transfer a coninuturilor Calitativ De la 1 la 4

1.2.2. Capacitatea de gestionare a exerciiilor Calitativ De la 1 la 4

1.3. Claritatea expunerii Calitativ De la 1 la 4

1.4. Capacitatea de stimulare a interaciunii Calitativ De la 1 la 4

1.4.1. Relaionarea cu participanii Calitativ De la 1 la 4

1.4.2. Disponibilitatea de a rspunde la ntrebri Calitativ De la 1 la 4

1.5. Flexibilitate la solicitrile participanilor Calitativ De la 1 la 4

1.5.1. Capacitatea de a schimba metode i instrumente

Calitativ De la 1 la 4

1.5.2. Capacitatea de a gestiona timpul Calitativ De la 1 la 4

2. Tutori

2.1. Coordonare cu lectorul Calitativ De la 1 la 4

2.2. Relaionare cu participanii Calitativ De la 1 la 4

2.3. Capacitatea de a facilita interaciunea Calitativ De la 1 la 4

2.4. Crearea unui climat favorabil Calitativ De la 1 la 4

2.5. Capacitatea de a asigura suport participanilor

Calitativ De la 1 la 4

3. Ambian 3.1. Climatul slii Calitativ De la 1 la 4

3.2. Interaciune cu colegii Calitativ De la 1 la 4

CHESTIONAR DE MSURARE A CALITII PROCESULUI DE FORMARE PROFESIONAL DIN PUNCTUL DE VEDERE AL PARTICIPANILOR LA PROCESUL DE FORMARE

PROFESIONAL - List indicatori

Log

isti

c

1. Materiale de curs

1.1. Materiale didactice Calitativ De la 1 la 4

1.1.1. Suporturi didactice (slide-uri) Calitativ De la 1 la 4

1.1.2. Alte suporturi (audio-vizuale) Calitativ De la 1 la 4

1.2. Materiale de suport Calitativ De la 1 la 4

1.2.1. Kit participat (suporturi individuale) Calitativ De la 1 la 4

1.2.2. Alte suporturi i instrumente pentru predare

Calitativ De la 1 la 4

2. Logistic

2.1. Opinie de ansamblu asupra locaiei cursului Calitativ De la 1 la 4

2.1.1. Servicii de recepie Calitativ De la 1 la 4

2.1.2. Servicii de secretariat Calitativ De la 1 la 4

2.1.3. Cazare Calitativ De la 1 la 4

2.1.4. Mas Calitativ De la 1 la 4

2.1.5. Alte servicii oferite de locaie Calitativ De la 1 la 4

2.2. Sal de curs Calitativ De la 1 la 4

2.2.1. Dotri didactice Calitativ De la 1 la 4

2.2.2. Alte spaii dedicate formrii Calitativ De la 1 la 4

2.2.3. Alte dotri pentru formare Calitativ De la 1 la 4

11

CHESTIONARUL DE MSURARE A CALITII PRESTAIEI EXAMINATORILOR DIN PUNCTUL DE VEDERE AL FFP

Scopul chestionarului (1)

Scopul acestui chestionar const n:

msurarea calitii comunicrii cu membrii comisiei de examinare externi nominalizai de CAJ;

msurarea calitii prestaiei membrilor comisiei de examinare n etapa premergtoare desfurrii examenului de absolvire/calificare;

msurarea calitii prestaiei membrilor comisiei de examinare pe parcursul desfurrii examenului de absolvire/calificare;

msurarea calitii prestaiei membrilor comisiei de examinare n procesul de evaluare a candidailor;

msurarea calitii prestaiei membrului comisiei de examinare - reprezentant al FFP - pe parcursul desfurrii examenului de absolvire/calificare

Scopul chestionarului(2)

Chestionarele se completeaz la finalizarea examenului de absolvire, separat de ctre:

-RPFP (Responsabilul PFP)

-SCEF (Secretarul comisiei de examinare final)

Chestionarele se colecteaz de ctre managerul calitii iar rezultatele acestora se centralizeaz i se proceseaz semestrial. Ele constituie date de intrare n AEM FFP i fundamenteaz msurile de mbuntire a proceselor de organizare a examenelor de absolvire/calificare.

Rezultatele finale ale acestor chestionare se transmit semestrial la CAJ care le centralizeaz i le utilizeaz n AEM CAJ.

Descrierea chestionarului

chestionarul este transmis n form scris/ n form electronic ctre RPFP i SCEF;

chestionarul este completat, la sfritul examenului de absolvire/ calificare;

chestionarul completat se transmite la managerul calitii FFP care extrage rezultatele n vederea procesrii;

chestionarul completat este un document confidenial, al crui coninut nu poate fi fcut public dect cu aprobarea FFP.

12

Structura chestionarului

Structura chestionarului este prezentat n detaliu la capitolul 5.2 al CH FFP EXAM i cuprinde urmtoarele componente principale:

I II III IV V

Date generale ale reprezentantului FFP

Relaia cu STCAJ

Relaia cu membrii externi ai comisiei de examinare

Relaia cu membrul comisiei de examinare, reprezentant al FFP

Consideraii generale

EXERCIIU

Cerine: Suntei rugai s analizai Chestionarul de msurare a calitii

procesului de formare profesional din punctul de vedere al participanilor la procesul de formare profesional i s facei propuneri pentru mbuntirea acestuia.

Suntei rugai s analizaiChestionarul de msurare a calitii prestaiei examinatorilor din punctul de vedere al FFP CH FFP EXAM i s facei propuneri de mbuntire

La final rspunsurile se vor consensualiza, se vor trece pe flip-chart i se vor prezenta de ctre reprezentantul desemnat al fiecrei echipe

V mulumim!