Hypes&hopes26 08

Eva Derous – PP09 26/08/2014

Wifi “hotel” (free)

#hyho2014

Eva Derous – PP09 26/08/2014

ENESER 2014

Werving en Selectie

Hypes & HopesWat zeg het onderzoek ?

Eva Derous

Vakgroep Personeelsbeleid, Arbeids- en Organisatiepsychologie

UGent

Eva Derous – PP09

Op de proef gesteld

26/08/2014

“de selectiepsycholoog van vandaag

lijkt nog maar weinig

op de vindingrijke psychotechnicus

of diep-doordringende psycho-diagnosticus

van weleer”

Eva Derous – PP09

Van Boe-Boe tot Sociale MediaW&S op de Sofa

26/08/2014

Kloof ?

Mythes ?

Hypes & Hopes?

Eva Derous – PP09

1. Algemene kennis (stellingen)

2. Testgebruik, validiteit, sollicitant, strategie

3. Kennis nieuwere gebruiken en uitdagingen

4. Informatiebronnen en attitudes t.a.v. wetenschap

5. Achtergrondkenmerken

26/08/2014

Vragenlijst ‘Hypes & Hopes’

Kaarsjestest bij de PTT

Eva Derous – PP09

Deelnemers

26/08/2014

Professionals Studenten

Aantal 167 162

Leeftijd 42 24

M/V 37% man 27 % man

Diploma 40% psy 54% psy

Ervaring14j HR

12j W&S

6m HR

3m W&S

Functie

20%

Hoofd HR

Medewerker HR

HR consultant

W&S consultant

Rest

Studenten HRM

Intro (64 %)

Advanced (54 %)

Eva Derous – PP09

Evidentie voor Kloof ?

26/08/2014

Professionals

VL US NL

Eva Derous – PP09

Evidentie voor Kloof ?

26/08/2014

Professionals

VL US NL

37.7% 38% 43%

Eva Derous – PP09 26/08/2014

18 Sollicitanten voelen zich sterker aangetrokken tot organisaties wanneer de

rekruteerder warm/vriendelijk overkomt

√96.20 %

(3.8%)

19 Sollicitanten die zich slecht behandeld voelen tijdens een selectieprocedure, zullen

minder producten en/of diensten van die organisatie afnemen

√84.18 %

(14.56 %)

10 Het zelfwaardegevoel van een sollicitant wordt in sterkere mate bepaald door het

behaalde testresultaat dan door de wijze waarop de sollicitant zich behandeld

voelde tijdens de selectieprocedure

X72.96 %

(14.47 %)

Eva Derous – PP09 26/08/2014



√96.20 %

(3.8%)



√84.18 %

(14.56 %)




X72.96 %

(14.47 %)

1 Gepersonaliseerde interviews zijn betrouwbaarder dan gestandaardiseerde

interviews X52.76 %

(8.58 %)

Eva Derous – PP09 26/08/2014



√96.20 %

(3.8%)



√84.18 %

(14.56 %)




X72.96 %

(14.47 %)


interviews X52.76 %

(8.58 %)

8 Gemiddeld genomen is nauwgezetheid een betere voorspeller van werkprestaties

dan intelligentie X50.63 %

(25.63 %)

Eva Derous – PP09 26/08/2014



√96.20 %

(3.8%)



√84.18 %

(14.56 %)




X72.96 %

(14.47 %)


interviews X52.76 %

(8.58 %)

8 Gemiddeld genomen is nauwgezetheid een betere voorspeller van werkprestaties

dan intelligentie X50.63 %

(25.63 %)

20 Informatie die men via sociale media en netwerksites over kandidaten verzamelt,

blijkt een goede/valide voorspeller van toekomstige werkprestaties te zijn

X50.63 %

(38.61 %)

Eva Derous – PP09 26/08/2014

17 Interviews waarin situationele/hypothetische vragen gesteld worden (bv. “Wat zou u

doen als…?”) zijn minder valide dan interviews waarin ervaring-gebaseerde vragen

gesteld worden (bv. “Hoe heeft u gereageerd ..?”) X6.96 %

(3.80 %)

Eva Derous – PP09 26/08/2014




(3.80 %)

13 In vergelijking met mannen scoren vrouwen gemiddeld genomen hoger op

integriteitstesten

√11.39 %

(66.56 %)

Eva Derous – PP09 26/08/2014




(3.80 %)


integriteitstesten

√11.39 %

(66.56 %)

9 Bedrijven die werknemers tijdens de selectiefase beoordeelden op basis van de fit

met de cultuur/waarden van het bedrijf, doen het beter dan bedrijven die

sollicitanten beoordeelden op hun intelligentie X13.13 %

(12.50 %)

Eva Derous – PP09 26/08/2014




(3.80 %)


integriteitstesten

√11.39 %

(66.56 %)




(12.50 %)

21 Het anonimiseren van de CVs (bv. door het schrappen van persoonlijke elementen

zoals de naam en de geboorteplaats van een kandidaat) verhoogt de kansen op

een job voor sollicitanten met een migratie-achtergrond (ook allochtone kandidaten

genoemd) ?15.19 %

(---)

Eva Derous – PP09 26/08/2014




(3.80 %)


integriteitstesten

√11.39 %

(66.56 %)




(12.50 %)




genoemd) ?15.19 %

(---)

15 Algemene intelligentie voorspelt de werkprestaties van managers en ingenieurs

gemiddeld genomen beter dan die van bedienden

√19.62 %

(34.81 %)

Eva Derous – PP09 26/08/2014




(3.80 %)


integriteitstesten

√11.39 %

(66.56 %)




(12.50 %)




genoemd) ?15.19 %

(---)

15 Algemene intelligentie voorspelt de werkprestaties van managers en ingenieurs

gemiddeld genomen beter dan die van bedienden

√19.62 %

(34.81 %)

Eva Derous – PP09

Hoe begrijpen ?

Evidentie voor Kloof

26/08/2014

Professionals Academici

Eva Derous – PP09

Hoe begrijpen ?


26/08/2014


Attitude.23**

Sociale druk.25**

Tijds-gebrek-.19†

Gebrek

middelen

.02

Intentie Kennis.20*

Eva Derous – PP09

Wat aan doen?


26/08/2014


Stellingen Nieuwe praktijken

ValiditeitReacties

Sollicitant

KennisAcademisch lezen

Niet-Academisch

lezen

.16†

.34**

.27**

Eva Derous – PP09

Wat aan doen?Lezen loont, maar…


26/08/2014


73.5

16.510

20.5

3643.5

0

20

40

60

80

Nooit Soms Frequent

% Professionals

Academisch Gedrag & Organisatie

Journal of Applied Psychology

Personnel Psychology

International Journal of Selection and

Assessment

Kranten

HR Magazine

HR Square

Tijdschrift voor HRM

Eva Derous – PP09

Wat aan doen?


26/08/2014


KennisInternet .18†

Collega’s .21*

-.20*Externe W&S

consultant

.29**

Unifs

.16†

.34**

.36*

Test-

Leverancier

.27**

.24**

.34**

Nieuwe praktijkenStellingen

ValiditeitReacties

Sollicitant

Eva Derous – PP09

Wat aan doen?Netwerken loont, maar…


26/08/2014


0.0

20.0

40.0

60.0

80.0

100.0% Professionals Zeldenof nooit% Professionals Zeerfrequent

Eva Derous – PP09

Hoe begrijpen ?


26/08/2014


Eva Derous – PP09

Hoe begrijpen ?


26/08/2014


7

Eva Derous – PP09


26/08/2014

1963-2007

Cascio & Aguinis (JAP,

2008)

Eva Derous – PP09

Wat aan doen?Specialisatie loont…


26/08/2014


Stellingen Nieuwe praktijken

ValiditeitReacties

Sollicitant

Kennis

Ervaring HR .20*

Psycho-logie.21**

.31**

.21**

Ervaring W&S

Eva Derous – PP09

Wat aan doen?‘Scientist-Practitioner’ model


26/08/2014


Zedeck & Goldstein (2000)

Op een bewuste, expliciete, en oordeelkundige manier gebruik maken van vier

soorten info: (1) oordeel en expertise van de professional, (2) data uit de context, (3)

het best beschikbare wetenschappelijke onderzoek, en (4) perspectieven van de

stakeholders Briner, Denyer, & Rousseau (2009)

Eva Derous – PP09

Zijn er nog Mythes ?

26/08/2014

PROFESSIONALS

M Sd n

Validiteit 4.30 .77 143

Adverse impact 3.77 .96 143

Reacties van sollicitanten3.32 .86 143

Populariteit 2.97 .82 143

Eva Derous – PP09

Zijn er nog Mythes ?

26/08/2014

GEBRUIK GEPERCIPIEERDE VALIDITEIT

PREDICTIEVE VALIDITEIT

Altijd CV-screening

Goed

(> .30

)

Assessment Centers

Zeer g

oed (

> .40)

Gestructureerde interviews

Vaak

Werkervaring Gedragsgerichte

interview Gedragsproeven

(objectief/subjectief)

Gedragsgerichte

interviews

Werkervaring Cognitieve vaardigheidstests

Soms

Buikgevoel

Matig

(> .20

)

Objectieve gedragsproeven

Kennistests

Assessment Centers Cognitieve vaardigheidstest

Goed

(> .30

)

Assessment centers

Cognitieve

vaardigheidstests

Kennistest

Kennistests Sjts Biodata

Referentiechecks Subjectieve gedragsproeven

Matig

(> .20

)

Conscientieusheid

Conscientieusheid CV-screening SJTs

Erg we

inig

Subjectieve

gedragsproeven

Referentiechecks Ongestructureerd interviews

Situationele interviews Conscientieusheid

Klein (

> .10)

Werkervaring

SJTs Situationele interviews

Referentiechecks

Objectieve

gedragsproeven

Klein (

> .10)

Buikgevoel Interessetests

Ongestructureerde

interviews

Video-CVs

Nooit

Interessetests Interessetests

Video-CVs Ongestructureerde interviews

Geen

(<.10

) Grafologie

Grafologie

Geen

Grafologie

Buikgevoel

Eva Derous – PP09

Hypes & Hopes ?

26/08/2014

KENNIS GEEN KENNIS HOPE HYPE

1 Werving via sociale media Biologische markers

(scanner; drugs; alcohol)

Talent testen

(DC)

Biologische markers


2 Screenings op afstand Webcam

testing

Predictieve validiteiten

zelf berekenen

Online reputatiechecks (bv.

Klout)

3 Talent testen

(DC)

Online reputatie-checks

(bv. Klout)

Werving via sociale media Selectie via sociale media

4 Werving-strategie aanpassen

aan schaarste

Serious games voor

competentie-analyse

Reacties van sollicitanten

meten

Webcam

testing

5 Reacties van sollicitanten

meten

Adverse impact tests Functierelevante tests Video CVs, serious games

Eva Derous – PP09

Hypes & Hopes ?

26/08/2014

KENNIS GEEN KENNIS HOPE HYPE

1 Werving via sociale media Biologische markers


Talent testen

(DC)

Biologische markers


2 Screenings op afstand Webcam

testing

Predictieve validiteiten

zelf berekenen

Online reputatiechecks (bv.

Klout)

3 Talent testen

(DC)

Online reputatie-checks

(bv. Klout)

Werving via sociale media Selectie via sociale media

4 Werving-strategie aanpassen

aan schaarste

Serious games voor

competentie-analyse

Reacties van sollicitanten

meten

Webcam

testing

5 Reacties van sollicitanten

meten

Adverse impact tests Functierelevante tests Video CVs, serious games

Eva Derous – PP09

Overbruggen

Op de proef gesteldNog niet

26/08/2014

Dank vooraandacht

Rekrutering & Selectie Stad Gent

Proeftuin waar wetenschap en praktijk elkaar ontmoetenStefan Vanbroeckhoven

Inhoud

Adverse Impact

Vakmanschap

Audit wetenschappelijk comité JobpuntVlaanderen

ADVERSE IMPACT ISM UGENT (PROF. DR.

DEROUS)

Wat is Adverse Impact (AI)? Selectieratio = % weerhouden kandidaten uit een

demografische (sub)groep obv bestudeerde test

AI = Selectieratio meerderhedengroepen significant groter dan selectieratio minderhedengroepen

Ongewenste Impact ≠ discriminatie

Gelijke behandeling van kandidaten toch differentieel effect tussen minderheids- en meerderheidsgroepen

Zelfselectie = Kandidaten beslissen zelf om deelname te stoppen

Opzet studie AI

Onderzochte “minderheidsgroepen”: Geslacht

Leeftijd

Etnische afkomst

Verschillende selectieprocedures onderzocht

Soorten bias:

Test- of itembias

Ware verschillen

Beoordelingsbias

Toeval

Conclusie studie AI Relatief weinig Adverse Impact naar Leeftijd en

Geslacht

Opvallend meer Adverse Impact in het nadeel van etnische minderheden

Vooral AI etniciteit in vroege stadia van selectie (preselectie en praktische, schriftelijke of capacitaireproeven)

Psychotechnische Tests doorgaans minder AI voor etniciteit (behalve voor niveau E), geslacht en leeftijd

Komt overeen met bevindingen wetenschappelijke literatuur

Conclusie zelfselectie

Opvallend groot zelfselectiepercentage

Weinig verschillen op het vlak van zelfselectie op basis van de factor (etnische) origine

Vooral geslacht en in mindere mate leeftijd blijken meer invloed te hebben op verzakingen

Verzakingen doen zich vooral voor in de fase tussen de kandidatuurstelling en de 1e

selectieproef

Oorzakenanalyse AI etnische origine Vermoedelijke hoofdoorzaak AI:

1. Test- of Itembias

aangezien AI voorvalt tijdens meest gestandaardiseerde selectiefasen, waarbij weinig ruimte is voor interpretatie van de resultaten

2. Ware verschillen

taal? Begrip van testinstructies en opdrachten?

redenen zelfselectie Afstand te groot

De functie is obv de proeven toch niets voor mij

Procedure duurt te lang

Datum vergeten

Ander aanbod

Kan me niet vrijmaken

Maak weinig kans

Zelfselectie verminderen Ondersteunen van vacature dmv audiovisueel materiaal

concreet: voor de vacature van plaveier werd gebruik gemaakt van een beroepenfilmpje van de VDAB

Organiseren van infosessies voor potentiële kandidaten

Kortere doorlooptijd en beperking van het aantal selectiemomenten:

Vroeger

• Selectie in 4 stappen

• PSP->PP->PT->MP

• Gemiddelde doorlooptijd: 8 weken

Nu

• 2 stappen

• PSP->PP+MP

• Gemiddelde doorlooptijd: 3 weken

http://www.vdab.be/beroepen/wegenwerker.shtml

AI etnische origine verminderen werken op ware verschillen in taal

Screening testinstrumentarium door cel Diversiteit van Ugent (tip:http://www.klaretaalrendeert.be/op_het_werk/tips_taalgebruik)

AI verminderen (algemeen) – werken op beoordelingsbias: Bewustmaking juryleden van beoordelaarseffecten

AI verminderen (algemeen) AI opnemen als vereiste in bestek bij keuze

testleverancier

http://www.klaretaalrendeert.be/op_het_werk/tips_taalgebruik

Vraagstelling visualiseren

Vroeger

Stel dat je een boom wil omzagen, met welke machine doe je dit?

A. Een slijpschijf

B. Een heggeschaar

C. Een kettingzaag

D. Een handzaag

NuU moet deze boom omzagen:

Met welke machine? Duid het juiste antwoord aan met

A=………………. B=……………..

C=………………… D= ………………….

Effecten & overwegingen

Verzakingspercentage blijft hoog

Nood aan diepgaande oorzakenanalyse van verzakingen

Hoe ver moeten we gaan met onze rekruteringsinspanningen

Ingrepen in testinstructies en testformat hebben gunstig effect op AI etnische origine, maar nog niet volledig weggewerkt

Persoonlijkheidstesten en capacitaire testen aanbieden in taal naar keuze van de kandidaat? accuraatheid van de informatie over kandidaat primeert op taalkennis?

VAKMANSCHAP ISM. JOBPUNT

VLAANDEREN

Context en problematiek

Jaarlijks worden er in België 60.000 vacatures niet ingevuld

Ook voelbaar binnen Stad Gent (o.a. technische knelpuntberoepen (plaveier, tuinier, ..))

Inspanningen brengen kwantitatieve instroom, maar onvoldoende kwalitatieve instroom ondanks geleverde inspanningen

Weinig opleidingen zijn afgestemd op de professionele nood

Veel potentieel, maar gebrek aan technische expertise

Context en problematiek

Sterke focus vanuit business op onmiddellijke inzetbaarheid kandidaat gevolg:

Zeer laag slaagpercentage kandidaten

Continue onderbezetting binnen diensten

Realisatie doelstellingen onder druk

Er was nood aan een andere aanpak binnen het reglementair kader met oog voor de noden van de diensten!

Bewuste beleidsmatige keuze ifvbeschikbaar maar onbenut arbeidsmarktpotentieel

Aanpak

Aantrekken, selecteren en aanwerven van kandidaten met potentieel (= basiscompetenties, attitude, leerpotentieel, leerbereidheid)

Opleiden tot volwaardige medewerkers dmv een opleiding –en stagetraject

Coaching op de werkvloer

Continue opvolging

Inzetten op modern én sociaal werkgeverschap

Meerwaarde kansen geven

investeren in mensen

geen tekorten in bezetting -> ontlasten van de huidige medewerkers en bereiken van de dienstdoelstellingen

tijdsinvestering van diensten in selectietrajecten evenredig met output van traject

person-organisation fit: eindselectie o.b.v. functioneren op de werkvloer

medewerkers kunnen zich bewijzen op de werkvloer

Rekrutering

Geijkte kanalen (intranet, internet, VDAB, allochtone verenigingen, streekkrant..)

Infosessies voor interne medewerkers

Wijkgerichte jobbeurzen inclusief infosessies in wijken met hoogste werkdruk

Doel: een goed beeld geven van de functie-inhoud, interesse opwekken, meet en greet met de dienst, inschrijvingsmogelijkheid

Selectieprocedure

Verleden

1. Eliminerende Praktische proef

(as is)

2. Niet eliminerende

Psychotechnische proeven

3. Eliminerende Mondelinge proef

Heden -vakmanschap

1. Eliminerend vaardigheid en

inzicht deel

2. Eliminerend mondeling

inclusief praktisch deel (potentieel)

Detail van een selectie: Plaveier

Eliminerend vaardigheids- en inzichtsdeel

• Video based situationele oordeelsvormingstest

• Redeneerproef afgestemd op de functie

• Doel: invloed taal minimaliseren, kandidaten met goed basiscompetenties en goed leervermogen detecteren

Mondeling deel inclusief praktisch onderdeel

• Praktische proef: kandidaten dienden een stukje voetpad te leggen door een werkfiche met foto’s te volgen “IKEA-handleiding”

• Mondelinge proef: bevraging functierelevante competenties die reeds ontwikkeld dienen te zijn

Video based situationele oordeelsvormingstest

Video based situationele oordeelsvormingstest (vervolg)

multiple choice: geen gedwongen keuze, maar beoordeling ieder antwoordalternatief

•antwoordformat: ‘in welke mate vind je dit antwoord gepast’

Praktische proef: “IKEA”-handleiding

Praktische proef: “IKEA”-handleiding (vervolg)

Opleidings- en stagetraject

Opleiding

•Voltijdse basisopleiding op maat

•7 dagen

Stage 1

•Toepassen van geleerde op de werkvloer obv duidelijke doelstellingen

•Mentorship

•16 dagen

Vervolg-opleiding

•Specialisatiemodules

•7 dagen

Stage 2

•Toepassen van geleerde op de werkvloer obv duidelijke doelstellingen

•Mentorship

•16 dagen

Evaluatie

Business was moeilijk te overtuigen om project op te starten

Slaagpercentage kandidaten verdrievoudigd

90% kandidaten slagen in de opleiding

Business en kandidaten waren na het project zeer tevreden over het verloop & resultaat

“ze kennen de basistechnieken, de rest is een groeiproces” (ploegbaas)

“je ziet de mensen iedere dag beter worden” (peter)

“hij leert, kijkt en steelt met z’n ogen” (ploegbaas)

“we krijgen eindelijk de kans om een vak te leren” (kandidaat)

Evaluatie SJT:

resultaat benadert normaalverdeling

hoge interne consistentie (0,830) – (gemiddeld 0,6 voor SJT)

moeilijkheid = voldoende

test leervermogen: genormeerde scores

goede interne consistentie (0,746)

items geëvalueerd op moeilijkheid en discriminerend vermogen

5 items verwijderd

AI ratio (0,8 = geen AI) origine: 0,73% (vorige procedures: 0,53)

leeftijd: 0,86

geslacht: geen vrouwen

AUDIT WETENESCHAPPELIJKCOMITÉ ISM JOBPUNT VLAANDEREN

Audit wetenschappelijk comité

Wie?

Prof. Dr. Frederik Anseel – UGent

Prof. Dr. Em. Karel De Witte – KULeuven

Prof. Dr. Roland Pepermans - VUB

Waarom?

Zijn onze selecties wel voldoende betrouwbaar en valide?

Discussies over sommige selectieresultaten


Sterktes

Hoge mate aan professionaliteit

Garantie validiteit en betrouwbaarheid in selectietraject

Processen met oog voor kwaliteit en efficiëntie

Inspanningen diversiteit

Verbeterpunten

Psychotechnisch deel: eliminerend Meest predictieve waarde

Geen gewichten toekennen aan competenties

Competenties scoren na alle selectieonderdelen

Telefonische screening: vooral voor het bevragen van feitelijke informatie, cv, motivatie


Meerwaarde

Externe wetenschappelijke blik = inhoudelijk verrijking

Inspiratie om nieuwe zaken te introduceren

Focus in de discussie over wat beter kan, zonder dat kind met het badwater wordt weggegooid

Contact

Stefan Vanbroeckhoven

Dienst Rekrutering en Selectie -Departement HR - Stad Gent Bezoekadres: Keizer Karelstraat 1, 9000 Gent Postadres: Stadhuis, Botermarkt 1, 9000 Gent Tel. 09 266 75 60

[email protected]

Hypes&hopes26 08

Recruiting & HR