Jbom jessy siongers

Survey onderzoek

Jessy Siongers

Onderzoeksgroep TOR

Survey-onderzoek

• Survey-onderzoek, enquête-onderzoek, opinie-onderzoek, peiling, poll, ...

• Op systematische wijze worden vragen gesteld aan een (vaak groot) aantal mensen.

• Die vragen meten meningen, motieven, gedrag of andere kenmerken van die mensen

• Vaak gehanteerde methoden– Face to face– Postenquêtes– Online enquêtes– Schoolenquêtes – Telefonische enquêtes

Het survey-huis

Dekking

Steekproef

Respons Meting

Specifiatie

Specificatie van het onderzoek

1. Verantwoording– Waarom ga ik onderzoeken?

2. Formulering probleemstelling & onderzoeksvragen

3. Van concept naar empirische vraag

De fundering

Aandachtspunten

• Geldigheid– Meet de vraag wat ze bedoeld is te meten?

• Betrouwbaarheid– Het meetinstrument moet bij herhaalde

toepassingen op dezelfde, onveranderd gebleven onderzoekseenheden, hetzelfde resultaat opleveren

Specificatie

• Hoe specificatiefouten vermijden?

– Grondige discussie laten aan voorafgaan– Pretest bij een kleine groep respondenten– Baseren op bestaande vragenlijsten

• Vb. Onderzoeksinstellingen, APS-survey, Jeugdmonitor, ...

Hoeksteen 1: Dekking

• Bij een survey heeft men steeds een doelpopulatie voor ogen– Steekproefkader nodig:

• Vb. Lijst met jeugdige inwoners in de gemeente• Vb. Lijst met deelnemers aan activiteiten

georganiseerd door organisatie, gemeente, ...• Vb. Lijst met telefoonnummers• Vb. Scholenlijst

Dekkingsfouten (1)

• Mismatch tussen steekproefkader en doelpopulatie– Vaak: doelpopulatie niet volledig gedekt

• Vb. Personen zonder email of telefoon • Vb. Bij schoolenquêtes in uitsluitend het het voltijds regulier

onderwijs

– Maar soms ook: “over”dekking• Vb. scholen: Administratieve vs. reële opdeling• Vb. Meerdere emailadressen/gsm-nummers van 1 persoon

– Fouten in bestand• Vb. Volwassenen in jongerenbestand

Dekkingsfouten (2)

• Groot risico op dekkingsfouten:– Websurveys zonder uitnodiging

• vb. Link vanop populaire website

– Commerciële adressenlijsten

Hoeksteen 2: Steekproef

• Iedereen bevragen? • Doorgaans:

toevalssteekproef– Elke persoon uit de

onderzoekspopulatie heeft een berekenbare kans om in de steekproef terecht te komen.


• Meest gehanteerde: – Zuiver toevallige steekproef– Gestratificeerde toevalssteekproef

• Populatie wordt opgedeeld in een aantal strata en per strata een toevalssteekproef (bv. Opdeling naar leeftijd, geslacht en nationaliteit)

– Disproportioneel gestratificeerde toevalssteekproef• Bv. Oversampling van allochtonen

– Getrapte steekproeven• Bv. Eerst steekproef van gemeenten en daarbinnen van

jongeren


• Hoe groot moet mijn steekproef zijn?– Afhankelijk van:

• Heterogeniteit of spreiding van de onderzochte kenmerken• Betrouwbaarheidsinterval: Gewenste kans op een verkeerde beslissing

– Met een 95% betrouwbaarheidsinterval is er 5% kans dat de werkelijke waarde buiten het opgestelde interval valt maar besluit dat het er binnen valt

• De gewenste nauwkeurigheid of omgekeerd foutenmarge: de grootte van de fout die men wenst toe te laten

• Analysebehoeften – Complexere analyses: steekproef moet groter zijn naargelang het aantal variabelen en categoriëen van

die variabelen

• Beschikbare tijd en middelen

– Steekproefcalculators op internet• Op basis van heterogeniteit, betrouwbaarheidsinterval en foutenmarge

– Steekproeven zijn niet per definitie beter omdat ze groter zijn• Kan zelfs tot grotere fouten leiden• Wijze waarop steekproef en survey uitgevoerd wordt is belangrijker


JOP Brussel

12-18 jaarKlassikaal

DepOnderwijs

Studie 214-18 jaarDrop off

% ouders in België geboren 38% 63%% spreekt Nederlands met moeder

23% 30% 77% % spreekt thuis Nederlands

• Item nonrespons• Eenheid nonrespons

• Vooral problematisch als deze selectief is: onder- en oververtegenwoordiging van groepen

– Bv. Ondervert. van laag opgeleiden, allochtonen• Oorzaken

• Als verschillende mailings worden voorzien, bereikt men bij postenquêtes een vergelijkbare respons met deze van bij face to face

Hoeksteen 3: Respons

Hoeksteen 3: Respons

• Wat er aan doen?– Aankondiging van de studie– Herhaalde contacten (ook bij weigering)– Vergelijk met populatiegegevens– Respons en nonrespons op een aantal

punten vergelijken (vb. Geslachts- en leeftijdsverdeling)

– Wegingen gebruiken– Respons onder de 50%

Hoeksteen 4: Meten

• 3 (4) bronnen van meetfouten– De vragenlijst

• Vragen moeten duidelijk zijn en door iedereen op dezelfde manier begrepen

– De respondent• Onbedoeld: verkeerd begrepen, geheugen• Bedoeld: bij gevoelige informatie

– Methode van dataverzameling– (interviewer)

Opbouw vragenlijst

• Voorzie de vragenlijst van een algemene inleiding en van de nodige korte introducties bij de verschillende onderdelen

• Overweeg de volgorde van de vragen en de plaats van elke vraag– Best beginnen en eindigen met niet te moeilijke vragen– Ook vooraan: meest belangrijke en relevante vragen, vragen die de interesse

wekken, vragen die door iedereen kunnen beantwoord worden, gesloten vragen– Las enkele ontspannende vragen in (bv. Muziek, tv, ...)– Zorg voor afwisseling– Vragen die elkaar kunnen beïnvloeden:

• concrete doorgaans niet voor algemene vraag plaatsen– Specifiek: verschillende aspecten van participatie beoordelen– Algemeen: Is participatie belangrijk?

• Pas op met doorverwijzingen• Lengte van de vragenlijst is afhankelijk van methode• Besteed voldoende tijd aan opmaak van een vragenlijst

Algemene aanbevelingen

• Steun op vorig onderzoek– Check voor betrouwbaarheid– Vergelijkingsmogelijkheden– Wel oppassen met veranderende betekenissen

• Vragen moeten begrijpelijk en duidelijk zijn– Vb. Ontspanningsmogelijkheden ipv recreatieve voorzieningen

• Vragen moeten eenduidig zijn– Vb. Kan je op je vrienden en familie terugvallen als je problemen

hebt? opdelen in twee vragen

• Geef duiding bij moeilijke of dubbelzinnige begrippen

Meten van feitelijke gegevens

• Denk aan relevante achtergrondsvariabelen (leeftijd, geslacht, opleiding (ouders), ...)

• Zoveel mogelijk gesloten vragen• Tracht zo volledig mogelijk te zijn in je antwoordcategorieën

(vermijd “andere”)• Maak de vragen zo specifiek mogelijk

– Bv. Geef een welomschreven referentieperiode en/of plaatsomschrijving

• Hoeveel keer heb je het afgelopen jaar informatie over culturele activiteiten opgezocht op het internet (nooit, één enkele keer, slechts enkele keren, minstens maandelijks, minstens wekelijks)

• Hoe vaak zoek je informatie over culturele activiteiten op op het internet (nooit, zelden, soms, vaak)

• Maak gebruik van (chronologische) tabellen en lijsten

Meten van attitudes

– Mogelijkheden• Open vragen• Rangschikkingsvragen• Gesloten vragen met antwoordmogelijkheden

– Oppassen voor beïnvloeding• Sociale wenselijkheid

– bv. “Onze preventiedienst heeft een nieuw programma ontwikkeld om jongeren te wijzen op de gevaren van alcohol. De volgende vragen gaan over jouw drankgebruik”

• Toevoeging van positieve of negatieve adjectieven• Vermijd onderliggende assumpties:

– Vb. Vind je dat omwille van de stijgende jeugdcriminaliteit het skatepark enkel toegankelijk zou mogen gemaakt worden voor jongeren van de gemeente?

– Vermijd dubbele negaties• Oppassen met restrictieve termen: Verbieden, controleren, beperken, tegengaan• Vb. Bent u het eens of oneens met de volgende stelling: Leerkrachten mogen niet

verboden worden om leerlingen te controleren buiten de schoolpoorten

Face to face Postenquête Online enquête SchoolenquêteKostprijs Hoog

Ca. 150€/enqLaag

Port- & ponskosten10 à 15€/enq.

Zeer laagSoftware (bv.

SurveyMonkey 0 tot 800€/jaar)

Laag/zeer laagVnl. Vervoerskosten

& indien schriftelijk: druk- en ponskosten (max. 5€/enq.)

Lengte vragenlijst Lang (30 à 60 min.) Medium (<16 p.) Kort (<15 min.) Medium (best binnen 1 lesuur,)

Dekking/steekproef Afh. Van bron Afh. Van bron Afh. Van bronIdeaal voor internat.

studies

Doorgaans zeer goed, maar afhankelijk van

onderzoeksthema

ResponsTijdsautonomie respondent Beperkt Zeer goed Goed/zeer goed Beperkt/goed

Respons rate goed Slecht/goed Slecht/goed goedSelectieve nonrespons Eerder laag Medium/hoog (Meer

hoger opg;, weinig allochtonen,...)

Medium/hoog (Meer hoger opg einig allochtonen,...)

Laag

Info over non-respons Redelijk Beperkt Beperkt Schoolniveau: redelijkLeerlingniveau: beperkt

MetenGevoelige thema’s Redelijk Goed Redelijk/goed RedelijkNiet bedreigende vragen Goed Goed Goed Goed

Controle over antwoordsituatie Zeer goed Slecht Slecht Goed

Kwaliteit van antwoordregistratie

Zeer goed Redelijk/Goed Goed Goed

Visuele hulpmiddelen Zeer goed Goed Zeer goed Goed/zeer goedDoorverwijsmogelijkheden Zeer goed Beperkt Goed/zeer goed Beperkt/zeer goed

Dus ...

• Elke methode heeft zijn voor- en nadelen

• Veel is afhankelijk van de manier waarop aandacht wordt besteed aan het vermijden van fouten op het vlak van : specificatie, dekking, steekproef, respons en meting

Jbom jessy siongers

Education