Tvorba a použití dotazníku · Children’s Outcomes Research Program Tvorba a použití dotazníku (s příkladem využití ve výzkumném projektu vlády USA) Michaela Brtníková,

Children’s Outcomes

Research Program

Tvorba a použití dotazníku

(s příkladem využití ve

výzkumném projektu vlády USA)

Michaela Brtníková, PhD

absolventka doktorského studia

Kinantropologie na UK FTVS v Praze

v r. 2009

školitelka: doc. PhDr. Viléma Novotná,

Katedra gymnastiky

Dotazník

Kvantitativní výzkum

Hromadné získávání údajů

Typy dotazníků

Osobně (tváří v tvář)

Telefonem

Písemně (vlastnoručně vyplněný)

Internet

Volba typu dotazníku

Charakteristika zvolené populace (vzdělání, věk

atd.)

Složitost odpovědí (čas na vyhledání odpovědi)

Výběr zvolené populace

Čas a dostupné prostředky

Internet

Nízká cena (téměř zadarmo)

Velmi rychlá návratnost (minuty, hodiny, dny)

Nutný přístup na internet 100% dotazovaného souboru

Aktualizovaný seznam emailových adres

Široké pokrytí (možné i celosvětové dotazníky)

Nutná gramotnost, znalost práce na PC

Důležité přesvědčit dotazované, aby dotazník vyplnili

Důležitý vzhled dotazníku – jednoduchost vyplňování

Podle současných zkušeností je nízká návratnost dotazníků

pokud soubor dotazovaných není motivován tématem (lze

eliminovat předchozím náborem účastníků)

Písemný dotazník

Poměrně nízký rozpočet (poštovné + tisk)

Poměrně nízká návratnost (25%-50%)

Často nevyplněné položky

Délka dotazníku co nejkratší (cca 10min)

Nelze regulovat (pořadí vyplněných otázek, kdo vyplní atd.)

Gramotnost, zrak

Nelze dále vysvětlit, doplnit

Trvá minimálně 6 týdnů, pokud je poslaný poštou

Nutnost přesných poštovních adres celého souboru

Způsob zachování anonymity

Osobní dotazování

Finančně náročné

Nejvyšší návratnost (85%+)

Nejvíce reprezentativní

Nejpřesnější, nejúplnější výsledky

Lze realizovat i delší rozhovory (získat více dat)

Lze regulovat pořadí otázek, vysvětlit

Pomalý proces

Telefonní dotazník

Poměrně finančně náročný

Většinou 12-20 pokusů na jeden hovor

Návratnost 45-85%

Vysoká přesnost získaných dat

Lze regulovat pořadí otázek

Poměrně rychlý průběh

Lze využít automatizované telefonáty

Výběr dotazované populace může být složitý a finančně náročný

Nepřesnosti - domácí telefonní linky/mobil

Nižší návratnost u mladší dospělé populace a u můžů

Problémy telefonního dotazníku

Chybějící telefonní čísla

Blokování určitých hovorů

Hlasová schránka

Mobilní telefony

Telefonní seznamy (neúplné)

Využití osobního dotazování

Vysoké požadavky na dotazovatele (externí spolupracovníci)

Umožňuje snadné získání dat (negramotní, bez telefonu,

nemocní atd.)

Malé území (menší celková populace pro zevšeobecnění)

Využití telefonního dotazování

Vysoké nároky na kvalitu dotazovatele

Záběr větší populace (území)

Lze zahrnout i negramotné

Středně cenově náročné

Využití písemného dotazníku

Většinou homogenní populace

Seznam adres

Nutné finanční prostředky

Anonymita důležitá

Nutná přehledná a jednoduchá forma

Méně dat

Gramotná populace

Využití internetového dotazníku

Nutný kvalitní seznam aktualních emailových adres

Gramotná a vzdělaná populace

Zájem přispět na dané téma

Předchozí souhlas účastníků

Finančně nenáročné

Uzavřené otázky

Velmi rychlý průběh

Kombinace typů dotazníku

Nejlépe začít levnějším typem

U časově náročných profesí je lépe začít poštou, pak

telefonem

Domácnosti oslovovat lépe telefonem a pak osobně (jsou i

domácnosti bez telefonu)

Pre-test osobně, post-test telefonem

Lze nabídnout dotazovanému co preferuje (poštu, internet,

telefon či osobně)

Tvorba dotazníku

1. Studium literatury: současné poznatky na dané téma

2. Hledání standardizovaného dotazníku

3. Tvorba dotazníkových položek, popř. celého dotazníku

4. Pre-test mezi odborníky (n = 8 - 10)

5. Pilotní studie (40 - 50)

6. Revize a poslední úpravy

Standardizované dotazníky/otázky

Měří přesně co chceme

Dobře vytvořené položky

Mají změřenou reliabilitu a validitu

Tvorba otázek

Získání informace, kterou chceme

Všichni dotazovaní pochopí otázku stejně

Všichni dotazovaní jsou schopni odpovědět přesně

Všichni dotazovaní jsou ochotni odpovědět

18

Volba jednoduchých a vystižných slov

Vyvážené fráze (ani pozitivní ani negativní)

Pouze otázka na jeden problém (vyvarovat se “a”, “či”)

Krátké věty

Pořadí od jednoduchých otázek k tématu pro složitější či méně

příjemné otázky

Pokud více témat, oddělit, uvést a vysvětlit nové téma (otázky

ve skupinách podle tématu)

Základní principy tvorby otázek

19

Kategorie odpovědí pomáhají vysvětlit záměr otázky

Musí být vyčerpávající

Nesmí se překrývat

Vyvarovat se formy: “zaškrtněte všechny správné odpovědi”

Odpovědi

20

Bipolární (ano - ne)

Škály:

• Likertova (vyjadřuje míru souhlasu)

• Frekvence (nikdy – někdy – většinou - vždy)

• Intenzita (vůbec ne – mírně – středně - velmi)

Typy odpovědí

Úvodní otázky

Zajímavé (respondent chce odpovědět na otázky)

Šance pro dotazovaného vyjádřit svůj názor a „být

vyslyšen“

Příprava na složitější či méně příjemné otázky

22

Musí vypadat profesionálně

Jednoduchá orientace

Respondent musí věřit, že vyplňuje dotazník pro

důležitou studii

Ne příliš hustý text („bílá“ místa jsou důležitá)

Velikost písma (lehce čitelná)

Využít tučné, podtržené písmo, kurzívu (přiměřeně,

konzistentně)

Vzhled dotazníku

23

1. Úvod (název, cíl, instrukce)

2. Otázky (dílčí instrukce)

3. Závěr (poděkování, instrukce, kam vyplněný dotazník

odevzdat/poslat)

Struktura dotazníku

24

Pre-test (6 - 8 respondentů)

Pilotní šetření (40 - 50 respondentů)

Ujistit se, zda dotazující rozumí otázkám

Ujistit se, zda je dotazník přehledný

Odhad návratnosti

Zjištění otázek se špatnou distribucí odpovědí

Pre-test a pilotní šetření

Administrace dotazníku

Dillmanova metoda (5 kontaktů):

Oznamovací dopis

Dotazník s průvodním dopisem (4 - 7 dní)

Pohled s poděkováním (7 dní)

Připomínka s další kopií dotazníku

Kontakt jiným typem dotazníku (telefon, osobně)

26

Různý typ dotazníku (email - poštou - telefonem)

Změna vzhledu (barva/velikost obálky, průvodní

dopis)

Odměna (finanční, zahrnutí do losování o ceny atd.)

Poštovní známka

Ručně napsaná adresa

Zvýšení návratnosti

27

Slíbení 50 dolarů - návratnost 57%

Přiložená 1 dolarová bankovka - 64%

Přiložená 5 dolarová bankovka - 72%

Věcný dar (zvýší pozornost, ale jinak nedoporučeno)

Není potřeba přiložit peníze s každou připomínkou

Slíbení finanční odměny či zahrnutí do losování o

věcné ceny nezvýší návratnost

Odměna

28

Počet vyplněných dotazníků/počet dotazovaných

Čím menší návratnost, tím větší chyba měření

Čím větší návratnost, tím víc je soubor dotazovaných

reprezentativní (menší chyba měření, přesnější

výsledky)

Přímo úměrná efektivitě vynaložených prostředků

Návratnost dotazníků

29

Počet vyplněných dotazníků je důležitý pro určení

konfidenčního intervalu

Vysoká návratnost je důležitá pro snížení chyby

měření

Velký počet vyplněných dotazníků (např. 1000) může

zaručit velmi malý konfidenční interval, ale nemůže

vyvážit malou návratnost

Potřeba porovnat respondenty s non-respondenty

Počet odpovědí X návratnost

30

Závisí na výzkumných otázkách, cílech

Poměr počtu dotazovaých k velikosti měřené

populace nemá vliv na přesnost dat (pokud soubor

dotazovaných není < 100)

Náhodný výběr (pokud chceme generalizovat)

Porovnat respondenty s non-respondenty

Výběr souboru dotazovaných

PŘÍKLAD - Výzkumný tým

Allison Kempe, MD, MPH

Lori Crane, PhD, MPH Brenda Beaty, MSPH

Mandy Allison, MD, MSPH Michaela Brtníková, PhD

Laura Hurley, MD, MPH Andrea Clinger, MPH

Shannon Stokley, MPH Megan Snow, MS

Sean O’Leary, MD, MPH Miriam Dickinson, PhD

Ve spolupráci s Centers for Disease Control and Prevention

Projekt

SIP grant

Financován prostřednictvím Rocky Mountain

Prevention Research Center

Čtyřletý projekt: září 2010 - 2014

1,2 milionů dolarů

Výzkumný záměr

Zjistit od lékařů v USA prostřednictvím

dotazníků aktualní praxi ohledně očkování

2 - 3 dotazníky ročně

Za použití tzv. “sentinel site network” –

nejvyšší a nejrychlejší návratnost

Databáze

Náhodný výběr jmen z národních organizací lékařů v

USA (AAP, AAFP and ACP)

Informační dopis a krátký dotazník

Vyřadit lékaře, kteří pracují < 50% v primární péči, pracují

mimo USA, jsou studenti-rezidenti

Matice předpokládaných poměrů následujících

proměnných v celé USA:

– Region USA (sever, jih, východ, západ)

– Lokalita (město, předměstí, venkov)

– Typ ordinace (soukromá, síť ordinací, /univerzitní/ nemocnice)

Matice (N=440)

Sever

Jih

Východ

Západ

Město Předměstí Venkov

Lokalita

Region

Tvorba databáze Cíl: Každou buňka 90% - 110% potřebného poměru

Přeplněné buňky (>110%): – použité pro skupinu pilotního šetření (email) – odstranění náhodným výběrem

Email VoviciTM

Internetová adresa pro vyplnění dotazníku

Připomínka zaslána každé 3 dny (6 pokusů), poté

jednou týdně (2 pokusy)

Pokud nedošla žádná odpověď, zaslán dotazník

poštou (2 pokusy)

• Písemný dotazník, průvodní dopis a dotaz, zda email

došel, správnost adresy a preference pro budoucí

komunikaci

Písemný dotazník Oznamovací dopis

za 3 dny dotazník s průvodním dopisem a

oznámkovanou obálkou

za 4 dny pohled s připomínkou

Připomínky s kopií dotazníku každé 2 týdny

(celkem 3 pokusy)

Pokud je nízká návratnost, poslat ručně

napsanou obálku jiné barvy + nový průvodní

dopis

SUMMARY OF SURVEYS

Survey Name Date Sentinel

Network

Response

Rate

Vaccine Financing Topics 4/2011 Peds

FM

68% Peds

71% FM

Use of Barcodes on Vaccines 9/2011

Peds

FM

GIM

71% Peds

66% FM

71% GIM

Adult Immunization and Preventive

Care 3/2012

FM

GIM

62% FM

79% GIM

Parental Requests to Spread Out

the Vaccine Schedule 6/2012

Peds

FM

68% Peds

61% FM

For a summary of all of our surveys, abstracts and publications, please visit our website at:

www.ucdenver.edu/VPCI

Zahraniční Literatura

• Don Dillman, et al: Internet, Mail, and Mixed-Mode

Surveys: The Tailored Design Method, 2008.

• Lu Ann Aday: Designing and Conducting Health

Surveys: A Comprehensive Guide, 2006

• Johnny E. Blair, Ronald F. Czaja and Edward A.

Blair: Designing Surveys: A Guide to Decisions and

Procedures, Apr 16, 2013

Dotazy?