Children’s Outcomes
Research Program
Tvorba a použití dotazníku
(s příkladem využití ve
výzkumném projektu vlády USA)
Michaela Brtníková, PhD
absolventka doktorského studia
Kinantropologie na UK FTVS v Praze
v r. 2009
školitelka: doc. PhDr. Viléma Novotná,
Katedra gymnastiky
Dotazník
Kvantitativní výzkum
Hromadné získávání údajů
Typy dotazníků
Osobně (tváří v tvář)
Telefonem
Písemně (vlastnoručně vyplněný)
Internet
Volba typu dotazníku
Charakteristika zvolené populace (vzdělání, věk
atd.)
Složitost odpovědí (čas na vyhledání odpovědi)
Výběr zvolené populace
Čas a dostupné prostředky
Internet
Nízká cena (téměř zadarmo)
Velmi rychlá návratnost (minuty, hodiny, dny)
Nutný přístup na internet 100% dotazovaného souboru
Aktualizovaný seznam emailových adres
Široké pokrytí (možné i celosvětové dotazníky)
Nutná gramotnost, znalost práce na PC
Důležité přesvědčit dotazované, aby dotazník vyplnili
Důležitý vzhled dotazníku – jednoduchost vyplňování
Podle současných zkušeností je nízká návratnost dotazníků
pokud soubor dotazovaných není motivován tématem (lze
eliminovat předchozím náborem účastníků)
Písemný dotazník
Poměrně nízký rozpočet (poštovné + tisk)
Poměrně nízká návratnost (25%-50%)
Často nevyplněné položky
Délka dotazníku co nejkratší (cca 10min)
Nelze regulovat (pořadí vyplněných otázek, kdo vyplní atd.)
Gramotnost, zrak
Nelze dále vysvětlit, doplnit
Trvá minimálně 6 týdnů, pokud je poslaný poštou
Nutnost přesných poštovních adres celého souboru
Způsob zachování anonymity
Osobní dotazování
Finančně náročné
Nejvyšší návratnost (85%+)
Nejvíce reprezentativní
Nejpřesnější, nejúplnější výsledky
Lze realizovat i delší rozhovory (získat více dat)
Lze regulovat pořadí otázek, vysvětlit
Pomalý proces
Telefonní dotazník
Poměrně finančně náročný
Většinou 12-20 pokusů na jeden hovor
Návratnost 45-85%
Vysoká přesnost získaných dat
Lze regulovat pořadí otázek
Poměrně rychlý průběh
Lze využít automatizované telefonáty
Výběr dotazované populace může být složitý a finančně náročný
Nepřesnosti - domácí telefonní linky/mobil
Nižší návratnost u mladší dospělé populace a u můžů
Problémy telefonního dotazníku
Chybějící telefonní čísla
Blokování určitých hovorů
Hlasová schránka
Mobilní telefony
Telefonní seznamy (neúplné)
Využití osobního dotazování
Vysoké požadavky na dotazovatele (externí spolupracovníci)
Umožňuje snadné získání dat (negramotní, bez telefonu,
nemocní atd.)
Malé území (menší celková populace pro zevšeobecnění)
Využití telefonního dotazování
Vysoké nároky na kvalitu dotazovatele
Záběr větší populace (území)
Lze zahrnout i negramotné
Středně cenově náročné
Využití písemného dotazníku
Většinou homogenní populace
Seznam adres
Nutné finanční prostředky
Anonymita důležitá
Nutná přehledná a jednoduchá forma
Méně dat
Gramotná populace
Využití internetového dotazníku
Nutný kvalitní seznam aktualních emailových adres
Gramotná a vzdělaná populace
Zájem přispět na dané téma
Předchozí souhlas účastníků
Finančně nenáročné
Uzavřené otázky
Velmi rychlý průběh
Kombinace typů dotazníku
Nejlépe začít levnějším typem
U časově náročných profesí je lépe začít poštou, pak
telefonem
Domácnosti oslovovat lépe telefonem a pak osobně (jsou i
domácnosti bez telefonu)
Pre-test osobně, post-test telefonem
Lze nabídnout dotazovanému co preferuje (poštu, internet,
telefon či osobně)
Tvorba dotazníku
1. Studium literatury: současné poznatky na dané téma
2. Hledání standardizovaného dotazníku
3. Tvorba dotazníkových položek, popř. celého dotazníku
4. Pre-test mezi odborníky (n = 8 - 10)
5. Pilotní studie (40 - 50)
6. Revize a poslední úpravy
Standardizované dotazníky/otázky
Měří přesně co chceme
Dobře vytvořené položky
Mají změřenou reliabilitu a validitu
Tvorba otázek
Získání informace, kterou chceme
Všichni dotazovaní pochopí otázku stejně
Všichni dotazovaní jsou schopni odpovědět přesně
Všichni dotazovaní jsou ochotni odpovědět
18
Volba jednoduchých a vystižných slov
Vyvážené fráze (ani pozitivní ani negativní)
Pouze otázka na jeden problém (vyvarovat se “a”, “či”)
Krátké věty
Pořadí od jednoduchých otázek k tématu pro složitější či méně
příjemné otázky
Pokud více témat, oddělit, uvést a vysvětlit nové téma (otázky
ve skupinách podle tématu)
Základní principy tvorby otázek
19
Kategorie odpovědí pomáhají vysvětlit záměr otázky
Musí být vyčerpávající
Nesmí se překrývat
Vyvarovat se formy: “zaškrtněte všechny správné odpovědi”
Odpovědi
20
Bipolární (ano - ne)
Škály:
• Likertova (vyjadřuje míru souhlasu)
• Frekvence (nikdy – někdy – většinou - vždy)
• Intenzita (vůbec ne – mírně – středně - velmi)
Typy odpovědí
Úvodní otázky
Zajímavé (respondent chce odpovědět na otázky)
Šance pro dotazovaného vyjádřit svůj názor a „být
vyslyšen“
Příprava na složitější či méně příjemné otázky
22
Musí vypadat profesionálně
Jednoduchá orientace
Respondent musí věřit, že vyplňuje dotazník pro
důležitou studii
Ne příliš hustý text („bílá“ místa jsou důležitá)
Velikost písma (lehce čitelná)
Využít tučné, podtržené písmo, kurzívu (přiměřeně,
konzistentně)
Vzhled dotazníku
23
1. Úvod (název, cíl, instrukce)
2. Otázky (dílčí instrukce)
3. Závěr (poděkování, instrukce, kam vyplněný dotazník
odevzdat/poslat)
Struktura dotazníku
24
Pre-test (6 - 8 respondentů)
Pilotní šetření (40 - 50 respondentů)
Ujistit se, zda dotazující rozumí otázkám
Ujistit se, zda je dotazník přehledný
Odhad návratnosti
Zjištění otázek se špatnou distribucí odpovědí
Pre-test a pilotní šetření
Administrace dotazníku
Dillmanova metoda (5 kontaktů):
Oznamovací dopis
Dotazník s průvodním dopisem (4 - 7 dní)
Pohled s poděkováním (7 dní)
Připomínka s další kopií dotazníku
Kontakt jiným typem dotazníku (telefon, osobně)
26
Různý typ dotazníku (email - poštou - telefonem)
Změna vzhledu (barva/velikost obálky, průvodní
dopis)
Odměna (finanční, zahrnutí do losování o ceny atd.)
Poštovní známka
Ručně napsaná adresa
Zvýšení návratnosti
27
Slíbení 50 dolarů - návratnost 57%
Přiložená 1 dolarová bankovka - 64%
Přiložená 5 dolarová bankovka - 72%
Věcný dar (zvýší pozornost, ale jinak nedoporučeno)
Není potřeba přiložit peníze s každou připomínkou
Slíbení finanční odměny či zahrnutí do losování o
věcné ceny nezvýší návratnost
Odměna
28
Počet vyplněných dotazníků/počet dotazovaných
Čím menší návratnost, tím větší chyba měření
Čím větší návratnost, tím víc je soubor dotazovaných
reprezentativní (menší chyba měření, přesnější
výsledky)
Přímo úměrná efektivitě vynaložených prostředků
Návratnost dotazníků
29
Počet vyplněných dotazníků je důležitý pro určení
konfidenčního intervalu
Vysoká návratnost je důležitá pro snížení chyby
měření
Velký počet vyplněných dotazníků (např. 1000) může
zaručit velmi malý konfidenční interval, ale nemůže
vyvážit malou návratnost
Potřeba porovnat respondenty s non-respondenty
Počet odpovědí X návratnost
30
Závisí na výzkumných otázkách, cílech
Poměr počtu dotazovaých k velikosti měřené
populace nemá vliv na přesnost dat (pokud soubor
dotazovaných není < 100)
Náhodný výběr (pokud chceme generalizovat)
Porovnat respondenty s non-respondenty
Výběr souboru dotazovaných
PŘÍKLAD - Výzkumný tým
Allison Kempe, MD, MPH
Lori Crane, PhD, MPH Brenda Beaty, MSPH
Mandy Allison, MD, MSPH Michaela Brtníková, PhD
Laura Hurley, MD, MPH Andrea Clinger, MPH
Shannon Stokley, MPH Megan Snow, MS
Sean O’Leary, MD, MPH Miriam Dickinson, PhD
Ve spolupráci s Centers for Disease Control and Prevention
Projekt
SIP grant
Financován prostřednictvím Rocky Mountain
Prevention Research Center
Čtyřletý projekt: září 2010 - 2014
1,2 milionů dolarů
Výzkumný záměr
Zjistit od lékařů v USA prostřednictvím
dotazníků aktualní praxi ohledně očkování
2 - 3 dotazníky ročně
Za použití tzv. “sentinel site network” –
nejvyšší a nejrychlejší návratnost
Databáze
Náhodný výběr jmen z národních organizací lékařů v
USA (AAP, AAFP and ACP)
Informační dopis a krátký dotazník
Vyřadit lékaře, kteří pracují < 50% v primární péči, pracují
mimo USA, jsou studenti-rezidenti
Matice předpokládaných poměrů následujících
proměnných v celé USA:
– Region USA (sever, jih, východ, západ)
– Lokalita (město, předměstí, venkov)
– Typ ordinace (soukromá, síť ordinací, /univerzitní/ nemocnice)
Matice (N=440)
Sever
Jih
Východ
Západ
Město Předměstí Venkov
Lokalita
Region
Tvorba databáze Cíl: Každou buňka 90% - 110% potřebného poměru
Přeplněné buňky (>110%): – použité pro skupinu pilotního šetření (email) – odstranění náhodným výběrem
Email VoviciTM
Internetová adresa pro vyplnění dotazníku
Připomínka zaslána každé 3 dny (6 pokusů), poté
jednou týdně (2 pokusy)
Pokud nedošla žádná odpověď, zaslán dotazník
poštou (2 pokusy)
• Písemný dotazník, průvodní dopis a dotaz, zda email
došel, správnost adresy a preference pro budoucí
komunikaci
Písemný dotazník Oznamovací dopis
za 3 dny dotazník s průvodním dopisem a
oznámkovanou obálkou
za 4 dny pohled s připomínkou
Připomínky s kopií dotazníku každé 2 týdny
(celkem 3 pokusy)
Pokud je nízká návratnost, poslat ručně
napsanou obálku jiné barvy + nový průvodní
dopis
SUMMARY OF SURVEYS
Survey Name Date Sentinel
Network
Response
Rate
Vaccine Financing Topics 4/2011 Peds
FM
68% Peds
71% FM
Use of Barcodes on Vaccines 9/2011
Peds
FM
GIM
71% Peds
66% FM
71% GIM
Adult Immunization and Preventive
Care 3/2012
FM
GIM
62% FM
79% GIM
Parental Requests to Spread Out
the Vaccine Schedule 6/2012
Peds
FM
68% Peds
61% FM
For a summary of all of our surveys, abstracts and publications, please visit our website at:
www.ucdenver.edu/VPCI
Zahraniční Literatura
• Don Dillman, et al: Internet, Mail, and Mixed-Mode
Surveys: The Tailored Design Method, 2008.
• Lu Ann Aday: Designing and Conducting Health
Surveys: A Comprehensive Guide, 2006
• Johnny E. Blair, Ronald F. Czaja and Edward A.
Blair: Designing Surveys: A Guide to Decisions and
Procedures, Apr 16, 2013
Dotazy?