Рогозин, Д.М. Теория ошибок, или мичиганская методологическая школа. Часть 1: Ошибки измерения. Лекция

Теория ошибок, или

мичиганская методологическая школа

Часть 1: Ошибки измерения

Лекция вторая

Д.М. Рогозин

08.11.2013 Шанинка 1

Курс лекций по методологии социологического исследования, читаемый на факультете социальных наук Московской высшей школы социальных и экономических наук (Шанинки) в октябре 2013 – апреле 2014.

Моему Учителю Г.С. Батыгину посвящается

Лекция вторая:

Теория ошибок, или мичиганская методологическая школа. Часть 1: Ошибки измерения(25 октября, 8 ноября 2013)

08.11.2013 Шанинка 2

Основная литература

1. Батыгин, Г.С. Лекции по методологии социологических исследований: Учебник для студентов гуманитарных вузов и аспирантов. 2-е изд. М.: РУДН, 2008. С. 72-78. [Триада Стефана Новака: коммуникативно-эпистемический переход]

2. Кимбл, Г. Как правильно пользоваться статистикой / Пер. с англ. Б.И. Клименко, Н.К. Дружинина. М.: Изд-во «Финансы и статистика», 1983. С. 13-34. [глава 1: Природа статистики; msses lib. КИМ 001.4]

3. Рогозин, Д.М. Когнитивный анализ опросного инструмента. М.: Ин-т Фонда «Общественное мнение», 2002. [msses lib 300.723 РОГ]

4. Садмен, С., Брэдберн, Н., Шварц, Н. Как люди отвечают на вопросы: применение когнитивного анализа в массовых обследованиях / Пер. с англ. Д.М. Рогозина, М.В. Рассохиной; Под ред. Г.С. Батыгина. М.: Ин-т Фонда «Общественное мнение», 2003. [msses lib 300.723 САД]

5. Groves, R.M., Fowler, F.J. Jr., Couper, M.P., Lepkowski, J.M., Singer, E., Tourangeau, R. Survey methodology. 2nd ed. New York: John Wiley & Sons, 2009.

08.11.2013 Шанинка 3

Четыре области бытования совокупнойошибки исследования по Ларсу ЛайбергуLyberg, L. Survey quality // Survey Methodology. 2012. Vol. 38. No. 2. P. 107-130.

Реализация исследования

Контроль и оценка результатов

Анализ данных

Дизайн исследования

08.11.2013 Шанинка 4

Роберт Гроувз

(2012 – наст. вр. ) Ректор Джорджтаунскогоуниверситета в Вашингтоне, округ Колумбия.(2002 – наст. вр.) профессор Мичиганскогоуниверситета.(2009 – 2012) Директор Бюро переписи населения США(2001-2009) Директор Мичиганского центра изучения обследований (Survey Research Center), Института социальных исследований

Самый влиятельный из ныне живущих методологов, начал профессиональную карьеру с 1968 года в должности надзирателя государственной тюрьмы штата Вермонт, как методолог был поддержан Филиппом Конверсом и уже в 1971 году стал его заместителем в Институте социальных исследований Мичиганского университета

08.11.2013 Шанинка 5

Типология систематических ошибок

ОШИБКИ ИЗМЕРЕНИЯ

ОШИБКИ РЕГИСТРАЦИИ

ОШИБКИ ПОКРЫТИЯ

ОШИБКИ ВЫБОРКИ

ОШИБКИ НЕОТВЕТОВ

Groves, R.M., Fowler, F.J. Jr., Couper, M.P., Lepkowski, J.M., Singer, E., Tourangeau, R. Survey methodology. 2nd ed. New York: John Wiley & Sons, 2009.

ОШИБКИ ОПЕРАЦИОНАЛИЗАЦИИ

Различия между концептуальным и операциональным определением

Различия между идеальным измерением и наблюдаемыми замерами

Различия между оценками, даваемыми респондентами и используемыми в анализе данных

Различия между параметрами целевой группы и основы выборки

Различия между параметрами основы выборки и оценками спроектированной выборки

Различия между оценками спроектированной и реализованной выборки

Систематические ошибки опросного инструмента

Систематические ошибки выборки

08.11.2013 Шанинка 6

Базовая топика теории ошибок

ОШИБКИ ИЗМЕРЕНИЯ

Погрешности

Смещения

Эффекты

СИСТЕМАТИЧЕСКИЕОШИБКИ ВЫБОРКИ

Неответы

АНАЛИЗ ДАННЫХvs. Статистическое оценивание

ПАРАДАННЫЕМетаданные

Сопутствующие данные

МЕТОДОЛОГИЯ МОНИТОРИНГОВЫХ

ОБСЛЕДОВАНИЙ

??????

???

08.11.2013 Шанинка 7

Ошибки измеренияМетодическая работа по выявлению и корректировке ошибок измерения строится на долгосрочном горизонте. Исправление ошибок в рамках частных проектов зачастую бессмысленно, поскольку грозит срывом всей программы исследования.

08.11.2013 Шанинка 8

Прецедентный аргумент о наличии ошибки измерения

• Как вы думаете, Соединенные штаты должны позволить публичные выступления против демократия? (Do you think the United States should allow public speeches against democracy?)

• Как вы думаете, Соединенные штаты должны запретить публичные выступления против демократии? (Do you think the United States should forbid public speeches against democracy?)

НЕТ

ДА

>

на

20

%

отв

ети

вши

х

Rugg, H. That men may understand. New York: Doubleday, Doran and Co.,1941; цит. по: Schuman, H., Presser, S. Questions and answers in attitudes surveys: Experiments on question form, wording, and context. Revised ed. London: Sage, 1996. P. 3. [First ed. 1981]

08.11.2013 Шанинка 9

Приведите другие примеры методических затруднений, стимулировавших исследователей на научный поиск.

08.11.2013 Шанинка 10

Публикации о погрешностях измерения

Results found: 211

Sum of the Times Cited : 2508 Sum of Times Cited without self-citations : 2433

Citing Articles : 2363 Citing Articles without self-citations : 2318

Average Citations per Item : 11.89

h-index : 24

Title=(measurement error) AND Topic=(survey) Timespan=All years. Databases=SCI-EXPANDED, SSCI, A&HCI, CPCI-S, CPCI-SSH, BKCI-S, BKCI-SSH.Date of access: 19/10/2013 Web of Science

08.11.2013 Шанинка 11

Наиболее цитируемые публикации об ошибках измерения

1. Duncan, G.J., Hill, D.H. An investigation of the extent and consequences of measurement error in labor-economic survey data // Journal of Labor Economics. 1985. Vol. 3. No. 4. P. 508-532. [Time cited: 101; from Web of Science; Date of access: 19.10.2013]

2. Hansen, M.H., Hurwitz, W.N., Bershad, M.A. Measurement errors in censuses and surveys // Bulletin of the International Statistical Institute. 1961. Vol. 38. No. 2. P. 359-374. [Time cited: 77; from Web of Science; Date of access: 19.10.2013]

3. Schober, M.F., Conrad, F.G. Does conversational interviewing reduce survey measurement error? // Public Opinion Quarterly. 1997. Vol. 61. No. 4. P. 576-602. [Time cited: 75; from Web of Science; Date of access: 19.10.2013]

4. Green, D.P., Citrin, J. Measurement error and the structure of attitudes: A positive and negative judgments opposites // American Journal of Political Science. 1994. Vol. 38. No. 1. P. 256-281. [Time cited: 39; from Web of Science; Date of access: 19.10.2013]

5. Bollinger, C.R. Measurement error in the current population survey: A nonparametric look // Journal of Labor Economics. 1998. Vol. 16. No. 3. P. 576-594. [Time cited: 35; from Web of Science; Date of access: 19.10.2013]

6. Olson, K. Survey participation, nonresponse bias, measurement error bias, and total bias // Public Opinion Quarterly. 2006. Vol. 70. No. 5. P. 737-758. [Time cited: 34; from Web of Science; Date of access: 19.10.2013]

релевантные теме «методология социальных обследований»

08.11.2013 Шанинка 12

Ошибка (погрешность) измерения – концепт заимствованный из мира физических мер. По мере понимания коммуникативной природы социальных измерений, он замещается более частными теоретическими компонентами: ошибкой анкеты, интервьюера и ответа. Последняя выступает ядерным понятием для всего процесса выявления ошибок опросного инструмента.

08.11.2013 Шанинка 13

Типология ошибок измеренияMeasurement errors in surveys / Ed. By P.P. Biemer, R.M. Groves, L.E. Lyberg, N.A. Mathiowetz, S. Sudman. New York: John Wiley and Sons, 2004.

РЕСПОНДЕНТ

Забывчивость

Неинформированность(ответы о себе и о других)Неграмотность

НевнимательностьНезаинтересованность

Эффект интервьюера, анкеты или

респондента зачастую рассматривается

не как тип ошибок, а как своеобразная

методическая оптика. Поэтому оправданней вести разговор не о

типологии, а о единицах анализа.

???

08.11.2013 Шанинка 14

Структура интервью – это, по сути, ситуация общения, в которой один человек (интервьюер) играет роль задающего вопросы, другой (респондент) –отвечающего на них, в то время как третий (исследователь) ставит задачи. Цель исследователя – ответить на обобщенные практические или научные вопросы. Таким образом, интервью в определенном смысле похоже на ту или иную форму разговора и в то же время отличается от каждой из них.

Садмен, С., Брэдберн, Н., Шварц, Н. Как люди отвечают на вопросы: применение когнитивного анализа в массовых обследованиях / Пер. с англ. Д.М. Рогозина, М.В. Рассохиной; Под ред. Г.С. Батыгина. М.: Ин-т Фонда «Общественное мнение», 2003. С. 21-22.

08.11.2013 Шанинка 15

Ошибки анкеты

08.11.2013 Шанинка 16

Требования к анкете (нормативная позиция)

1. ОДНОЗНАЧНОСТЬ: Нельзя употреблять трудные и неясные формулировки.

2. НЕЙТРАЛЬНОСТЬ: Следует избегать эмоционально окрашенных слов. Употребление их предопределяет ответ, в некоторых случаях отличный от достоверного. Поэтому при формулировке вопросов необходимо обращать внимание на следующее: не несет ли вопрос в себе чрезмерную эмоциональную нагрузку? не оперирует ли он стереотипами? не включает ли он имен, пользующихся престижем? не использует ли похвальных отзывов, направляющих ответ в ту или иную сторону?

3. ОБЪЕКТИВНОСТЬ: В вопросе не должны проявляться мнения, ценности и установки исследователя.

Рабочая книга социолога / Под ред. Г. Осипова, Д. Гвишиани, М. Руткевича. М.: Наука, 1983.

08.11.2013 Шанинка 17

Процедуры проверки выполнения логических требований к анкете (нормативная позиция)

1. Спрашивает ли исследователь именно о том, что мне необходимо? Не произошло ли при конструировании вопроса замены показателей.

2. Достаточно ли однозначно определена в формулировке вопроса информация, которая ожидается от респондента, т. е. нет ли терминов или выражении, допускающих различное понимание их смысла различными группами респондентов.

3. Нет ли в формулировке вопроса задач, не обеспеченных техникой заполнения (шкалами, перечнем вариантов ответов, таблицами для регистрации ответов, указаниями о числе возможных вариантов ответов).

4. Нет ли в формулировках шкал смещений к положительному или отрицательному ответу.

5. Нет ли в формулировках альтернативных вопросов совмещения не исключающих друг друга оснований.

6. Нет ли внушающих формулировок вопросов.

Рабочая книга социолога / Под ред. Г. Осипова, Д. Гвишиани, М. Руткевича. М.: Наука, 1983.

08.11.2013 Шанинка 18

Нормативная позиция к опросному инструменту – центральный бастион позитивистского мировоззрения, в котором исследователь находясь в поиске объективных мер, оградил себя от любых внешних угроз посредством их полного игнорирования.

08.11.2013 Шанинка 19

Поиск ошибок анкеты – прямое продолжение метафоры измерения. Анкета –диагностический инструмент для снятия показаний, который следует калибровать и уточнять в конкретных условиях опроса.

«Считается, что совокупность объектов измерена, если каждому объекту поставлено в соответствие число и задана единица измерения».

Татарова, Г.Г. Методология анализа данных в социологии. 2-е изд., испав. М.: NOTA BENE, 1999. С. 46.

ИДЕЯ ШКАЛИРОВАНИЯ

08.11.2013 Шанинка 20

Четыре стадии поиска эталона измерения по В.А. Ядову

1. Качественная идентификация объектов.

2. Поиск протяженности выделенных в качественном анализе свойств.

3. Установление эмпирических индикаторов или внешних признаков тех свойств объекта, которые поддаются расположению в континуум.

4. Уяснение полноты индикатора, или ответ на вопрос, все ли единицы, составляющие измеряемый объект, укладываются в ранжируемый ряд, все ли обладают свойством занимать определенное место в континууме отношений по принятым индикаторам.

Ядов, В.А. Социологическое исследование: методология, программа, методы. 2-е изд., перераб. и дополн. М.: Наука, 1987. С. 73-75.

08.11.2013 Шанинка 21

Ошибки интервьюера

08.11.2013 Шанинка 22

Литература (ошибки интервьюера)

1. Вьюговская, Е., Ипатова, А., Рогозин, Д. Схемы выдвижения в стандартизированном интервью // Телескоп: Журнал социологических и маркетинговых исследований. 2012. № 4. C. 40-45.

2. Маслова, О.М. Мир интервьюера: по данным формализованного и свободного интервью // Социология: Социология: методология, методы, математическое моделирование. 2000. № 12. С. 40-64.

3. Мягков, А.Ю., Журавлева, И.В. Объяснительные модели эффекта интервьюера: опыт экспериментального тестирования // Социологические исследования. 2006. № 3.

4. Мягков, А.Ю., Журавлева, И.В. Эффект интервьюера: опыт количественной оценки в персональном интервью // Социология: методология, методы, математическое моделирование. 2005. № 21. С. 78-107.

5. Мягков, А.Ю., Журавлева, И.В. Эффект ожиданий интервьюера в персональном интервью // Социологический журнал. 2004. № 3/4. С. 6-26.

6. Рогозин, Д.М., Ипатова, А.А. Как быстро, эффективно и безопасно сфабриковать телефонный опрос // Социологический журнал. 2012. № 2. С. 80-97.

08.11.2013 Шанинка 23

Публикации об эффекте интервьюераTitle=(interviewer effect) Timespan=All years. Databases=SCI-EXPANDED, SSCI, A&HCI, CPCI-S, CPCI-SSH, BKCI-S, BKCI-SSH.Date of access: 28/10/2013 Web of Science

Results found: 209

Sum of the Times Cited : 3067 Sum of Times Cited without self-citations : 2715

Citing Articles : 2191 Citing Articles without self-citations : 2105 Average Citations per Item : 14.67 h-index : 31

08.11.2013 Шанинка 24

Литература (ошибки интервьюера)

1. Blankenship, A.B. The effect of the interviewer upon the response in a public opinion poll // Journal of consulting psychology. 1940. Vol. 4. No. 4. P. 134-136. [Первая работа по эффекту интервьюера]

2. Davis, R.E., Couper, M.P., Janz, N.K., et al. Interviewer effects in public health surveys // Health Education Research. 2010. Vol. 25. No. 1. P. 14-26.

3. Groves, R.M., Magilavy, L.J. Measuring and explaining interviewer effects in centralized telephone surveys // Public Opinion Quarterly. 1986. Vol. 50. No. 2. P. 251-266.

4. Memon, A., Holley, A., Milne, R., et al. Towards understanding the effects of interviewer training in evaluating the cognitive interview // Applied Cognitive Psychology. 1994. Vol. 8. No. 7. P. 641-659.

5. Liu, M., Stainback, K. Interviewer gender effects on survey responses to mattiage-related questions // Public Opinion Quarterly. 2013. Vol. 77. No. 2. P. 606-618.

6. Singer, E., Frankel, M.R., Glassman, M.B. The effect of interviewer characteristics and expectations on response // Public Opinion Quarterly. 1983. Vol. 47. No. 1. P. 68-83.

7. Stember, H., Hyman, H. Interviewer effects in the classification of responses // Public Opinion Quarterly. 1949. Vol. 13. No. 4. P. 669-682.

8. Tucker, C. Interviewer effects in telephone surveys // Public Opinion Quarterly. 1983. Vol. 47. No. 1. P. 84-95.

08.11.2013 Шанинка 25

Ошибки ответов(респондента?)

08.11.2013 Шанинка 26

Литература (ошибки ответов)

1. Рогозин Д.М. Когнитивный анализ опросного инструмента // Социологический журнал. 2000. №3/4. С. 18-68.[msses lib 300.723 РОГ]

2. Садмен, С., Брэдберн, Н., Шварц, Н. Как люди отвечают на вопросы: применение когнитивного анализа в массовых обследованиях / Пер. с англ. Д.М. Рогозина, М.В. Рассохиной; Под ред. Г.С. Батыгина. М.: Ин-т Фонда «Общественное мнение», 2003. С. 90-110; С. 139-170. [Глава 4: Психологические причины контекстуальных эффектов; Глава 6: Эффекты пордка: предъявление вариантов ответа. Msses lib 300.723 САД]

3. Answering questions: Methodology for determining cognitive and communicative processes in survey research / Ed. By N. Schwarz, S. Sudman. San Francisco: Jossey-Bass Publishers, 1996. [msses lib 300.723 ANS]

4. Lepkowski, J.M., Sadovsky, S.A., Weiss, P.S. Mode, behavior, and data recording error // Computer assisted survey information collection / Ed. By M.P. Couper, R.P. Baker, J. Bethlehem, C.Z. Clark, J. Martin, W.L. Nicholls II, J.M. O’Reilly. Hoboken, NJ: John Wiley & Sons, 1998. P. 367-388. [msses lib. 001.433 COU]

5. Methods for testing and evaluating survey questionnaires / Ed. By S. Presser, J.M. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J. Martin, E. Singer. Hoboken, NJ: Wiley, 2004. [msses lib 300.723 MET]

6. Sudman, S., Bradburn, N.M., Schwarz, N. Thinking about answers: The application of cognitive processes to survey methodology. San Francisco: Jossey-Bass Publishers, 1996. [msses lib 300.723 SUD]

7. Tourangeau, R., Rips, L.J., Rasinski, K. The psychology of survey response. Cambridge: Cambridge University Press, 2000. [msses lib 300.723 TOU]

8. Willis, G.B. Cognitive interviewing: A tool for improving questionnaire design. London: Sage, 2005. [msses lib 300.723 WIL]

08.11.2013 Шанинка 27

Пионеры когнитивного подхода в массовых опросахCognitive aspects of survey methodology movement (CASM)

Университет штата Иллинойс[Lansing, Ginsburg, Braaten, 1961]

Мичиганский университет[Cannell et al, 1977; Cannell, Miller, Oksenberg, 1981]

Бюро переписинаселения США[Martin, 1983]

Англия[Oppenheim, 1966]

08.11.2013 Шанинка 28

https://www.ideals.illinois.edu/Электронный депозитарий для результатов всех типов и форм исследований (опубликованных и неопубликованных отчетов и статей, баз данных, видео и аудио файлов) проводимых Университетом штата Иллинойс.

08.11.2013 Шанинка 29

http://scholar.google.ru/

08.11.2013 Шанинка 30

Первые независимые публикации о когнитивном анализе опросного инструмента

(1961) Lansing, J.B., Ginsburg, G.P., Braaten, K. An investigation of response error / Bureau of Economic and Business Research. Urbana: University of Illinois, 1961.

(1966) Oppenheim, A.N. Questionnaire design and attitude measurement. New York: Basic Books, 1966.

(1977) Cannell, C.F., Marquis, K.H., Laurent, A. A summary of studies of interviewing methodology // Vital and Health Statistics. Series 2. No. 69. (DHEW Publication No. HRA 77-1343). Washington, DC: U.S. Government Printing Office, 1977.

(1981) Cannell, C.F., Miller, P.V., Oksenberg, L. Research on interviewing techniques // Sociological methodology / Ed. by S. Leinhardt. San Francisco: Jossey-Bass, 1981. P. 389-437.

(1983) Martin, E. Survey as social indicators: Problems in monitoring trends // Handbook of survey research / Ed. P.H. Rossi, J.D. Wright, A.B. Anderson. New York: Academic Press, 1983. P. 677-743.

Willis, G.B. Cognitive interviewing: A tool for improving questionnaire design. London: Sage, 2005. P. 35.

Cognitive aspects of survey methodology movement (CASM)

08.11.2013 Шанинка 31

Норман БрэдбернСеймур Садмен

Когнитивный подход к социальным обследованиям

Норберт Шварц Роджер Туранжо

Cognitive aspects of survey methodology movement (CASM)

08.11.2013 Шанинка 32

Ошибки в обследованиях возникают в результате проблем, лежащих в основе когнитивных процессов, в ходе которых респондент приходит к ответу на анкетные вопросы.

Tourangeau, R. Cognitive aspects of survey measurement and mismeasurement // International Journal of Public Opinion Research. 2003. Vol. 15. No. 1. P. 5.

КАКИЕ ПОСЛЕДСТВИЯ СМЕЩЕНИЙ?

Статистическое оценивание

КАКОВЫ ПРИЧИНЫ СМЕЩЕНИЙ?

Когнитивный анализ

08.11.2013 Шанинка 33

Известно, что процесс коммуникации заключается не только и не столько в передаче сообщения, сколько в его преобразовании. То, о чём исследователь намеревается узнать у обследуемого, не всегда совпадает с тем, что он спрашивает и, тем более, что он знает. С другой стороны, респондент не всегда понимает вопрос именно так, как рассчитывает исследователь, и фактически отвечает на иной вопрос, хотя и очень похожий на первый.

Батыгин, Г.С. Лекции по методологии социологических исследований: Учебник для студентов гуманитарных вузов и аспирантов. 2-е изд. М.: РУДН, 2008. С. 72.

08.11.2013 Шанинка 34

Процессуальная модель ответаTourangeau, R. Cognitive science and survey methods: A cognitive perspective // Cognitive aspects of survey design: Building a bridge between disciplines / Ed. By T. Jabine, M. Straf, J. Tanur, R. Tourangeau. Washington, DC: National Academy Press, 1984. P. 73-100.

ПОНИМАНИЕ ПОИСК СУЖДЕНИЕ ФОРМУЛИРОВАНИЕ

Смысл вопросаЧто респондент думает о причинах возникновения вопроса? Зачем спрашивают?

Значения словЧто значат для респондента конкретные слова в формулировке вопроса?

ПамятьКакую информацию должен респондент вспомнить, чтобы ответить на вопрос?

МотивацияКаковы стимулы у респондента, чтобы давать аккуратные и точные ответы?

Картрирование ответаСоотносит ли респондент свой ответ с предлагаемой формулировкой и закрытиями вопроса.

Стратегии воспоминанияКак респондент ищет в памяти информацию? Например, подсчитывает или оценивает прошлые события?

Сенситивность и социальное одобрениеХочет ли респондент говорить правду? Хочет ли респондент понравиться?

08.11.2013 Шанинка 35

Когнитивная экспертиза вопросникаСадмен, С., Брэдберн, Н., Шварц, Н. Как люди отвечают на вопросы: применение когнитивного анализа в массовых обследованиях / Пер. с англ. Д.М. Рогозина, М.В. Рассохиной; Под ред. Г.С. Батыгина. М.: Ин-т Фонда «Общественное мнение», 2003. С. 40-41.

Понимание Поиск Суждение Формулирование

ИнструкцииПротиворечивые и неаккуратные инструкции;Неявные инструкции;Сложный синтаксис;Неясные примеры;Неясная разметка.

ВремяНе установлены временные границы;Ошибочно определен период;Не определен период;Встроенный период;Выход за референтныйпериод.

ВопросыСкрытые вопросы;Несколько вопросов;Несколько понятий;Неясная цель;Несовпадение закрытий;Нарушение аргумента.

ПамятьИзбыток подробной информации;Недостаток информации;Смещение референтного периода.

ОценкаНеточность оценки;Сенситивностьповедения;Сенситивностьустановки;Социально одобряемое поведение и установка.

ОтветыНеявные понятия;Профессиональный жаргон;Неопределенные понятия;Неясность ответа;Проблема ограничения ответа;Смешение понятий;Недоминантныйпорядок изложения.

СОЗНАНИЕРЕСПОНДЕНТА

08.11.2013 Шанинка 36

Методы когнитивного анализа

Фиксация задержки ответа

Вербальные протоколы (мысли вслух, проговаривание), текущие и ретроспективные

Поведенческое кодирование

Кодирование интеракций между интервьюером и респондентом

Сортировка

Когнитивное интервью

Экспертные оценки

Экспертное кодирование вербального протокола

Семантическое кодирование вербального протокола

Метод временнЫххарактеристик

Прожективные методики

08.11.2013 Шанинка 37

Различия в потенциальных ошибках измерения между опросом по мобильным и стационарным телефонам

Lynn, P., Kaminska, O. The impact of mobile phones on survey measurement error // Public Opinion Quarterly. 2013. Vol. 77. No.2. P. 589.

Восприятие и понимание

Поиск в памяти ОценкаАртикуляция

ответаКогнитивные

процессы ответа

Необходимые условия для оптимального завершения

каждой задачи

Различия между мобильной и стационарной связью

Общие факторы (атрибуты респондентов)

Хорошая слышимость

Достаточное внимание

Достаточные усилия

Готовность дать ответ

Качество связи

Отвлечение внимания

Много-задачность

Присутствие других

Здоровый слух

МотивацияКогнитивные способности

Поведение / установки

08.11.2013 Шанинка 38

Транзитивная схема опросаРогозин, Д.М. Когнитивный анализ опросного инструмента. М.: Ин-т Фонда «Общественное мнение», 2002. С. 32.

Программный вопрос

Анкетный вопрос

Прозвучавший вопрос

Услышанный вопрос

Ответ на вопрос

Операциональный переходТрансформация исследовательских концептов в систему референтов. Адекватность целей исследования сконструированным переменным.

Интерпретативный переходСемантическая компетентность интервьюера, влияние респондента и методического аппарата исследования.

Коммуникативный переходПроцесс коммуникации, определяемый когнитивными картами интервьюера и респондента; распознавание и смещение значений.

Когнитивный переходКогнитивные процессы у респондента: понимание, поиск информации, суждение, формулирование ответа.

08.11.2013 Шанинка 39

Транзитивная схема ответаРогозин, Д.М. Когнитивный анализ опросного инструмента. М.: Ин-т Фонда «Общественное мнение», 2002. С. 115.

Ответ на вопрос

Услышанный ответ

Записанный ответ

Табличный ответ

Программный ответ

Перцептивный переходВосприятие ответа респондента. Распознавание смысловых полей ответа, оценка адекватности ответа поставленному вопросу.

Конспективный переходТрансформация речи в текст, структурно обусловленный семантикой вопроса. Полевое кодирование ответа.

Классификационный переходСистематизация ответов, построение структуры совокупного ответа. Разработка системы кодов и кодирование.

Аналитический переходАнализ данных. Описание социальной реальности сквозь призму системы построенных переменных.

08.11.2013 Шанинка 40

Критика экспансии «когнитивности»

«Процессуальная»

трактовка ответа респондента

выражает исследовательскую интуицию,

прямо противоположную интуиции

подавляющего большинства

социологических опросов; в них ответ

респондента — это не процесс, а

дискретный результат, единичный и

завершенный акт, некоторое конечное

значение, реифицированное и

занесенное в базу. Социологу, руководящему

исследованием, крайне

затруднительно представить ответы

респондентов "как процессы" и гораздо

легче — как точки на координатной

плоскости. Тот факт, что за

каждой "точкой" стоит взаимодействие

в определенной коммуникативной

ситуации, обычно игнорируется (c. 119).

Можно сколь угодно долго гадать

о причинах некогнитивности

"Когнитивного анализа". (Например,

заподозрить автора в откровенной

провокации или приписать ему некритичное

отношение к работам зарубежных

исследователей, использующих

словосочетание "когнитивный

анализ".) Но, так или иначе, книга

Рогозина наглядно демонстрирует

недостаточность описания языковой

игры "социологический опрос" в терминах

когнитивистики. Что бы ни

происходило между респондентом и

интервьюером в процессе интервью,

это происходит между ними, а не

только в головах каждого из них (c. 128).

Вахштайн, В.С. Рецензия на книгу Д.М. Рогозина «Когнитивный анализ опросного инструмента» // Мониторинг общественного мнения: экономические и социальные перемены. 2005. № 4. С. 118-131.

08.11.2013 Шанинка 41

Опросный инструмент = интервьюер + анкета + респондент

СемьяТекущие заботы

АвторитетыСМИ

Соседи Литература

Диалог между интервьюером и респондентом – это всегда сокрытая форма мультилога, в который вовлечены десятки, а то и сотни персонажей.

Программа исследованияДругие анкеты Ожидания

ГипотезыПредставления об языковой норме

РаспределенияПроблемы

ИсследовательСупервайзерАвторитеты

Литература СМИМотивация

08.11.2013 Шанинка 42

Возможные варианты первого эссе1. Можно многое понять в методологии изучая профессиональные биографии исследователей,

присматриваясь к их карьерной траектории, волновавшим вопросам и проблемам; разбирая методические находки и вклад в методологию, воспризнанный научным сообществом. Важным становится связь исследовательских задач и решений с биографией и социальным контекстом, в котором работал ученый. Темы могут быть самые разнообразные, от тривиальной «ПРОФЕССИОНАЛЬНАЯ БИОГРАФИЯ СТЕНЛИ ПРЕССЕРА», до изысканной «КЛЮЧЕВЫЕ НАХОДКИ РОБЕРТА ГРОУВЗА НА ПРОФЕССИОНАЛЬНОМ ПУТИ ОТ ТЮРЕМНОГО НАДЗИРАТЕЛЯ ДО ДИРЕКТОРА БЮРО ПЕРЕПИСИ НАСЕЛЕНИЯ США».

2. Возможна тематическая актуализация на важнейших направлениях развития методологии, например: «КОНЦЕПТУАЛИЗАЦИЯ ЭФФЕКТА ИНТЕРВЬЮЕРА В 1940-1960-х гг.», «ЭПИСТЕМОЛОГИЧЕСКИЕ ОСНОВАНИЯ КОГНИТИВНОГО ИНТЕРВЬЮ» или «ОСОБЕННОСТИ ВОСПРИЯТИЯ ВОПРОСОВ, ТРЕБУЮЩИХ ПОДСЧЁТ ИЛИ ОЦЕНКУ ВОСПОМИНАНИЙ».

3. Наиболее продуктивный вариант с точки зрения дальнейшего применения собранного материала –это анализ крупных мониторинговых проектов, реализуемых по той или иной тематике, с точки зрения теории ошибок, например: «МЕЖДУНАРОДНЫЕ МОНИТОРИНГИ НЕПРЕРЫВНОГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ: ПЕРЕЧЕНЬ МЕТОДИЧЕСКИХ ЗАТРУДНЕНИЙ И РЕШЕНИЙ ПО КОНСТРУИРОВАНИЮ ОПРОСНОГО ИНСТРУМЕНТА», или «ПРОГНОСТИЧЕСКАЯ ЦЕННОСТЬ МОНИТОРИНГОВ МОБИЛЬНОСТИ, ПОТРЕБНОСТЕЙ И РЕАЛИЗАЦИИ ПЕРЕМЕЩЕНИЙ У НАСЕЛЕНИЯ ЗАПАДНОЙ ЕВРОПЫ, США, КАНАДЫ И АВСТРАЛИИ». Главное – адекватно оценить круг собственных интересов и не взяться за область, к которой больше никогда не придется заниматься.

08.11.2013 Шанинка 43

Мануфактура «СОЦПОХ»https://www.facebook.com/groups/socpokh/

Adele OvakimyanКоллеги, Левада-Центр ищет секретаря. Будем рады, если найдется кто-нибудь с интересом к социологии, а также желанием со временем влиться в исследовательскую работу!

Иван КлимовДелаю работу - сравниваю и анализирую вопросники. Одновременно слушаю записи телефонных интервью, коллекционирую перифразы, разговоры, убеждения и отступления от сценария задавания вопросов, предусмотренных анкетой. Один из интервьюеров после каждого ответа респондента выразительно так говорит: "хорошо-о-о". Вот это вот что такое? Это коммуникативная поддержка опроса? Это нарушение процедуры? Как к этому относиться?

Владимир ЗвоновскийНезадолго до своей кончины Leonid Kesselmanпросил создать электронную версию его книжки "Уличный опрос в социологическом исследовании". Выполняю эту просьбу только сейчас. Здесь полнотекстовый вариант вместе с предисловием Boris Doktorov. Эту книжку мы издали в Самаре в 2001 году и давно пытались сделать вторую редакцию с учетом новых практик. Теперь вместе с Мария Мацкевич активизируем эти усилия.

Ivan NizgoraevЧИСТОТА - ЗАЛОГ КРИВДЫДавным давно, кажется уже лет двадцать назад, где-то мне попалось высказывание Джона Кросника о пропущенных данных и неответах. Он убеждал коллег, что массив с минимальным количеством пропусков и противоречий в ответах указывает не на качество проведенной работы, а на фабрикации и подтасовки, или скрытое от аналитиков редактирование данных. Поскольку в большом мониторинге невозможно поставить вопросы, релевантные для всех без исключения респондентов, поскольку респонденты - не роботы и не обязаны отвечать логично, поскольку коммуникация - это череда сбоев и речевых недоразумений, а соответственно, методология - это теория этих сбоев, все попытки горе-исследователей понравиться заказчику и предоставить "идеальные данные" - это не более чем тотальная кривда социального знания.Сейчас у меня два больших массива от двух крупнейших опросных российских компаний: один переполнен противоречиями в ответах и отказами, доходящими до 15-20% в наиболее сенситивных вопросах; второй - чистый до безобразия с, практически, отсутствием отказов, с идеально выверенными переходами и т.д. Невольно вспоминаю советы Кросника, стараться обходить подобные данные стороной, поскольку в них заложены чудовищные смещения, о которых мы даже не подозреваем. Коллеги, приходилось ли вам сталкиваться с дилеммой "чистого" массива? Если да, то как вы поступали в этом случае? Видите ли вы в этом проблему или подобная ситуация может указывать лишь на виртуозность, полевое искусство и неизбывную практику хорошо зарекомендовавших себя полстеров?

Nadezhda Korytnikova18 октября 2013 года в 10:00 в ауд. 353 (Северный корпус) в рамках ІІ Конгресса Социологической ассоциации Украины будет проходить круглый стол «Социологические индексы: разработка, апробация и применение». Это мероприятие сугубо по социологии. Подробнее по ссылке: http://www.sociology.kharkov.ua/kmetod/index.php/89-anons-kruglogo-stola

Nikita PokrovskyВЕСЬМА КОНЦЕПТУАЛЬНОЕ ВЫСТУПЛЕНИЕ ОБ ЭКОПОСЕЛЕНИЯХЯсно одно: это важнейшая тема со многими подвопросами. Главный из них состоит в следующем: уезжая из города, экопоселенцы меняют свое занятие (начинают, например, заниматься сельским хозяйством) или нет (продолжают работать по прежним специальностям, скажем, в онлайне)? Это принципиально. В первом варианте - это чистой воды неоархаика, движение вспять (хотя и объяснимое, хотя и допустимое). Во втором случае - это серьезная альтернатива. И о ней можно говорить.

Volodymyr PaniottoКоллеги, меня интересует, какие категории населения голосуют за Путина -прежде всего, по возрасту, образованию и уровню обеспеченности. Не можете ли поделиться ссылкой на сайт или публикацию?

Victor KorbА результаты "электорального провала" не будем обсуждать? SuperJobуже сообщил о том, что победил в необъявленном конкурсе прогнозов, дав результат, много лучший, в сравнении с ФОМ, ВЦИОМ и прочими Левадами... А о "социологах Навального" и говорить нечего. Или все-таки есть что?

Maria TurovetsПодскажите, имеет ли основания мнение, что стратегию grounded theoryможно применять только если исследованием занимается коллектив более 10 человек?

Evgeni VarshaverДелаем сейчас анкету для киргизов в Москве. Столкнулись в очередной раз со следующей дилеммой. Хотим замерить в данном случае уровень транснационализма и посмотреть, с чем он связан. Транснационализм -- это когда как бы живут на две страны. На уровне перемещений, коммуникаций и символов. Есть несколько вопросов, которые его замеряют. Про телефонные и интернет- разговоры с Кыргызстаном, про посылки оттуда, про перевод денег и проч. Дилемма такая: можно спрашивать про регулярность, можно спрашивать про количество раз за некоторый последний период, можно спрашивать про последний раз и исходя из этого смотреть, в общем, транснационализмпо выборке. Все имеет плюсы-минусы. Как лучше, вы считаете? В качестве примера, два вопроса в режиме "регулярности"Как часто Вы получаете посылки из дома? - Никогда не получал(а); Получал(а) один-два раза за все время; Получаю регулярно.Как часто Вы разговариваете по телефону с людьми, которые находятся в Кыргызстане? - каждый день; 1-2 раза в неделю;1 раз в месяц и реже; вообще не разговариваю

08.11.2013 Шанинка 44