Уличные опросы и актуальная исследовательская практика: иллюзия слабых мест из-за неумения пользоваться?

Уличные опросы и актуальная исследовательская практика: иллюзия слабых мест из-за неумения пользоваться?

Традиционно на территории Украины и других постсоветских стран основным методом сбора социологической информации всегда считался поквартирный опрос (опрос домохозяйств). С распадом СССР и началом демократических преобразований мобилизационный подъем у граждан страны был настолько высок, что доля отказов от интервью редко превышала 10-12%. Еще в конце 90-х, согласно исследованиям, большинство людей наиболее удобным участием в опросах для себя считало вариант с опросом на дому [1].

Проблемная ситуация

Но с течением времени социологи все чаще стали сигнализировать о росте процента отказов от участия в поквартирных опросах. Многие наши соотечественники перестали доверять незваным гостям, поэтому редко соглашаются пустить социологов к себе домой. Растущая закрытость респондентов постепенно привела к удорожанию квартирных опросов. Неготовность заказчиков оплачивать круглые суммы за проведение таких опросов заставило поставщиков развивать альтернативные инструменты сбора данных.

Но, как показала практика, окончательную и что называется «всенародно признанную» альтернативу поквартирнику отыскать смогли не сразу. Так, низкие темпы мобильной телефонизации не сразу позволили решать задачи исследований общенационального масштаба посредством телефонного опроса. А нынешний пусть и постоянно растущий уровень проникновения широкополосного доступа в Интернет по-прежнему позволяет надеяться на относительную репрезентативность опросов через сеть лишь на уровне крупнейших городов. О почтовых же опросах и вовсе умолчим – с их помощью всегда сложнее всего было решать масштабные задачи. Проблема низкой конверсии (слабого возврата заполненных анкет) делала сомнительной перспективу этого метода там, где в сжатые сроки нужно опросить массивную выборку.

Как опрашивать «закрытую общественность»

Вот и получалось, что все это время отечественные социологи могли рассчитывать лишь на один адекватный по возможностям «запасной вариант» – уличный опрос. На Западе его никогда не рассматривали всерьез в том случае, если исследователей интересовала репрезентативность. Самая веская причина – он не обеспечивал равновероятностное попадание в выборку всех потенциальных единиц отбора. Нагляднее всего это проявляло себя в слабом представительстве целого социального пласта – автолюбителей.

Но это не было так критично для наших постсоветских реалий, когда еще в 2004-м году, по данным Госкомстата, на 100 домохозяйств в Украине (при средней численности их членов в 2,6) приходилось не более 16 автомобилей [2]. Нетрудно высчитать, что доля автовладельцев среди взрослого населения Украины на тот момент едва достигала 9%. Специальные исследования по этому вопросу показали, что еще в 2006 году фактор автомобилизации не способен был привести к системным сдвигам в структуре выборки в случае уличного опроса. Так, на фоне упомянутых 9% автовладельцев гораздо меньшим был удельный вес высокочастотных автолюбителей, которые действительно имели мало шансов попасть в выборку из-за постоянных перемещений на колесах. Однако, как отмечают авторы упомянутых исследований, в силу того, что представители этой динамичной аудитории меньше времени проводят и дома, их шанс быть опрошенными на улице не намного меньше случая с квартирным опросом [2].

В силу простоты и точности формулировок уличный опрос (он же стрит-опрос) всегда казался оптимальным решением в ситуации, когда от респондента требовалось мнение по ограниченному списку вопросов. Полноценное личное общение при этом позволяло не отказываться от сопроводительной визуализации (применение карточек и образцов продукции). Последнее сложно себе позволить, например, при телефонном опросе.

В условиях проблемной достижимости аудитории именно уличный опрос остается единственной оптимальной формой для тет-а-тет исследования. Так, уличный опрос, проведенный UkrSocStandart весной 2016 года в Харькове по репрезентативной выборке, обнаружил наличие примерно двух третей опрошенных, которые отказались бы принять участие в квартирном интервью независимо от темы. При этом именно личное общение продолжает оставаться наиболее востребованным людьми при условии надлежащего обеспечения анонимности. Последнее, как показывают самые свежие кейсы, немаловажно. Особенно в тех социумах, где происходит свертывание демократических преобразований, а политическая система дрейфует в направлении автократии. Самый яркий пример – выборы мэра Москвы осенью 2013 г. Три известнейших социологических центра, использовавшие квартирные и телефонные опросы, дали завышенный результат кандидату от власти. И только параллельные стрит-опросы кандидата от оппозиции показали цифры, максимально близкие к итоговым данным избиркома. Как оказалось, опытнейшие специалисты недооценили изменения в сознании аудитории, связанные с актуализацией потребности респондента в гарантиях безопасности. Собираемые по телефону (или поквартирно) интервью не давали должной гарантии анонимности неуверенным сторонникам кандидата от оппозиции относительно последствий их участия в интервью. В возможности же избежать этого, применив уличный опрос, ведущие практики РФ относились с неприкрытым скепсисом, именуя срезы данных оппозиционного кандидата «соломенными опросами». В результате в опросах маститых коллег в полной мере проявилась пресловутая «спираль молчания» (когда носители непопулярной точки зрения или уклоняются от опроса, или демонстрируют неискренность в ответах). Вызванных этим перекосов в результатах удалось избежать менее опытным исследователям, которые опрашивали людей вдали от их места жительства [3, 4].

И, конечно же, существуют случаи, когда уличный опрос вообще не имеет себе альтернативы. Например, когда к представителям исследуемой целевой аудитории трудно добраться по телефону, и в то же время известны места их концентрации. Например, точки продажи какого-либо товара, развлекательные и культурные заведения и т.п. Телефонный опрос в таком случае будет намного дороже и займет больше времени. Кроме того, процент целевой аудитории среди общего числа респондентов будет небольшим, ведь номера телефонов выбираются случайно. Намного легче обнаружить нужных людей в местах продажи искомого товара, поэтому уличные интервью на выходе из таких магазинов проводить целесообразнее.

Для применения уличного метода также характерна высокая скорость проведения опроса. Во многом из-за того что он дает возможность лучше контролировать наполнение различных половозрастных групп, которых не достает для обеспечения репрезентативности (при квотных выборках).

Назло застарелым мифам

Но цель данной статьи состояла не столько в повторении и без того очевидных достоинств «уличника», таких как высокая скорость и низкая стоимость. Нашей целью было скорее подвергнуть сомнению его недостатки, расписывать которые по инерции продолжают многие коллеги и эксперты. Делать это особенно в предвыборные периоды у многих считается настоящим правилом хорошего тона.

Поэтому было решено сгруппировать основные претензии к уличному опросу и разобраться в том, насколько они справедливы. Все возможные претензии мы собрали в две группы – объективные и неоднозначные. К числу первых мы отнесли погодный фактор и невозможность использовать большую анкету. Вторые в общем виде можно обозначить как нерепрезентативность на фоне других методов сбора данных. Она в этом случае якобы обуславливается – сложностью в определении статистической ошибки (погрешности), влиянием систематической ошибки (ошибки отбора респондентов), большим (и бóльшим) числом отказов.

  1. Погодный фактор

Действительно, уличные опросы проблематичны в условиях, когда ударили морозы или начался дождливый сезон. В этот момент аудитория стремится поменьше времени провести на улице. А те немногие, кого удается перехватить интервьюеру, не особо жаждут принять участие даже в самом кратком опросе. Погодный барьер справедливо признается объективным. Лучшее, что можно сделать в этом случае – это скорректировать график полевых этапов. Так, чтобы респондентам в процессе опроса не приходилось терпеть анкетирование из-за дождя или порывов ветра.

  1. Невозможность использовать большую анкету

Ошибочно полагать, что по анкете в 50-100 вопросов невозможно опрашивать респондента на улице. Известны случаи, когда агентства отрабатывали на улице опросники и с большим числом вопросов. Ведь уже мало для кого секрет, что, втянувшись в опрос, респондент с большой долей вероятности пройдет его до конца. И, тем не менее, если для работ отобрана точка опроса с высокой интенсивностью перемещения людей (например, выходы из метро), рекрутировать на заполнение особо объемной анкеты респондентов будет затруднительно даже самому умелому интервьюеру. Спешащий человек непременно еще перед дачей своего согласия на интервью осведомится о его длительности. Стандартное обращение «уделите, пожалуйста, несколько минут Вашего внимания», держа в руках целую брошюру с вопросами, применить при этом будет сложно. Как в общем-то и сложно будет применить любое правильное обращение, не получая высокий процент отказов в месте с высокой интенсивностью пешего потока. Впрочем, об этом позже. А пока что, следуя практике UkrSocStandart, отметим, что количество вопросов до 30 является вполне допустимым для стрит-анкетирования. Если при этом правильно подобраны локации, а тема опроса не вызывает каких-либо негативных эмоций у респондента.

  1. Сложность в определении статистической ошибки

Как уже было отмечено, в ситуации уличного опроса респонденты имеют не равнозначные шансы попасть в выборку. И это повышает ошибку выборки. С этим сложно спорить. Более того, есть научно обоснованные основания полагать, что для уличных, как для неслучайных, выборок не существует доказанных теорем и готовых формул для расчета погрешности. Поэтому исследователь может полагаться только на свой опыт и интуицию [5]. Стандартная выборка уличного опроса – квотная, но строгое выполнение квот не гарантирует несмещенность выборки по другим, не квотируемым параметрам (например, образование или доход). Как же быть в таком случае? И не развенчивает ли это в пух и прах перспективы квотных выборок, собираемых на улице? И как тогда понимать регулярные пресс-релизы по результатам уличных опросов от известных исследовательских фирм, где вполне себе указывается погрешность на уровне стандартных 2,2%?

Очень просто. Большинство грамотных исследователей постараются максимально привнести случайность в уличный отбор респондентов. При исследовании больших генеральных совокупностей никуда не деться от принципа многоступенчатости. Таким образом, на первой ступени, при помощи компьютера определяются населенные пункты, на второй – улицы (или точки опроса, если их проектное количество ограничено) и лишь на третьей стадии будет задействован неслучайный по своей сути квотный отбор. Информация же о погрешности подается как «теоретический размер ошибки выборки», к которому социологи всеми силами стремились. К слову, аналогичный подход с применением комбинированных случайно-неслучайных выборок чаще всего применяется и при квартирных опросах. Ведь зачастую доступа к списку всей генеральной совокупности, необходимого для применения случайного компьютеризованного отбора, у исследователя попросту нет. Когда необходимо изучить, к примеру, потребителей магазина у дома сети N, от квотирования на последней стадии (отбор респондентов) никуда не деться. Однако снизить предполагаемую погрешность мы можем, проведя случайный отбор жилых домов на прилегающей к магазину территории и собственно квартир в них (домохозяйств).

Тем временем производимые наукой эксперименты подтвердили, что при грамотно производимых действиях значимость различий в результатах уличного и квартирного опроса оказывается минимальной. Разность долей частот в распределениях чаще всего укладываются в пределы статистической погрешности [2]. Поэтому да – досконально определить ошибку уличной выборки сложно, но соблюсти заявленную теоретическую ошибку при уличном опросе – мероприятие вполне достижимое.

  1. Фактор систематической ошибки

Интервьюер – живой человек, а не биоробот. Как и все живые люди, он подвержен соблазну минимизировать свои издержки в работе. Проводя опрос, он может склоняться к тому, чтобы опрашивать тех, кого ему по тем или иным соображениям опросить легче (например, лиц противоположного пола, улыбающихся в противовес угрюмым и т.п.). Или же в нарушение предписанного маршрута сбор анкет произведен на входе в институт или у проходной завода, что ведет к доминированию в выборке студентов и рабочих. Если по отобранным в маршрутном задании людям можно отследить какой-то принцип (систему), скорей всего на результатах отразится так называемая систематическая ошибка выборки. Если же интервьюер помимо ошибок в отборе неединожды наводил опрашиваемого на ответы в ситуациях затруднения, то налицо еще и систематическая ошибка интервьюера.

Разумеется, в зоне риска влияния систематической ошибки работа неопытного интервьюера, того, кто вышел в поле в первый или второй раз в жизни. Но свести к минимуму указанные риски вполне по силам грамотному исследователю. В ходе инструктажа он строго-настрого обяжет интервьюеров придерживаться нужного маршрута, а при отборе – избегать личных оценок и симпатий. Свести их к минимуму может, к примеру, пошаговая директива (рекомендовать опрашивать каждого n-ного прохожего в зависимости от соответствия квотам). Некоторые компании напротив, практикуют сплошной рекрутинг (опрашивается наоборот каждый первый проходящий в точке опроса) или эффект противоположности. Т.е. если к точке опроса приближаются два человека, один из которых явно менее симпатичен одеждой, внешностью, выражением лица, то интервьюеру рекомендуют опросить именно его [6]. Данная мера позволит снизить перекос в пользу наиболее контактных респондентов, что могло бы исказить итоговые данные исследования. Также интервьюерам запрещено опрашивать несколько человек в составе группы (семьи или компании друзей). Из них должен опрашиваться строго один. А правильное завязывание диалога с респондентом на улице – целый свод правил, усвоение которого святая святых в работе начинающего интервьюера. Главную возможность уличного опроса при отборе респондентов, со слов опытных «полевиков», дает зрительный контакт. Умение его правильно использовать позволяет рекрутировать участников опроса на улице успешнее, чем, например, по телефону.

  1. Влияние отказов

Безусловно, отказы влияют на качество получаемой в итоге информации. Чем выше процент отказов от участия в опросе, тем ниже репрезентативность выборки. Соответственно — тем сомнительнее и достоверность полученных данных. Однако большое заблуждение полагать, что проблема отказов является бичом одних лишь уличных опросов. Собственно популярность метода уличный опрос в последнее время во многом и обуславливается ростом числа отказов от участия в опросах другими методами сбора данных. И если в сельской местности опрос по месту жительства по-прежнему не имеет себе альтернативы, то в городских условиях коэффициент достижимости поквартирных опросов давно упал ниже критической отметки в 50%.

Впрочем, это не останавливает скептиков уличного опроса, которые в большинстве своем за глаза твердят о том, что уровень отказов от участия в опросе на улице всегда будет еще выше. Как же с этим обстоит на самом деле, и что же на это влияет?

Один немаловажный фактор (качество работы интервьюера) мы уже рассмотрели выше. Разумеется, у неопытного интервьюера, скорее всего, доля успешных обращений будет ниже. Другой немаловажный фактор – это правильный подбор точек опроса. Хотя многие поставщики исследовательских услуг уже усвоили, что в ситуации, когда выборка должна репрезентировать все население города, точек опроса должно быть как можно больше. Они должны равномерно накрывать город, отличаясь высоким объемом пешего трафика, в котором более или менее равномерно представлена социальная структура города.

Такие города, как Киев или Харьков располагают метрополитеном, на выходах станций которого поток более или менее равномерный с точки зрения социальной структуры. Но многие исследовательские компании, беря во внимание высокую активность трафика, опускают важность его темпа. На выходе из метро темп движения людей максимальный. Работа даже самого опытного интервьюера, будет непременно сопровождаться большим количеством отказов. Понимание этого и провоцирует многих экспертов на отрицательную рефлексию в отношении методики уличного опроса. Читая в релизе информацию об опросе в точках «с высокой концентрацией людей», они первым делом представляют себе опрос на выходе из метро. Кроме того, сомнительно, чтобы на выходе из метро доля автомобилистов была близка к среднему показателю (за последние 10 лет она только росла). Как, в общем-то, и доля молодых мам с колясками. Обратную же крайность представляют собой опросы в парках. Их очень удобно проводить журналистам в рамках рубрики «народное мнение». Степень отказов от участия стремится к считанным процентам. Однако из опроса при этом «выпадают» целые группы населения. Еще один пример некорректного подхода – ограничиться десятком узловых перекрестков, опрашивая людей в выходные. Стоит ли говорить о том, что таким образом из поля зрения исследования выпадут целые спальные массивы?

Как эту проблему решаем мы. Кейс UkrSocStandart

В поисках идеального формата точек опроса, мы проанализировали крупнейшие города Украины. И нашли между ними одно примечательное сходство. Почти во всех из них доля покупок продуктов питания, приходящаяся на продуктово-розничные сети (супермаркеты и магазины у дома), достигает 90-100%. Стремительный рост числа так называемых дискаунтеров обусловил снижение территориальной потребительской мобильности. Ведь теперь не нужно собирать продуктовую корзину по всему району. Это переключило часть аудитории от транспортных узлов к магазинам по месту жительства, в которых «можно купить все». Как правило, в каждом даже самом отдаленном уголке города имеется один, а то и несколько приметных сетевых дискаунтеров. Вокруг них в среднем (оптимальном для опроса) темпе движется аудитория, в которой представлены абсолютно все общественные группы.

В ходе одного из недавних исследований, в котором требовалось опросить харьковчан старше 18 лет, было решено разместить интервьюеров в локациях с якорем в виде таких торговых точек. И эта инновация полностью себя оправдала. Результаты контрольных вопросов показали картину, очень схожую с тем, которая из года в год наблюдалась по другим городам Украины и постсоветского пространства. К слову, практика внедрения контрольного вопроса, ответ на который можно спрогнозировать заранее, служит хорошим маркером надежности выборки, которая получилась.

А чтобы из выборки не выпадали люди более или менее высокого достатка, имеющие склонность раз в неделю делать большие семейные закупки продуктов питания, на отработку каждой точки (маршрута) отводилось несколько дней. Интервьюер размещался не у входа, а на подступах к магазину. Это с одной стороны позволяло избегать вопросов со стороны администрации торгового объекта, а с другой удобно визуально контролировать источник трафика. Показатель отказов от интервью в ходе опроса не превышал 20-30%. Стоит ли говорить о том, что проводимый таким образом опрос было еще и проще проверять мобильному экипажу полевого контроля, ведь большинство точек опроса оказалось снабжено удобной парковкой?

Общий вывод

На фоне актуальных тенденций в жизни украинского общества перспективы применения уличных опросов выглядят как никогда оптимистично. Такие процессы, как снижение психологической доступности аудитории и усиление запроса на большую анонимность, низкие темпы технологической доступности населения для не тет-а-тет опросов и ограничение потребительской мобильности по территориальному принципу, создают основу к тому, чтоб именно уличный опрос стал считаться наиболее перспективным в ближайшее десятилетие. Пристальное внимание к нему позволит легко развенчать стереотипность взгляда неспециалиста. Ну а о подводных камнях метода всегда можно осведомиться у профессионалов.

Примечания

  1. Романович Н.А. Отказы респондентов в зависимости от восприятия ими опроса и его методов / Мониторинг общественного мнения: экономические и социальные перемены, 1996. – С.42-45.
  2. Мищенко М. Применение уличных опросов в исследованиях электоральных ориентаций / Социология: теория, методы, маркетинг, 2006, 1. – С. 88-109.
  3. Паніотто В.І. Що можуть і чого не можуть соціологи // День. – 2002. – 30 травня (№ 95). – 2.
  4. Сократилин В. Когда зацветет соломенный рейтинг или по каким причинам не сбудутся прогнозы социологов на выборах 2016 г. // Телескоп. – 2016 (№3).
  5. Чуриков А. Случайные и неслучайные выборки в социологических исследованиях / Социальная реальность, 2007, 4. – С. 89-109.
  6. Уличный опрос: достичь недостижимых. На сайте: http://www.mvn.irn.ru/exclusive/26.html.

 


Денис Под'ячев

маркетолог, социолог, политолог

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *