Украинцы в очередной раз "высказались" об открытии рынка земли. Данные соцопросов сильно отличаются. Что-то пошло не так?

Разные социологические компании показывают цифры про рынок земли, которые, на первый взгляд, противоречат друг другу. Но на второй и третий - противоречия уже не такие сильные. Главное - не забывать присматриваться.

Данные опроса от группы Рейтинг говорят, что многие украинцы против продажи земли (73%), а данные КМИС, что таких людей меньше (52%). Разница 20%. На первый взгляд - странно. Например, когда социологи проводят опросы перед выборами, то размах между результатами существенно меньше. Но это и не удивительно, ведь перед выборами опросные фирмы задают очень четкие и понятные вопросы по очень четкой и понятной теме. В чем же подвох в этот раз? Попробуем разобраться.

Противоречивые результаты - да и такое бывает

Приведу пример из школы. На уроках физики нам рассказывали, что ученые, которые занимались серьезными теориями и экспериментами считали, что свет проявляет себя как волна. А другие, не менее умные и опытные экспериментаторы, говорили, что свет проявляет себя как частица. Конец этой школьной истории оказался очень прост - может быть и так, и так.

Отчего же возникают вопросы к социологам, которые на разных выборках в разный период времени задают разные вопросы и (о чудо) получают разные ответы. Неужели читатели будут опять и опять удивляться очевидному - никогда такого не было и вот опять, разные результаты!

Установить какой-то факт (физический или социальный) - это лишь полдела. А вот собрать все эти факты вместе, подняться на шаг выше и осмыслить их в какой-то общей рамке, - уже сложнее. Собственно, это и отличает работу опросов от работы академической социологии. Одни имеют дело с регистрацией фактов, другие с их систематизацией и объяснением (даже, если они противоречивы).

"Техника безопасности"

Перед тем, как искать объяснения разным фактам, для начала стоит просто включить здравый смысл и критическое мышление. Так делают все социологи - такая себе техника безопасности при работе с отчетами, которую всем рекомендую. Просто пройдитесь по списку: дата, выборка и метод сбора, как звучит вопрос. Многие вопросы отпадут сами собой.

Даты

Опрос КМИС проходил 16-19 сентября, а опрос Рейтинга - 28 сентября-1 октября. Между ними довольно короткое расстояние. Но и за десять дней общественные настроения могут меняться. А вот опрос Деминициатив был аж в июне! Да, их результаты могут сильно отличаться, ведь повестка дня была совершенно друга. Пока что сильного подвоха нет, многое может быть объяснено банально датой опроса. Пошли дальше.

Выборка и метод сбора

Тут интереснее. На сайте Рейтинга написано, что опрос происходит face-to-face во всех регионах с 28 сентября по 1 октября - это четыре дня на 2000 респондентов. Обратите внимание, что КМИСу потребовалось столько же дней, чтоб опросить на 500 человек меньше по телефону.

А вот в июне Фонд Деминициатив потратил целую неделю на опрос 2017 человек. Откуда же у Рейтинга такая скорость? Допустим, они очень технологичны и давно перешли на планшеты без волокиты с бумажными анкетами (хотя ситуация на рынке с планшетами не такая уж и простая и удовольствие это не такое уж и дешевое). Но все равно, странно видеть, как за четыре дня бригады интервьюеров успели оббежать 2000 домохозяйств. Если и успели, то времени на контроль качества уже не оставалось.

Пока что первый звоночек - подвох может быть в качестве наспех собранных данных.

Формулировка вопроса

КМИС в своем вопросе упомянули президента Зеленского, как ответственного за реформу. Имя президента могло существенно повлиять на одобрение среди индифферентных к теме, но лояльных к президенту респондентов.

Рейтинг же задавал вопрос с легким чувством нагнетания. Когда кто-то говорит, что землю будут продавать, это звучит слишком упрощенно и немного страшно. Будто, "все из дома вынесли". Взяли и продали все, что у вас было (возможно, мошенникам).

Попробуйте провести эксперимент у себя дома или на работе, и спросите у людей вокруг не про "продажу" земли, а про "свободу" или "право". И ответы могут быть совсем другие. Потому что люди часто - за все хорошее и против всего плохого.

Как иллюстрация - в Фонде Деминициативы сделали именно так и узнали, что половина респондентов согласны, - человек должен иметь право продать свою землю. Все сходится. Украинские респонденты реагируют, как и должны реагировать любые люди - с опаской смотрят на неопределенности, но поддерживают основные принципы. Это все равно, что специально посадить человека под открытую форточку на сквозняке и спросить не дует ли. Конечно, человек скажет, что дует. Но значит ли, что человек в принципе против свежего воздуха?

Вопрос Рейтинга с примерами Канады, Израиля и Италии оказался очень странным. Специалисты по факт-чекингу показали, что таких примеров просто нет в природе. Зачем полстеры попросили дать оценку несуществующим фактам? Показать, что люди поддерживают некие идеи, пускай и вымышленные? Или это тест новостных меседжей, которые мы скоро увидим в сети?

Вот и второй тревожный звоночек - все отметились странными формулировками вопросов. Возможно, что у каждого вопроса была своя мотивация, тогда хотелось бы про нее услышать.

Что же делать?

В первую очередь нам всем (журналистам и аудитории) надо очень хорошо понимать, с какой целью проводили опрос. Что именно хотели зафиксировать? Если у исследователей стояли разные задачи - то искать общий знаменатель нет смысла. Журналистам стоит требовать, чтоб в презентациях или пресс-релизах четко стояли цели (исследовательский вопрос, гипотезы, мотивация к исследованию). Оценивать результат без понимания цели невозможно.

Быть более требовательными к данным. Журналисты не должны останавливаться на таблицах и графиках. Просите доступ к анкетам или электронным массивам. Если опросные фирмы говорят, что это их данные, а не заказчика, - пускай покажут массив. Вообще, выкладывать данные - это хороший тон. Например, когда социологи подают научные статьи в журналы на рецензии, мы также обязаны показывать и данные, и пошаговый анализ (исходный код). Очень хороший способ держать себя в тонусе и работать над качеством данных.

Также стоит быть требовательнее к описанию выборки. Что стоит за формальной отпиской "провели поле за четыре дня"? Хотелось бы понять, насколько качественно была сделана работа. Отдельные организации уже давно создали открытый банк социологических данных, где можно скачать, анализировать и проверять результаты опросов. Хотелось бы увидеть там и этот массив, чтоб проверить его качество.

Полстерам я бы рекомендовал крамольную вещь - ссылаться на другие фирмы.

Компании часто заботятся о своем бренде. В нашем пресс-релизе только наши результаты. В итоге выходит странная урезанная картина. Небольшой целостный анализ еще никому не вредил.

Использовать модели. У социологов есть разные идеи про то, что такое общественное мнение. Некоторые социологи думают, что его вообще не существует. Но в целом социологи соглашаются, что респонденты должны знать, о чем идет речь, быть вовлечены. Эти параметры используют, чтоб моделировать мнение респондента. Любопытно, что в отчете Рейтинга эти параметры упомянуты, но они там раскиданы отдельно по слайдам, а вот вместе в одну модель их так и не сложили.

И снова модели. Когда мы видим набор графиков, мы попадаем в ловушку, - вот она реальность. На самом деле это может быть отражением чего-то более глубокого. А, возможно, совсем наоборот, это мимолетная реакция людей на медийную кампанию. Может быть и так, и так.

Чтобы разобраться, нужен дополнительный анализ. Без него смысла читать рейтинги лично я не вижу.