Опыт прогнозирования итогов выборов с применением экспертных оценок

Реферат

ОПЫТ ПРОГНОЗИРОВАНИЯ ИТОГОВ ВЫБОРОВ С ПРИМЕНЕНИЕМ ЭКСПЕРТНЫХ ОЦЕНОК

Экспертный опрос как метод прогнозирования популярен не только в социологии. Возможность обойтись малым числом опрошенных и получить качественную информацию выглядит привлекательной для многих исследователей, несмотря на достаточно длинный перечень ограничений метода и сложностей его применения.

Экспертное оценивание и варианты его использования для решения социальных и экономических задач применялись в России, в частности в ЦЭМИ, еще в 1970-е годы, на этот счет имеется обширная библиография [Статистические методы. 1982]. Консенсус-прогноз экспертов как инструмент прогнозирования достаточно активно используется в экономической науке. Когда речь идет о прогнозировании в социологии, экспертные опросы могут выполнять двойную функцию, выступая, с одной стороны, источником данных, с другой - способом введения некоторой априорной информации о диапазоне изменения прогнозируемых параметров.

Результаты выборов и их прогнозирование. Выборы предоставляют социологам возможность оценить качество используемых прогностических методик, получаемых данных и подходов к их интерпретации. Когда речь идет о выборах, горизонт прогнозирования фиксирован, а результат имеет числовое выражение, что предельно упрощает оценку качества прогноза.

При прогнозировании результатов выборов в России возникает необходимость специальной оговорки относительно того, что является основой верификации прогноза и позиционирования по оси "прогноз истинных результатов выборов - прогноз официальных итогов. Претензия на оценку "истинного результата" представляет интерес только когда, когда в качестве прогноза выступают вероятностные сценарии развития событий. В ситуации, когда речь идет о формализованном прогнозе (числовые результаты выборов), первая постановка представляет собой вид наукообразного лукавства в силу ее принципиальной неверифицируемости [Баскакова, 2011]. Поэтому далее мы будем вести речь исключительно о прогнозировании официальных результатов выборов.

Составление формализованного прогноза результатов выборов предполагает учет ряда составляющих: вероятностная оценка электорального поведения населения на текущий момент времени, включая явку на выборы и поддержку кандидатов. На основе такой оценки и ее динамики проводится экстраполяция распределения во времени и формирование первичного прогноза результатов выборов; учет особенностей политической среды и возможностей их влияния на результаты выборов. Речь идет о необходимости принять во внимание и оценить влияние возможных событий, которые могут существенно повлиять на текущее распределение вероятностей.

Для решения первой задачи удобно применять массовые опросы, тогда как вторая задача требует привлечения экспертов.

Прогнозирование результатов выборов на основе массовых опросов. В основе предвыборных прогнозов, составляемых ведущими российскими социологическими компаниями, лежат массовые опросы населения. По их результатам оценивается возможная явка, рейтинги кандидатов, а также рассчитываются на основе ряда вспомогательных вопросов вероятностные результаты выборов.

Методика построения такого прогноза обобщает набор факторов, учитывающих расхождения между рейтингами партий, выявляемыми в ходе социологических опросов, и результатами выборов. В основе моделирования лежит предположение, что каждая стратегия поведения избирателя является возможной с некоторой вероятностью. Голос каждого респондента за того или иного кандидата (партию) взвешивается с учетом его намерения прийти на избирательный участок, его политических симпатий и антипатий, опыта участия в выборах. Таким образом, получается, что голосу респондента, который всегда ходил на выборы, голосовал (к примеру) за КПРФ и намерен поступать так и дальше, придается больший вес по сравнению с голосом человека, который ходит на выборы через раз, не интересуется политикой, голосует за разных кандидатов, а в данный момент декларирует намерение прийти на участок и проголосовать за "Правое дело.

Формирование описанной расчетной модели основано на применении повышающих и понижающих коэффициентов, которые вычисляются на основании соотнесения результатов опросов и реальных итогов выборов. В каждой исследовательской компании используются собственные методики расчетов на основе перечисленных принципов [Описание электоральных расчетов.]. Полученный результат является основанием для базового прогноза (часто называемого "электоральный расчет). Тем не менее, описанный расчет содержит в себе ряд ограничений, налагаемых методом получения исходной информации (массовый опрос по формализованной анкете), а именно:

Респонденты, не определившиеся со своей политической позицией, оказываются за рамками рассмотрения. По умолчанию предполагается, что распределение их голосов будет соответствовать распределению голосов тех опрошенных, кто уже сделал свой выбор.

Предполагается, что позиция респондента в момент опроса интегрально учитывает все уже произошедшие события, что не вполне оправданно: скорость распространения и осмысления информации в большой стране делает важным фактором заметный лаг по времени между произошедшим событием и фиксацией реакции респондента на него.

За рамками опроса остается динамика изменения политических предпочтений в момент между опросом и выборами. Между тем, панельные опросы показывают наличие смещения предпочтений респондентов, при этом сторонники более слабых партий чаще склонны менять свою позицию.

Опрос не учитывает возможные неискренние и социально-одобряемые ответы респондентов. При этом причины неискренности могут быть разными: неискренность не обязательно может являться следствием намерения респондента скрыть свои настоящие предпочтения [Holbrook, Krosnick. 2010].

Существует систематическое смещение выборки в пользу более пассивных слоев избирателей, как известно, более склонных отвечать на вопросы социологов.

Перечисленные факторы не поддаются замерам с помощью технологий массовых опросов, и использование с этой целью разного рода коэффициентов проблем не решает. Результаты статистической обработки данных социологических опросов не могут быть более точными, чем сами исходные данные. Таким образом, получаемый на основе электоральных расчетов прогноз имеет определенную ошибку.

Составление итогового прогноза требует также учета особенностей политической среды. Это не только административный фактор, но и оценка вероятности социальных, экономических, политических и медийных событий, которые могут существенно отразиться на результатах голосования. Поэтому в прогнозирование вводятся дополнительные экспертные компоненты.

Применение экспертных оценок для прогнозирования результатов выборов. Статистическая методология в условиях ограниченной выборки диктует необходимость как учета априорных представлений о диапазоне изменения прогнозируемых величин, так и комплексирования этих представлений с эмпирически полученными данными. Одним из способов введения априорной информации является формализация данных, получаемых в результате опроса экспертов в данной предметной области.

Экспертное прогнозирование подразумевает формирование будущих значений экспертом, т.е. человеком, обладающим профессиональными знаниями в определенной области. При составлении своих прогнозов они могут использовать социологическую информацию по более широкому спектру вопросов, чем электоральные рейтинги и материалы СМИ, но основой являются их знания и интуиция. Формирование экспертной прогнозной оценки и отражает индивидуальные суждения специалистов (экспертов) относительно перспектив развития процесса.

Фактически особенности задачи требуют от эксперта определить реально возможный диапазон прогнозируемых величин и оценить наиболее вероятное распределение голосов избирателей в процентах в пределах этого диапазона. Эксперт для этого определяет экстремальные значения показателя (нижнюю и верхнюю границу) исходя из крайних сценариев развития исследуемого объекта [Четыркин, 1998].

Пример использования экспертных опросов - прогнозирование результатов выборов президента 2008

Усредненные значенияМаксимальный экспертный прогнозМинимальный экспертный прогнозЦИК РФБогданов А.Ю. 1,21.01,81,1Жириновский В.В. 10,28129,35Зюганов Г А. 14,412,11717,72Медведев Д.А. 74,37077,570,28

Источник: Данные экспертных опросов ВЦИОМ.

С точки зрения теории вероятностей, экспертный прогноз будет не менее точным, чем любой индивидуальный прогноз. Комбинированный экспертный прогноз, имея разные основания отклонений от реальности, может быть более точным, чем отдельные прогнозы, его составляющие. Поэтому ошибки этих прогнозов не коррелированы и отчасти взаимно уничтожаются. Комбинированный прогноз имеет в основе большее количество информации, чем составляющие его прогнозы.

Ряд вариантов постановки задачи использования экспертных оценок для прогнозирования результатов голосования был предложен И.В. Задориным и реализован группой "Циркон. Целью экспертного опроса являлось получение прогнозных оценок, касающихся возможных исходов выборов в Законодательные Собрания 8 регионов РФ [Выборы в законодательные собрания. 2006]. По партийным спискам в шести регионах из 8-ми (кроме национальных республик) экспертные прогнозы оказались довольно точными. Расхождения между прогнозными и официальными итогами голосования характерны в основном для "малых" партий".

Крупные российские исследовательские компании, занимающиеся оценками социологических прогнозов и построением рейтингов, взяли данный метод на вооружение, однако применяют его для корректировки электоральных расчетов, построенных на базе массовых опросов населения [Прогнозы ВЦИОМ, ФОМ. 2011]. Опыт избирательной кампании 2008 г. показал, что экспертные оценки позволили получить достаточно точный прогноз результатов выборов (табл.1).

Примеры построения и использования экспертных оценок для прогнозирования результатов выборов известны и по зарубежным источникам. Одной из наиболее интересных постановок здесь является эксперимент университета Айовы, которой формирует комбинированный формализованный экспертный прогноз результатов выборов по биржевому методу (основанному на заключении систем пари) уточнения рейтингов [Iowa electronic markets http:. iem].

Применение экспертного прогноза основано на его гипотетической способности аналитически учитывать некоторую "априорную информацию; а именно: резкие колебания информационного поля незадолго до выборов, наступление иных событий, способных качественно повлиять на предпочтения избирателей и результаты голосования; историю и традиции электорального поведения конкретной страны (региона); влияние на результаты выборов "административного ресурса" во всех его проявлениях.

Опыт использования экспертных прогнозов в ходе избирательной кампании 2011-2012 гг. За период с июня по ноябрь 2011 г. были проведены 5 волн экспертного опроса с интервалом примерно один месяц. Данные экспертных прогнозов не публиковались, а использовались для коррекции электоральных расчетов на основе массовых опросов.

экспертный массовый опрос россия прогноз

Реализация экспертного прогноза ВЦИОМ в ходе избирательной кампании 2011-2012 гг. потребовала решения ряда методологических вопросов [Бестужев-Лада, 1993]:

как наилучшим образом выбрать, рекрутировать и мотивировать экспертов; как определить оптимальную периодичность опросов;

как выстроить процедуру интерпретации экспертных оценок.

Сложности подбора оптимального количества и состава экспертов описаны в литературе. Соображение о том, что можно остановить расширение выборки, когда новые значения перестают оказывать существенное влияние на среднее, не применимо, когда необходимо реализовать многоволновой проект в сжатые временные рамки. Во-первых, для соблюдения графика исследования необходимо планирование. Во-вторых, когда речь идет о политической сфере и политических оценках, важно отследить не столько количество экспертов, сколько их состав, обеспечивающий "идеологический баланс.

Первоочередным критерием качества экспертов являются их квалификация и компетенция, их способность дать электоральный прогноз. Перечень формально-ритуальных критериев включает наличие профильного образования, опыта профильной деятельности, статуса и авторитета в профессиональных кругах. В условиях описанной постановки, выдержать критерии многостороннего анализа компетентности экспертов не представляется возможным (Шляпентох, 2006). В практической плоскости критерий профильного образования имеет достаточно малый вес, как и формальный статус. Значение приобретают личные политические предпочтения эксперта (оценки должны быть несмещенными), его информированность о текущих политических событиях (которая не всегда гарантируется родом занятий). На представления эксперта влияет и сфера его деятельности: к политике отношение имеют исследователи-политологи (сотрудники вузов), государственные служащие и партийные функционеры, политические консультанты. Учет всех перечисленных факторов и текущих возможностей привел нас к нижеописанному конкретному решению.

В ходе предвыборной кампании 2011 г. в опросах ВЦИОМ принимали участие 12 экспертов, в каждой волне на вопросы отвечали в среднем 10. В качестве экспертов выступали представители исследовательских организаций, консалтинговых компаний, СМИ, научных учреждений. Им рассылался формализованный опросный лист, где предлагалось указать максимальный и минимальный результат каждой партии, предсказать явку и указать источники, которые он принимает во внимание. Участие было конфиденциальным, состав экспертов не разглашался.

Периодичность опроса определялась двумя факторами: опрос необходимо проводить достаточно часто, чтобы отслеживать динамику изменения событий; опрос не следует проводить слишком часто, чтобы не демотивировать экспертов и не вызвать формальное к нему отношение.

Высокий статус признанных специалистов в сфере прикладного политического анализа и политического консалтинга исключал возможность материальной мотивации.

Интерпретация полученных результатов требовала выбрать способ комплексирования экспертных оценок. Нетривиальность задачи определяется следующими факторами:

Широта разброса оценок. Когда разброс является существенным (например, в ситуации разделения экспертов на сторонников двух противоположных сценариев), простое усреднение дает "среднюю температуру по больнице и с высокой вероятностью окажется ошибочным при любом сценарии развития событий.

Наличие "выбросов, т.е. оценок, существенно выходящих за пределы усредненного диапазона оценок. С одной стороны, сложность представляет оценка таких выбросов - являются они "инсайтом или результатом недостаточной добросовестности эксперта. С другой - проблемно комплексировать такие оценки с оценками других экспертов.

Малый объем выборки, ограничивающий возможности формальной обработки.

Меняющийся состав экспертов, соглашающихся ответить на вопросы анкеты. Каждый второй эксперт пропустил, по меньшей мере, одну волну опроса.

Рис. 1. Динамика агрегированных количественных и экспертных прогнозов в 2011 г.

Перечисленные факторы по-разному проявляются в ходе различных волн экспертных опросов. Установить единые правила комплексирования и свертки представляется возможным на длинных, многоволновых исследованиях с постоянной группой экспертов, тогда как для сравнительно коротких проектов процесс обработки каждой волны опроса может иметь свои особенности. Когда эксперты практически едины в своем мнении, а разброс оценок невелик, вполне приемлемо применение средних оценок. При обратном раскладе приходится прибегать к более сложным процедурам обработки. К примеру, при малом разбросе и наличии единичных выбросов последние исключаются из рассмотрения (решение становится близким к выбору классической медианной оценки [Кемени, Снелл. 1972]). При широком разбросе устанавливаются усредненные верхняя и нижняя границы диапазона возможных результатов и проводится их последующее сближение путем сопоставления с данными предыдущих волн опроса и данными массовых опросов.

На рис.1 приведено сопоставление динамики электорального расчета и усредненного экспертного прогноза по трем ведущим партиям. Как видно из диаграммы, в ходе кампании электоральные рейтинги по результатам опросов заметно менялись, тогда как экспертный прогноз по всем партиям оставался на удивление стабильным. Результаты малых партий также оценивались стабильно, хотя в относительных величинах (по отношению к доле голосов, которые набирает партия) колебания рейтинга малых партий выглядели достаточно заметно (показатели менялись в 1,5-2 раза). Таким образом, можно говорить о том, что эксперты "сглаживали динамику изменения ситуации, которую фиксировали массовые опросы населения. Особенно наглядно расхождение экспертных оценок с массовыми опросами заметно в отношении "Единой России. В то время как опросы и сделанные на их основе электоральные расчеты демонстрировали снижение общественной поддержки данной партии, эксперты практически не меняли исходные оценки ее электоральных перспектив и не отразили в своих оценках возможность роста "протестного" голосования за оппозиционные партии.

В итоге экспертный прогноз оказался менее точным, чем электоральный расчет на основе массовых опросов населения (табл.2).

Сопоставление результатов выборов с экспертными прогнозами, приведенное на рис.2, показывает, что по большинству партий (4 из 7 партий: ЕР, КПРФ, СР, Яблоко) результаты выборов вышли за рамки диапазона предложенных экспертами прогнозов.

В целом, эксперты верно определили порядок партий по результатам выборов, а размер отклонения не превышает обычной ошибки выборки. Тем не менее, можно констатировать, что в целом экспертные прогнозы результатов выборов в ходе избирательной кампании 2011 г. оказались сравнительно неуспешными в отличие от прогнозов, составленных в ходе избирательной кампании 2007, несмотря на сохранение методики.

Рис. 2. Сопоставление результатов выборов с экспертными прогнозами (НД - недействительные бюллетени)

В период избирательной кампании 2012 г. перед выборами президента РФ также был проведен экспертный опрос с целью прогнозирования результата выборов. Короткий срок кампании (чуть более месяца после завершения больших новогодних каникул) дал возможность провести только одну волну опроса (рис.3).

Опрос показал, что экспертные оценки вновь не учитывают динамики развития событий. Низкие результаты "Единой России в 2011 г. были спроецированы экспертами на возможный результат В. Путина-2012. Также обращает на себя внимание большой разброс оценок лидеров электорального рейтинга (В. Путин и Г. Зюганов) и низкие оценки шансов нового кандидата М. Прохорова, которые оценивались ниже, чем шансы постоянных участников гонки за президентский пост.

Как и в случае с думскими выборами, результаты ряда кандидатов (Путин, Жириновский, Миронов) вышли за рамки указанных экспертами диапазонов (рис.4). Эксперты занизили результаты В. Путина и завысили результаты его оппонентов по сравнению с официальными данными. В отношении результатов президентских выборов средняя ошибка экспертных оценок получилась заметно выше, чем в отношении результатов думских выборов. Электоральный расчет по результатам массового опроса снова дал существенно более точную информацию (табл.3).

Таблица 2. Отклонения прогнозов от результатов выборов-2011

Итоговый прогнозЭлекторальный расчет на основе опросов населенияЭкспертный прогнозЕдиная Россия-2,581,22-2,88КПРФ2,693,492,39Справедливая Россия0,34-1,562,44ЛДПР-1,43-1,83-1,23Яблоко0,830,431,03Правое дело-0,3-1,2-0,7Патриоты России0,17-0,93-0,03Недействительные0,280,38-1,02Стандартное отклонение средней ошибки1,561,781,85

* Из результата каждой партии по данным ЦИК РФ вычитается прогнозное значение.

Вероятной причиной неточности экспертных оценок явилось наличие смещенности оценок за счет собственных политических воззрений эксперта. Выборка не включала партийных экспертов, имеющих собственные выраженные политические предпочтения. Однако объективность формально независимых экспертов - политических консультантов, государственных служащих, исследователей тоже вызывает вопросы. Может ли человек, разбирающийся в политике, внимательно следящий за событиями, занимающийся профессиональной деятельностью в сфере политических исследований и консалтинга, оставаться беспристрастным арбитром - вопрос, не получивший пока ответа.

Рис. 3. Бокс-плоты разброса экспертных прогнозов по кандидатам в президенты Верхняя граница прямоугольника - средняя максимальная экспертная оценка по кандидату, нижняя граница соответствует средней минимальной экспертной оценке. Линии вверх и вниз показывают абсолютные максимальные и минимальные экспертные оценки.

Результаты эксперимента. Проведенный опыт экспертных опросов с целью прогнозирования результатов выборов дает основания подвести некоторые итоги. Полученные результаты позволяют выдвинуть ряд объяснительных гипотез и зафиксировать определенные особенности использования экспертных оценок как для электорального прогнозирования, так и для более широкой сферы политических прогнозов.

Выделим основные содержательные результаты, касающиеся собственно прогноза, и технологические результаты, касающиеся особенностей организации исследования.

Содержательные результаты: Экспертные оценки, которые показывают хороший результат в периоды политической стабильности (пример - точность прогнозов 2007г.), "буксуют" и отстают в период неопределенности, высокой динамики изменения ситуации (кампания 2011-2012 гг.). Эксперты следуют за событиями, а не предсказывают их. Поэтому экспертные оценки следует рассматривать как некоторую "отправную точку" для оценки изменений, фиксируемых количественными опросами.

Таблица 3. Выборы президента РФ: отклонение прогнозов от результатов

Экспертный прогнозЭлекторальный расчет на основе опросов населенияИтоговый прогнозПутин9,453,23,1Зюганов1,632,080,98Прохоров0,98-0,72-0,22Жириновский-4,23-1,48-1,68Миронов-2,35-3,25-1,95Недействительные-1,330,07-0,23Станд. отклонение ошибки4,82,31,9

* Из результата каждого кандидата по данным ЦИК РФ вычитается прогнозное значение

Экспертные оценки высоко устойчивы. В то время как динамичность избирательной кампании задает высокий ритм изменений информационного пространства, эксперты не успевают осмыслить быстротекущие изменения и повторяют те же оценки, что и в предыдущем опросе.

Технологические результаты:

Существенную техническую проблему представляет мотивация экспертов к участию в опросе, особенно когда речь идет о лицах, обладающих достаточно высоким статусом. Эксперты склонны давать качественные оценки (в интервью для СМИ или в глубинных интервью), но избегают формализованных оценок в форме анкетного опроса. Необходимость формулировать четкий прогноз на определенный период с перспективой его верификации в самое ближайшее время повышает уровень ответственности экспертов, заставляя их в определенном смысле "рисковать экспертным статусом, что затрудняет получение согласия на участие в опросе. Формализованный опрос заставляет экспертов перестраховываться и максимально расширять границы диапазона оценок. Есть и обратная проблема - недостаточно взвешенное, а порой легкомысленное отношение экспертов к формированию прогнозных оценок.

Опрос политических экспертов оказался сложно технологизируемым. Эксперт часто не желает осваивать предлагаемый ему формат, если такой формат для него исходно неочевиден. Эксперт с относительно высоким статусом предоставляет прогноз в том формате, который он сам считает правильным и удобным, заполняет лишь часть предложенных форм, что усложняет обработку полученных данных.

В целом, экспертный прогноз оказался успешным. Прогнозируя результаты парламентских и президентских выборов, эксперты в обоих случаях верно определили победителя, а также порядок кандидатов. Эксперимент иллюстрирует применимость формализованных экспертных оценок для прогнозирования результатов федеральных выборов.

Пути повышения точности экспертных и комбинированных прогнозов лежат в технологизации прогнозирования с применением действенных механизмов отбора и мотивации экспертов, а также методов математического моделирования, и использовании систем пари в рамках модерируемых социальных сетей. Дальнейшее совершенствование методов экспертного опроса и оценивания пойдет именно в этом направлении (например, с учетом опыта такой интересной разработки как вышеупомянутая система lowaelectronicmarket).

Список литературы

1.Баскакова Ю.М. Экзит-полл и его задачи // Мониторинг общественного мнения: экономические и социальные перемены. 2011, № 4.

2.Бестужев-Лада И.В. Экспертный сценарно-прогностический мониторинг: принципы организации // Социол. исслед. 1993. № 5.

3.Выборы в законодательные собрания субъектов РФ. Весна 2006. Аналитический отчет по результатам экспертного прогнозирования итогов голосования. <http://www.zircon.ru/upload/File/> russian/publication/1 /060320. pdf

4.Кемени ДДж., Снелл ДжЛ. Кибернетическое моделирование. Некоторые приложения. М.: Советское радио, 1972.

.Описание электоральных расчетов ФОМ в еженедельнике "Доминанты" http://bd. fom.ru/ <http://bd.fom.ru/> pdf/d07pv12. pdf или описание электоральных расчетов ВЦИОМ <http://wciom.ru/index>. php? id=270&uid=112099

.Прогнозы ВЦИОМ http://wciom.ru/fileadmin/vybory/prognoz_23-11-2011. pptx <http://wciom.ru/fileadmin/vybory/prognoz_23-11-2011.pptx>, а также прогнозы ФОМ http://bd. fom.ru/pdf/d4911 <http://bd.fom.ru/pdf/d4911>. pdf

Больше работ по теме: