Экспертные оценки в исследовании социальных систем

- с применением математического аппарата, когда конечный результат экспертизы может быть получен только после специальной математической обработки мнений экспертов.[12]

Рассмотрим индивидуальные методы экспертных оценок, доступные широкому кругу исследователей. К ним относятся: метод анкетирования, метод интервью, аналитические экспертные оценки, метод предпочтения, метод рангов, метод попарного сравнения.

1. Индивидуальные методы экспертизы.

1) Метод анкетирования. Его подготовка и проведение включают разработку и заполнение анкет, содержащих набор вопросов по объекту прогноза. Структурно набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Содержание вопросов определяется спецификой объекта прогнозирования, методикой прогнозирования и верификацией прогноза.

2) Метод интервью. Предполагает беседу прогнозиста с экспертом, в ходе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от психологической способности эксперта экспромтом давать заключения по различным, в том числе, фундаментальным вопросам, а также от уровня подготовки прогнозиста. Преимуществами метода являются оперативность и возможность уточнения результата экспертизы во время её проведения. Однако есть и существенные недостатки: ограничены источники аргументации эксперта, он испытывает определенное психологическое давление.

3) Аналитические экспертные оценки. Эксперт в течение определенного времени выполняет самостоятельную аналитическую работу и затем в письменной форме предоставляет оценку состояний и путей развития системы или решения проблемы[13]. Этот метод позволяет эксперту использовать всю доступную информацию об объекте прогноза и исключает всякое психологическое давление.

4) Метод предпочтения и метод рангов. Данные методы получили широкое распространение для выявления важности проблем и приоритетности вариантов развития. В соответствии с методом предпочтения эксперт должен пронумеровать конкурирующие варианты в порядке предпочтения, причем первое место занимает самый важный. При использовании метода рангов эксперту предлагается расположить рассматриваемые  варианты вдоль шкалы, имеющей определенное число делений.[14]

5) Метод попарного сравнения. Данный метод реализуется с использованием математического аппарата, эффективен при оценке важности свойств, функций и критериев, приоритетности целей и вариантов их достижения. Суть метода заключается в том, что на первом этапе эксперт определяет предпочтительность одного из двух сравниваемых параметров из всей совокупности возможных пар.

Математическая обработка осуществляется путем составления матрицы попарного сравнения. В ней изучаемые параметры записываются в столбец и строку. В секторах на пересечении строки и столбца фиксируются номера тех параметров, которые получили предпочтение. Последние две графы вводятся для обработки результатов попарного сравнения и получения конечного результата экспертизы. В предпоследней графе фиксируется количество предпочтений, полученных каждым параметром по отношению ко всем остальным. Последняя графа для распределения параметров по их значимости.

     Метод индивидуальных экспертных оценок, даже с их математической обработкой, не позволяют избежать субъективизма. Для преодоления этого недостатка прибегают к проведению коллективной экспертизы, при этом предполагается, что истинное значение характеристики находится внутри диапазона оценок, полученных от группы экспертов, и что обобщенное коллективное мнение является достоверным.[15]

2.         Коллективная экспертиза.

В настоящее время существует большое число модификаций методов коллективных экспертных оценок. Наиболее популярными являются методы: круглого стола, Дельфи, программного прогнозирования, эвристического прогнозирования.

1) Метод круглого стола. Специальная комиссия, входящая в состав круглого стола, обсуждает проблемы с целью согласования мнений и выработки единого решения. Недостаток данного метода в том, что эксперты изначально руководствуются логикой компромисса, что увеличивает риск получения искаженных результатов прогноза.

2) Метод «Дельфи». Данный метод служит средством повышения объективности экспертных опроса счет использования обратной связи, ознакомления экспертов с результатами предшествующего тура опроса и учета этих результатов при оценке значимости мнений экспертов. Суть метода заключается в том, что разрабатывается программа последовательных индивидуальных опросов, исключающих контакты между экспертами, но предусматривающих ознакомление их с мнениями друг друга между турами. С целью снижения таких негативных факторов, как внушение или приспособление к мнению большинства, экспертам рекомендуется обосновать свою точку зрения.[16] При помощи метода Дельфи выявляется преобладающее суждение сециалистов по какому-либо вопросу в обстановке, позволяющей периодически взвешивать свои суждения с учетом доводов и ответов коллег.

3) Метод эвристического прогнозирования. Это метод получения и специализированной обработки прогнозных оценок объекта путем систематизированного опроса высококвалифицированных специалистов-экспертов в узкой области науки, техники или производства. Назначение метода эвристического прогнозирования – выявление объективного представления о перспективах развития узкой области науки, техники, рынка на основе систематизированной обработки прогнозных оценок экспертов.

Таким образом, каждый из методов экспертных оценок, перечисленных выше, обладает своими преимуществами и недостатками, определяющими рациональную область применения. Выбор того или иного метода обусловлен спецификой исследуемого явления и степенью сложности проблемы. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы. Независимо от индивидуального или группового участия экспертов в работе, целесообразно получать информацию в результате применения нескольких методов, это позволяет получить более достоверные результаты.

Глава 3. Современный этап развития методов экспертных оценок

3.1.           Основные проблемы экспертных оценок на современном этапе

Методы экспертных оценок на сегодняшний день находят широкое применение в социально-экономическом, политическом и научно-техническом прогнозировании, в разработке экономических и социальных программ, в решении отдельных проблем управления при оценке текущей ситуации, с целью выбора из нескольких альтернатив наиболее рационального решения. Многообразие факторов, которые прямо или косвенно влияют на состояние социально-экономических и политических процессов, а также сложность их исследования обусловили наличие многочисленных проблем в прогнозировании и составлении планов развития исследуемых явлений.

Основные проблемы экспертных оценок на современном этапе развития условно можно разделить на следующие группы: проблемы, связанные с выбором определенной формы экспертного исследования; проблемы, возникающие на различных этапах проведения экспертизы.

1.   Проблемы, связанные с выбором определенной формы экспертного исследования.

Не вызывает сомнений, что для принятия обоснованных решений в исследованиях социально-экономических и политических процессов необходимо опираться на опыт, знания и интуицию специалистов-экспертов. Однако исследователю предстоит определиться, какие методы ему следует использовать для достижения наилучшего результата. Изначально необходимо решить, будут использоваться индивидуальные методы экспертных оценок либо коллективная экспертиза. Проблемные области существуют как  в первом, так и во втором случае.

              Так, в случае выбора индивидуального опроса высока вероятность получения субъективных оценок эксперта, который будет работать отдельно от других, не имея возможности ознакомиться с мнением коллег, сравнить результаты размышлений и сделать соответствующие выводы в случае своего заблуждения по поводу перспектив развития исследуемого явления. Поэтому зачастую предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. Однако это не всегда соответствует реальности.

              В случае проведения коллективной экспертизы возможно оказание сильного влияния более авторитетных экспертов на мнение большинства участников экспертизы, возникновение коренного расхождения мнений экспертов, препятствующего нахождению ими единого решения. Недостаток группового исследования также может заключаться в нежелании публичного отказа экспертом от своей точки зрения, психологической несовместимости некоторых участников экспертизы, появлению конформизма и перерастанию дискуссии всех членов коллективной экспертизы в полемику наиболее авторитетных экспертов. Помимо всего прочего, далеко не всегда удается собрать в одно время и в одном месте необходимое количество экспертов, отвечающих нужным требованиям.

2.   Проблемы, возникающие на различных этапах проведения экспертизы.

При использовании методов экспертных оценок  основная масса проблем возникает на этапах подбора экспертов, проведения экспертного оценивания и обработки результатов экспертизы.

Проблема подбора экспертов одна из наиболее сложных. Очевидно, что в качестве экспертов необходимо привлекать людей, чьи суждения в наибольшей степени способствуют принятию адекватного решения. На сегодняшний день не существует однозначных приемов подбора экспертов, наверняка обеспечивающих успех экспертизы, однако часто используются методы взаимооценки и самооценки компетентности экспертов.[17] С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке скорее оценивается уверенность в себе эксперта, чем его компетентность.

При использовании метода взаимооценки определенную роль играет неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами других экспертов может быть лишь у специалистов, много лет работающих совместно. Однако при исследованиях современных социально-экономических и политических процессов  зачастую необходимо привлечение многих экспертов, в том числе, специализирующихся в различных областях человеческой деятельности. А потому взаимооценка компетентности экспертов не будет в полной мере отражать реальное положение дел.

Данную проблему можно преодолеть, прибегнув к использованию формальных показателей при подборе экспертов (должность, ученые степень и звание, стаж работы, число публикаций), а также учитывая успешность участия в предыдущих экспертизах либо больших проектах, не имеющих аналога.

Проблемы, возникающие при проведении экспертного оценивания, связаны с тем, что на современном этапе развития методов экспертных оценок считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому из экспертных групп зачастую исключают тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, так и наиболее оригинальные эксперты, глубже проникающие в проблему. Следовало бы выяснить их аргументы, предоставить возможность обоснования их точек зрения. Стремление обеспечить согласованность мнений экспертов может привести к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения кроме одной, наиболее подходящей большинству экспертов.[18] В результате в итоговом прогнозе не будет отражена вся информация, а потому данный прогноз развития исследуемого явления способен привести к отрицательным последствиям.

Проблемы, возникающие на этапе обработки экспертных оценок, связаны с широко используемой математической обработкой. Ответы экспертов в большинстве случаев не являются числами, это обусловлено тем, что в мышлении человека используются скорее образы и слова. Поэтому требование от эксперта ответов в форме числовых значений приводит к риску получения от него недостоверной информации. Эксперт может сравнить два объекта, дать им оценки такого характера как «хороший», «приемлемый», «плохой», упорядочить несколько объектов по степени привлекательности, но обычно затрудняется сказать, во сколько раз или насколько один объект важнее другого.

На современном этапе развития методов экспертных оценок существует распространенное заблуждение, состоящее в том, что ответы экспертов стремятся рассматривать как числа, занимаются «оцифровкой» мнений, приписывая этим мнениям числовые значения – баллы, которые потом обрабатывают с помощью методов прикладной статистики.[19] Однако не во всех случаях это оказывается эффективным, использование количественных балльных оценок нередко подвергается критике. При этом в научных кругах справедливо отмечают, что балльные оценки нередко скрывают неумение квалифицированно оценить те или иные социально-экономические или политические явления, перспективы их развития. Также не стоит забывать, что произвольная оцифровка выводов, полученных в результате обработки данных, может привести к ошибке и не иметь отношения к действительности.

Таким образом, при использовании методов экспертных оценок в исследованиях социально-экономических и политических процессов возникает масса проблем, требующих разрешения.  Эти проблемы характерны для различных этапов проведения экспертного оценивания и могут быть вызваны разнообразными факторами: психологическими особенностями конкретных экспертов; высокой долей субъективизма методов экспертных оценок как таковых; некорректной математической обработкой полученных данных, однако все эти проблемные области объединяет одно - они способны значительно снизить эффективность проводимого исследования и привести к получению недостоверных результатов.  Необходимость преодоления данных проблем и их скорейшего устранения во многом определяет специфику современных  направлений развития методов экспертных оценок, нацеленных на повышение уровня профессиональных навыков экспертов и эффективности применения методов экспертных оценок в исследованиях социально-экономических и политических процессов.

3.2.                     Современные направления развития методов экспертных оценок в исследованиях социально-экономических и политических процессов