Методология экспертных оценок

       • подбор экспертов;

       • оптимизация процедуры их работы;

       • система отработки результатов  опроса.

       Для отбора экспертов все применяемые  методы сводятся к двум основным подходам:

       • объективному;

       • субъективному.

       Объективный подход имеет два варианта:

       • документальный;

       • экспериментальный.

       Документальный  – предусматривает отбор экспертов  по формальным характеристикам (ученая степень, звание, стаж работы, возраст, число опубликованных работ и  т.д.).

       Экспериментальный – использует два приема:

       • неформальная аттестация специалиста;

       • тестирование специалиста.

       Оба приема требуют большой деликатности по отношению к будущим экспертам.

       Экспертная  группа не может быть слишком многочисленной, поэтому в зависимости от вида проводимой экспертизы необходимо ограничить численность экспертной группы [6, с. 79]:

       • при очной экспертизе – 5-7 чел., максимум – 10-15 чел.;

       • при заочных опросах – 20-30 чел., максимум – 60-80 чел. Кроме перечисленного, для достижения более качественного

       результата  требуется разумное сочетание экспертов  разного возраста, темперамента, различных  школ и т.д.

       Другая  разновидность очного опроса экспертов  – «традиционная дискуссия» («метод комиссии»), обычный обмен мнениями, в ходе которого каждый участник имеет  право задавать вопросы выступающему, критиковать, выступать неограниченное число раз.

       Такая процедура имеет относительно низкий коэффициент полезного действия. Сильной стороной этого метода является обеспечение мгновенной обратной связи  и быстрое обучение экспертов, быстрое  преодолевание «взаимоотношения» экспертов. Главное – это привычная, простая и не требующая спецподготовки методика прогнозирования, которая эффективна, если поставленная проблема известна всем экспертам.

       Третья  разновидность – «метод отнесенной оценки». В основу этого метода положена процедура итерации заочного опроса, т.е. процедура повторения нескольких циклов дискуссии с выяснением сущности наметившихся разногласий и постепенной  разработкой единого мнения. Простейшей разновидностью заочного опроса экспертов  является разовый анонимный опрос.

       Существенный  недостаток заочного опроса экспертов, заключающийся в низком коэффициенте полезного действия, породил другой вариант заочного опроса, т.н. «метод отнесенной оценки», получивший большую  известность под названием: метод  Дельфи, дельфийская техника, метод  эвристического прогнозирования.

       В основу этого метода положена идея о потенциальной возможности  самообучения экспертов при проведении заочного опроса в несколько туров.

       Выделяют  две его основные характеристики [16, с. 257]:

       а) анонимность ответов: мнение экспертов  получают посредством формального  опросного листа, обычно по почте, что  позволяет избежать проблем лидерства  в группах;

       б) контролируемая итерация и ретроакция: взаимодействие осуществляется путем  систематической процедуры проведения нескольких итераций с тщательно  контролируемой ретроакцией между  всеми этапами. Каждый эксперт опрашивается несколько раз, и после каждой серии вопросов производится анализ результатов и согласование мнений.

       После первого тура эксперты знакомятся с  итоговыми характеристиками. Во втором туре они получают возможность либо сблизить свое мнение с большинством, либо изучить и обсудить причину отклонения. В третьем туре новая информация позволяет еще раз пересмотреть точку зрения.

       Содержание  этапов и работ при проведении экспертных оценок приведено в табл. 1.

       Таблица 1. Содержание этапов и работ при проведении экспертных оценок.

 

       Данное  структурирование работ позволят наиболее эффективным образом организовать работу группы экспертов и, как следствие, получить наиболее достоверные результаты их деятельности.

2.2. Методы ранжирования и сравнения

 

       В практической деятельности наибольшее распространение получили четыре основных метода экспертной оценки и множество  разновидностей этих методов. Четыре основных метода экспертной оценки включают:

       • метод простого ранжирования;

       • метод задания весовых коэффициентов;

       • метод последовательных сравнений;

       • метод парных сравнений. 

       Метод простого ранжирования

       Метод простого ранжирования заключается  в том, что каждый эксперт располагает  признаки в порядке предпочтения. Цифрой 1 обозначается наиболее важный признак, цифрой 2 – следующий по важности и т.д. Полученные результаты сводятся в таблицу, общий вид  которой представлен в табл. 2.

       После того как данные от экспертов собраны, проводится обработка полученных оценок. Определяется средний ранг j-ro признака [10, с. 109]:

              (1)

       Таблица 2. Результаты простого ранжирования.

 

       Чем меньше величина S_j, тем больше важность этого признака. Чтобы сказать, случайно ли распределение или есть согласованность во мнениях экспертов, производится вычисление коэффициента конкордации. Для его расчета определяется ранг совокупности признаков:

              (2)

       Затем вычисляется отклонение среднего ранга j-гo признака от среднего ранга совокупности d_j:

              (3)

       Рассчитывается  число одинаковых рангов, назначенных  экспертами j-му признаку, – tg. Определяется количество групп одинаковых рангов Q. Коэффициент конкордации рассчитывается по формуле:

             (4)

       Коэффициент конкордации может принимать  значения от нуля до единицы. При полной согласованности экспертов К = 1, при полном разногласии: К = 0.

       Достоинства метода простого ранжирования – сравнительная  простота процедуры получения оценок и меньшее число экспертов, которое  требуется для оценки показателей (по сравнению с другими методами). Недостаток метода состоит в заведомо равномерном распределении оценок и уменьшении важности признаков. 

       Метод задания весовых коэффициентов

       Метод задания весовых коэффициентов  состоит в присвоении всем признакам  весовых коэффициентов (коэффициентов  важности).

       Присвоение  может производиться так, чтобы  сумма баллов была равна какому-либо определенному числу, например 100. Иногда наиболее важному признаку предлагается присвоить фиксированное число, например 100, а остальным признакам  – задать коэффициенты, равные долям  этого числа. Обобщенное мнение экспертов  рассчитывается как среднее арифметическое. Очевидно, что чем больше величина коэффициента, тем больше важность этого признака [2, с. 169]. 

       Метод последовательных сравнений

       Метод последовательных сравнений можно  изложить в виде последовательности действий по пунктам.

       1. Эксперт i упорядочивает все признаки  в порядке уменьшения их значимости:

             (5)

       2. Первому признаку присваивается  значение, равное единице (А_j1 = 1), а остальным назначаются весовые коэффициенты в долях единицы.

       3. Проводится сравнение первого  признака с суммой коэффициентов  всех последующих. При этом  можно получить один из трех  вариантов:

              (6)

       4. Эксперт выбирает наиболее приемлемый, по его мнению, вариант и приводит  в соответствие с ним оценку  первого признака.

       5. Процедура повторяется с отбраковкой  последних признаков по одному  до сравнения признака X₁ с признаками Х₂ и Х₃.

       6. Эксперт переходит к сравнению  Х₂ с последующими признаками.

       7. Процедура заканчивается, когда  возможности сравнения будут  исчерпаны [2, с. 173].

       Очевидно, преимущество данного метода состоит  в том, что эксперт анализирует  оценки по совокупности признаков. Однако метод последовательных сравнений  сложен и громоздок. Его не рекомендуют  использовать при более семи признаках. 

       Метод парных сравнений

       Метод парных сравнений также целесообразно  изложить в виде последовательности шагов.

       1. Каждый эксперт проводит попарную  оценку приоритетности признаков.  При этом каждым экспертом  заполняется матрица E_i= (I_lkj), элементы которой в зависимости от выбора эксперта исчисляются по формуле:

            (7)

       2. Определяется сумма матриц всех  экспертов. Суммирование проводится  по элементам матриц и может  быть представлено следующей  формулой:

              (8)

       где kj = 1, ..., n.

       3. Определяется результирующая матрица  R, каждый элемент которой вычисляется  по формуле:

             (9)

       4. Находится сумма баллов, которую  набрал каждый признак К:

             (10)

       Достоинство метода парных сравнений заключается  в простоте опроса и легкости процедуры  проведения. Недостаток – в необходимости  использования ПЭВМ при большом  числе оцениваемых признаков.

2.3. Метод Дельфи