Методы экспертных оценок

Коэффициенты компетентности экспертов можно вы­числить по апостериорным данным, т. е. по результатам оценки объектов. Основной идеей этого вычисления яв­ляется предположение о том, что компетентность экспер­тов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

Алгоритм вычисления коэффициентов компетентно­сти экспертов имеет вид рекуррентной процедуры [12]:

                                                                                                   (5.4)

                                                                                                   (5.5)

                                                                                (5.6)

Вычисления начинаются с t=1. В формуле (5.4) началь­ные значения коэффициентов компетентности принима­ются одинаковыми и равными  Тогда по фор­муле (5.4) групповые оценки объектов первого приближе­ния равны средним арифметическим значениям оценок экспертов [12]

                                                                                                         (5.7)

Далее вычисляется величина  по формуле (5.5) [12]:

                                                                                                                    (5.8)

и значение коэффициентов компетентности первого при­ближения по формуле (5.6) [12]:

                                                                                                                   (5.9)

Используя коэффициенты компетентности первого приближения, можно повторить весь процесс вычисле­ния по формулам (5.4), (5.5), (5.6) и получить вторые приближения величин

Повторение рекуррентной процедуры вычислений оце­нок объектов и коэффициентов компетентности естест­венно ставит вопрос о ее сходимости. Для рассмотрения этого вопроса исключим из уравнений (5.4), (5.6) пере­менные  и  и представим эти уравнения в вектор­ной форме [12]

                                                                              (5.10)

где матрицы  В  размерности  и С  размерности  равны [12]

                                                                                               (5.11)

Величина  в уравнениях (5.10) определяется по фор­муле (5.5).

Если матрицы  В и С неотрицательны и неразложи­мы, то, как это следует из теоремы Перрона – Фробениуса, при  векторы  и  - сходятся к собственным векторам матриц В и С, соответствующим макси­мальным собственным числам этих матриц [12]

                                                                                                          (5.12)

Предельные значения векторов х и k можно вычислить из уравнений [12]:

                                                                                      (5.13)

где  максимальные собственные числа матриц  В  и С.

Условие неотрицательности матриц  В  и С легко вы­полняется выбором неотрицательных элементов  мат­рицы Х оценок объектов экспертами.

Условие неразложимости матриц В и С практически выполняется, поскольку, если эти матрицы разложимы, то это означает, что эксперты и объекты распадаются на независимые группы. При этом каждая группа экс­пертов оценивает только объекты своей группы. Естест­венно, что получать групповую оценку в этом случае нет смысла. Таким образом, условия неотрицательности и неразложимости матриц  В  и С, а следовательно, и условия сходимости процедур (5.4), (5.5), (5.6) в практи­ческих условиях выполняются.

Следует заметить, что практическое вычисление век­торов групповой оценки объектов и коэффициентов ком­петентности проще выполнять по рекуррентным форму­лам (5.4), (5.5), (5.6). Определение предельных значе­ний этих векторов по уравнению (5.13) требует примене­ния вычислительной техники.

Рассмотрим теперь случай, когда эксперты произво­дят оценку множества объектов методом ранжирования так, что величины  есть ранги. Обработка результа­тов ранжирования заключается в построении обобщен­ной ранжировки. Для построения такой ранжировки введем конечномерное дискретное пространство ранжи­ровок и метрику в этом пространстве. Каждая ранжи­ровка множества объектов j-м экспертом есть точка  в пространстве ранжировок.

Ранжировку  можно представить в виде матрицы парных сравнений, элементы которой определим следу­ющим образом [12]:

Очевидно, что , поскольку каждый объект эквива­лентен самому себе. Элементы матрицы  антисим­метричны .

Если все ранжируемые объекты эквивалентны, то все элементы матрицы парных сравнений равны нулю. Та­кую матрицу будем обозначать  и считать, что точка в пространстве ранжировок, соответствующая матрице , является началом отсчета.

Обращение порядка ранжируемых объектов приводит к транспонированию матрицы парных сравнений.

Метрика  как расстояние между i-й и j-й ранжировками определяется единственным образом фор­мулой [12]

если выполнены следующие 6 аксиом [12]:

   1.  причем равенство достигается, если ранжировки  и  тождественны;

   2.

   3.

причем равенство достигается, если ранжировка «лежит между» ранжировками  и . Понятие «лежит между» означает, что суждение о некоторой паре  объектов в ранжировке совпадает с суждением об этой паре либо в , либо в  или же в   в   а в  

4.

где  получается из  некоторой перестановкой объ­ектов, а  из  той же самой перестановкой. Эта ак­сиома утверждает независимость расстояния от перену­мерации объектов.

5. Если две ранжировки ,  одинаковы всюду, за исключением n-элементного множества элементов, явля­ющегося одновременно сегментом обеих ранжировок, то  можно вычислить, как если бы рассматрива­лась ранжировка только этих n-объектов. Сегментом ранжировки называется множество, дополнение которо­го непусто и все элементы этого дополнения находятся либо впереди, либо позади каждою элемента сегмента. Смысл этой аксиомы состоит в том, что если две ранжи­ровки полностью согласуются в начале и конце сегмента, а отличие состоит в упорядочении средних n-объектов, то естественно принять, что расстояние между ранжиров­ками должно равняться расстоянию, соответствующему ранжировкам средних n-объектов.

 6. Минимальное расстояние равно единице.

Пространство ранжиро­вок при двух объектах можно изобразить в виде трех точек, лежащих на одной прямой. Расстояния между точками равны   При трех объектах про­странство всех возможных ранжировок состоит из 13 то­чек.

Используя введенную метрику, определим обобщен­ную ранжировку как такую точку, которая наилучшим образом согласуется с точками, представляющими собой ранжировки экспертов. Понятие наилучшего согласова­ния на практике чаще всего определяют как медиану и среднюю ранжировку.

Медиана есть такая точка в пространстве ранжиро­вок, сумма расстояний от которой до всех точек - ран­жировок экспертов является минимальной. В соответст­вии с определением медиана вычисляется из условия

Средняя ранжировка есть такая точка, сумма квад­ратов расстояний от которой до всех точек – ранжиро­вок экспертов является минимальной. Средняя ранжи­ровка определяется из условия

Пространство ранжировок конечно и дискретно, по­этому медиана и средняя ранжировка могут быть только какими-либо точками этого пространства. В общем слу­чае медиана и средняя ранжировка могут не совпадать ни с одной из ранжировок экспертов.

Если учитывается компетентность экспертов, то ме­диана и средняя ранжировка определяются из условий [12]:

где  -  коэффициенты компетентности экспертов.

Если ранжировка объектов производится по несколь­ким показателям, то определение медианы вначале про­изводится для каждого эксперта по всем показателям, а затем вычисляется медиана по множеству экспертов [12]:

                (j=1,2,…,m);

где  - коэффициенты весов показателей.

Основным недостатком определения обобщенной ран­жировки в виде медианы или средней ранжировки яв­ляется трудоемкость расчетов. Естественный способ отыскания  или   в виде перебора всех точек простран­ства ранжировок неприемлем вследствие очень быстро­го роста равномерности пространства при увеличении количества объектов и, следовательно, роста трудоемко­сти вычислений. Можно свести задачу отыскания  или  к специфической задаче целочисленного программи­рования. Однако это не очень эффективно уменьшает вы­числительные трудности.

Расхождение обобщенных ранжировок при различ­ных критериях возникает при малом числе экспертов и несогласованности их оценок. Если мнения экспертов близки, то обобщенные ранжировки, построенные по критериям медианы и среднего значения, будут совпа­дать.

Сложность вычисления медианы или средней ран­жировки привела к необходимости применения более простых способов построения обобщенной ранжировки.

К числу таких способов относится способ сумм рангов.

Этот способ заключается в ранжировании объектов по величинам сумм рангов, полученных каждым объек­том от всех экспертов. Для матрицы ранжировок  составляются суммы [12]

                    (i=1,2,…,n).

Далее объекты упорядочиваются по цепочке неравенств 

Для учета компетентности экспертов достаточно умножить каждую i-ю ранжировку на коэффициент ком­петентности j-го эксперта  В этом случае вы­числение суммы рангов для i-го объекта производится по следующей формуле [12]:

                (i=1,2,…,n).

Обобщенная ранжировка с учетом компетентности экс­пертов строится на основе упорядочения сумм рангов для всех объектов.

Следует отметить, что построение обобщенной ранжи­ровки по суммам рангов является корректной процеду­рой, если ранги назначаются как места объектов в виде натуральных чисел 1, 2, ..., n. Если назначать ранги произвольным образом, как числа в шкале порядка, то сумма рангов, вообще говоря, не сохраняет условие мо­нотонности преобразования и, следовательно, можно по­лучать различные обобщенные ранжировки при различ­ных отображениях объектов на числовую систему. Нуме­рация мест объектов может быть произведена единст­венным образом с помощью натуральных чисел. Поэтому при хорошей согласованности экспертов построение обобщенной ранжировки по методу сумм рангов дает результаты, согласующиеся с результатами вычисления медианы.

Еще одним более обоснованным в теоретическом от­ношении подходом к построению обобщенной ранжиров­ки является переход от матрицы ранжировок к матрице парных сравнений и вычисление собственного вектора, соответствующего максимальному собственному числу этой матрицы. Упорядочение объектов производится по величине компонент собственного вектора.

3.3. Оценка согласованности мнений экспертов

При ранжировании объектов эксперты обычно расходят­ся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степе­ни согласия экспертов. Получение количественной ме­ры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

В настоящее время известны две меры согласованно­сти мнений группы экспертов: дисперсионный и энтро­пийный коэффициенты конкордации.

Дисперсионный коэффициент конкордации. Рас­смотрим матрицу результатов ранжировки n объектов группой из m экспертов  (j=1,…,m; i=1,…,n), где  - ранг, присваиваемый j-м экспертом i-му объекту. Составим суммы рангов по каждому столбцу. В резуль­тате получим вектор с компонентами [12]

   (i=1,2,…,n).                                                                                                     (5.14)           

Величины  рассмотрим как реализации случайной величины и найдем оценку дисперсии. Как известно, оп­тимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой [12]:

,                                                                                                        (5.15)

где  - оценка математического ожидания, равная

                                                                                                                         (5.16)

Дисперсионный коэффициент конкордации определя­ется как отношение оценки дисперсии (5.15) к макси­мальному значению этой оценки [12]

.                                                                                                                          (5.17)

Коэффициент конкордации изменяется от нуля до еди­ницы, поскольку .

Вычислим максимальное значение оценки дисперсии для случая отсутствия связанных рангов (все объекты различны). Предварительно покажем, что оценка мате­матического ожидания зависит только от числа объек­тов и количества экспертов. Подставляя в (5.16) зна­чение   из (5.14), получаем [12]