Методологические принципы метода экспертных оценок в социологии

    При использовании метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы.

1.2. Виды метода экспертных оценок

Существует масса методов получения экспертных оценок. Рассмотрим их по подробнее.

 Ранжирование. Метод представляет собой процедуру упорядочения объектов, выполняемую экспертом. На основе знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателями сравнения. В зависимости от вида отношений между объектами возможны различные варианты упорядочения объектов.

Рассмотрим  эти варианты. Пусть среди объектов нет одинаковых по сравниваемым показателям, т.е. нет эквивалентных объектов. В этом случае между объектами существует только отношение строгого порядка. В результате сравнения всех объектов по отношению строгого порядка составляется упорядоченная последовательностьгде объект с первым номером является наиболее предпочтительным из всех объектов, объект со вторым номером менее предпочтителен, чем первый объект, но предпочтительнее всех остальных объектов и т.д. Полученная система объектов с отношением строгого порядка при условии сравнимости всех объектов по этому отношению образует полный строгий порядок. Для этого отношения доказано существование числовой системы, элементами которой являются действительные числа, связанные между собой отношением неравенства >. Это означает, что упорядочению объектов соответствует упорядочение чиселВозможна и обратная последовательностьв которой наиболее предпочтительному объекту приписывается наименьшее число и по мере убывания предпочтения объектам приписываются большие числа.

Соответствие  перечисленных последовательностей, т.е. их гомоморфизм, можно осуществить, выбирая любые числовые представления. Единственным ограничением является монотонность преобразования. Следовательно, допустимое преобразование при переходе от одного числового представления к другому должно обладать свойством монотонности. Таким свойством допустимого преобразования обладает шкала порядков, поэтому ранжирование объектов есть измерение в порядковой шкале.

В практике ранжирования чаще всего применяется  числовое представление последовательности в виде натуральных чисел:т.е. используется числовая последовательность. Числах1, х2,..., xN в этом случае называются рангами и обычно обозначаются буквами г,, г2, ... , rN. Применение строгих численных отношений «больше» (>), «меньше» (<) или «равно» (=) не всегда позволяет установить порядок между объектами. Поэтому наряду с ними используются отношения для определения большей или меньшей степени какого-то качественного признака (отношения частичного порядка, например полезности), отношения типа «более предпочтительно» (>), «менее предпочтительно» (<), «равноценно» (=) или «безразлично» (~). Такое упорядочение образует нестрогий линейный порядок.

Для отношения нестрогого линейного  порядка доказано существование  числовой системы с отношениями  неравенства и равенства между числами, описывающими свойства объектов. Любые две числовые системы для нестрогого линейного порядка связаны между собой монотонным преобразованием. Следовательно, ранжирование при условии наличия эквивалентных объектов представляет собой измерение также в порядковой шкале.

В практике ранжирования объектов, между которыми допускаются отношения как строгого порядка, так и эквивалентности, числовое представление выбирается следующим образом. Наиболее предпочтительному  объекту присваивается ранг, равный единице, второму по предпочтительности - ранг, равный двум, и т.д. Для эквивалентных объектов удобно с точки зрения технологии последующей обработки экспертных оценок назначать одинаковые ранги, равные среднеарифметическому значению рангов, присваиваемых одинаковым объектам. Такие ранги называют связанными рангами. Для приведенного примера упорядочения на основе нестрогого линейного порядка при N - 10 ранги объектов а3. а4, а5 будут равными.

В этом же примере ранги объектов а9, а0 также одинаковы и равны среднеарифметическому. Связанные ранги могут оказаться дробными числами. Удобство использования связанных рангов заключается в том, что сумма рангов N объектов равна сумме натуральных чисел от единицы до N. При этом любые комбинации связанных рангов не изменяют эту сумму. Данное обстоятельство существенно упрощает обработку результатов ранжирования при групповой экспертной оценке.

При групповом ранжировании каждый S-й  эксперт присваивает каждому  объекту ранг riS. В результате проведения экспертизы получается матрица рангов размерности Nk, где к - число экспертов; N - число объектов;

Аналогичный вид имеет таблица, если осуществляется ранжирование объектов одним экспертом  по нескольким показателям сравнения. При этом в таблице вместо экспертов  в соответствующих графах указываются показатели. Напомним, что ранги объектов определяют только порядок расположения объектов по показателям сравнения. Ранги как числа не дают возможности сделать вывод о том, на сколько или во сколько раз предпочтительнее один объект по сравнению с другим.

 Достоинство ранжирования как метода экспертного измерения - простота осуществления процедур, не требующая трудоемкого обучения экспертов. Недостатком ранжирования является практическая невозможность упорядочения большого числа объектов. Как показывает опыт, при числе объектов, большем 10-15, эксперты затрудняются в построении ранжировки. Это объясняется тем, что в процессе ранжирования эксперт должен установить взаимосвязь между всеми объектами, рассматривая их как единую совокупность. При увеличении числа объектов количество связей между ними растет пропорционально квадрату числа объектов. Сохранение в памяти и анализ большой совокупности взаимосвязей между объектами ограничиваются психологическими возможностями человека. Психология утверждает, что оперативная память человека позволяет оперировать в среднем не более чемобъектами одновременно. Поэтому при ранжировании большого числа объектов эксперты могут допускать существенные ошибки.

Парное сравнение. Этот метод представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар. В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов является более простой задачей. При сравнении пары объектов возможно либо отношение строгого порядка, либо отношение эквивалентности. Отсюда следует, что парное сравнение так же, как и ранжирование, есть измерение в порядковой шкале.

Результаты сравнения  всех пар объектов удобно представлять в виде матрицы. Пусть, например, имеются  пять объектов «,, а2, аг, а4, а5 и проведено парное сравнение этих объектов по предпочтительности. Результаты сравнения представлены в виде

 В таблице  на диагонали всегда будут расположены единицы, поскольку объект эквивалентен себе. Представление (2) характерно для отображения результатов спортивных состязаний. За выигрыш даются два очка, за ничью одно и за проигрыш ноль очков (футбол, хоккей и т.п.). Предпочтительность одного объекта перед другим трактуется в данном случае как выигрыш одного участника турнира у другого. Таблица результатов измерения при использовании числового представления не отличается от таблиц результатов спортивных турниров за исключением диагональных элементов (обычно в турнирных таблицах диагональные элементы заштрихованы).

Вместо представления (2) часто используют эквивалентное ему представление которое получается из (2) заменой 2 на +1, 1 на 0 и 0 на 1.

Если сравнение  пар объектов производится отдельно по различным показателям или  сравнение осуществляет группа экспертов, то по каждому показателю или эксперту составляется своя таблица результатов парных сравнений. Сравнение во всех возможных парах не дает полного упорядочения объектов, поэтому возникает задача ранжирования объектов по результатам их парного сравнения.

Однако, как показывает опыт, эксперт далеко не всегда последователен в своих предпочтениях. В результате использования метода парных сравнений эксперт может указать, что объект а, предпочтительнее объекта а- а2 предпочтительнее объекта а3ив то же время а3 предпочтительнее объекта av. В случае разбиения объекта на классы эксперт может к одному классу отнести пары а, и а2, а2, и а3, но в то же время объекты а, и а3 отнести к различным классам. Такая непоследовательность эксперта может объясняться различными причинами: сложностью задачи, неочевидностью предпочтительности объектов или разбиения их на классы (в противном случае, когда все очевидно, проведение экспертизы необязательно), недостаточной компетентностью эксперта, недостаточно четкой постановкой задачи, многокритериальностью рассматриваемых объектов и т.д.

Непоследовательность  эксперта приводит к тому, что в  результате парных сравнений при  определении сравнительной предпочтительности объектов мы не получаем ранжирования и даже отношений частичного порядка  не выполнено свойство транзитивности.

Если целью  экспертизы при определении сравнительной  предпочтительности объектов является получение ранжирования или частичного упорядочения, необходима их дополнительная идентификация. В этих случаях имеет  смысл в качестве результирующего отношения выбирать отношение заданного типа, ближайшее к полученному в эксперименте.

Множественные сравнения. Они отличаются от парных тем, что экспертам последовательно предъявляются не пары, а тройки, четверки,..., n-ки (n<N) объектов. Эксперт их упорядочивает по важности или разбивает на классы в зависимости от целей экспертизы. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием. С одной стороны, они позволяют использовать больший, чем при парных сравнениях, объем информации для определения экспертного суждения в результате одновременного соотнесения объекта не с одним, а с большим числом объектов. С другой стороны, при ранжировании объектов их может оказаться слишком мно-го, что затрудняет работу эксперта и сказывается на качестве результатов экспертизы. В этом случае множественные сравнения позволяют уменьшить до разумных пределов объем поступающей к эксперту информации.

Непосредственная оценка. Метод заключается в присваивании объектам числовых значений в шкале интервалов. Эксперту необходимо поставить в соответствие каждому объекту точку на определенном отрезке числовой оси. При этом необходимо, чтобы эквивалентным объектам приписывались одинаковые числа. Поскольку за начало отсчета выбрана нулевая точка, то в данном примере измерение производится в шкале отношений. Эксперт соединяет каждый объект линией с точкой числовой оси и получает числовые представления.

Измерения в шкале  интервалов могут быть достаточно точными  при полной информированности экспертов о свойствах объектов. Эти условия на практике встречаются редко, поэтому для измерения применяют балльную оценку. При этом вместо непрерывного отрезка числовой оси рассматривают участки, которым приписываются баллы.

Эксперт, приписывая объекту балл, тем самым измеряет его с точностью до определенного отрезка числовой оси. Применяются 5-, 10- и 100-балльные шкалы.

Метод Черчмена Акоффа (последовательное сравнение). Этот метод относится к числу наиболее популярных при оценке альтернатив. В нем предполагается последовательная корректировка оценок, указанных экспертами. Основные предположения, на которых основан метод, состоят в следующем:

- каждой альтернативеставится  в соответствие действительное  неотрицательное число

- если альтернатива ai предпочтительнее альтернативы а,, тоесли же альтернативы а{ и а. равноценны, то

- если оценки  альтернатив а{ и а, то соответствует  совместному осуществлению альтернатив  ai и а-. Наиболее сильным является  последнее предположение об аддитивности  оценок альтернатив.

Согласно методу Черчмена-Акоффа альтернативы а,, а2, ... , аn ранжируются по предпочтительности. Пусть для удобства изложения альтернатива а, наиболее предпочтительна, за ней следует а2 и т.д. Эксперт указывает предварительные численные оценки ф (а) для каждой из альтернатив. Иногда наиболее предпочтительной альтернативе приписывается оценка 1, остальные оценки располагаются между 0 и 1 в соответствии с их предпочтительностью. Затем эксперт производит сравнение альтернативы а, и суммы альтернатив а2, aN. Если ах предпочтительнее, то эксперт корректирует оценки так, чтобы

Если альтернатива а, оказывается менее предпочтительной, то для уточнения оценок она сравнивается по предпочтению с суммой альтернатив  а2,аъ,..., aN_} и т.д. После того как  альтернатива а, оказывается предпочтительнее суммы альтернатив она исключается из рассмотрения, а вместо оценки альтернативы ах рассматривается и корректируется оценка альтернативы а2. Процесс продолжается до тех пор, пока откорректированными не окажутся оценки всех альтернатив.

При достаточно большом N применение метода Черчмена-Акоффа становится слишком трудоемким. В этом случае целесообразно разбить альтернативы на группы, а одну из альтернатив, например максимальную, включить во все группы. Это по-( зволяет получить численные оценки всех альтернатив с помощью оценивания внутри каждой группы.

Метод Черчмена-Акоффа. Является одним самых эффективных. Его можно успешно использовать при измерениях в шкале отношений. В этом случае определяется наиболее предпочтительная альтернатива ап. Ей присваивается максимальная оценка. Для всех остальных альтернатив эксперт указывает, во сколько раз они менее предпочтительны, чем ап. Для корректировки численных оценок альтернатив можно использовать как стандартную процедуру метода Черчмена-Акоффа, так и попарное сравнение предпочтительности альтернатив. Если численные оценки альтернатив не совпадают с представлением эксперта об их предпочтительности, производится корректировка.

Метод фон Неймана-Моргенштерна. Он заключается в получении численных оценок альтернатив с помощью так называемых вероятностных смесей. В основе метода лежит предположение, согласно которому эксперт для любой альтернативы «,, менее предпочтительной, чем а{, но более предпочтительной, чем с/, может указать число такое, что альтернатива а. эквивалентна смешанной альтернативе (вероятностной смеси)Смешанная альтернатива состоит в том, что альтернатива а; выбирается с вероятностью Р, а альтернатива а/- с вероятностью /Р. Очевидно, что если Р достаточно близко к 1, то альтернатива менее предпочтительна, чем смешанная альтернатива В литературе помимо упомянутого выше предположения рассматривается система предположений (аксиом) о свойствах смешанных и несмешанных альтернатив. К числу таких предположений относятся предположение о связности и транзитивности отношения предпочтительности альтернатив, предположение о том, что смешанная альтернатива и др.