Методы экспертных оценок

Достоинством метода является простота его реализации. Однако на совещании  может быть принято ошибочное  мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.

Метод комиссий – один из методов экспертных оценок, основанный на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод написания сценария основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Своеобразным сценарием может быть описание последовательности и условий международной интеграции хозяйства стран, включающее следующие вопросы:

• от каких простейших форм к более сложным должен пройти этот процесс;
• как он повлияет на национальное хозяйство и экономические связи стран;
• каковы финансовые, организационные, социальные, юридические проблемы, которые могут возникнуть в ходе интернационализации хозяйства.

Прогнозный сценарий определяет стратегию развития прогнозируемого  объекта. Он должен отражать генеральную  цель развития объекта, критерии оценки верхних уровней дерева целей, приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.

Сценарий должен быть написан так, чтобы после ознакомления с ним  стала ясна генеральная цель проводимой работы в свете социально-экономических задач на прогнозный период.

Он обычно носит многовариантный  характер и освещает три линии  поведения:

• оптимистическую – развитие системы в наиболее благоприятной ситуации;
• пессимистическую – развитие системы в наименее благоприятной ситуации;
• рабочую – развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно.

В рамках прогнозного  сценария целесообразно прорабатывать  резервную стратегию на случай непредвиденных ситуаций.

Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.

Метод суда является разновидностью метода "совещаний" и реализуется по аналогии с ведением судебного процесса.

• В роли "подсудимых" выступают выбираемые варианты решения;
• В роли "судей" – лица, принимающие решение;
• В роли "прокуроров" и "защитников" – члены экспертной группы.

Роль "свидетелей" выполняют различные условия выбора и доводы экспертов. При ведении такого "судебного процесса" отклоняются или принимаются те или иные решения.

Метод "суда" целесообразно  использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.

Методы получения  индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы "Дельфи". Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Метод «Дельфи». Цель – разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта. Особенности метода Дельфи:

1. анонимность экспертов (участники экспертной группы неизвестны друг другу, взаимодействие членов группы при заполнении анкет полностью исключается);
2. возможность использования результатов предыдущего тура опроса;
3. статистическая характеристика группового мнения.

Этот метод помогает предопределить развитие проблемных ситуаций, носящих долгосрочный характер. Наши специалисты, работающие в области научно-технического прогнозирования, также разрабатывают методы обработки экспертных оценок. Они носят название эвристических.

Метод интервью предполагает беседу прогнозиста с экспертом по схеме вопрос – ответ, в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по разным вопросам.

Аналитический метод предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода – возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4. Обработка  результатов опроса экспертов.

экспертный коллективный индивидуальный опрос

Перейдем к рассмотрению процедур, выполняемых на этапе обработки  результатов опроса.

На базе оценок экспертов получается обобщенная информация об исследуемом объекте (явлении) и формируется решение, задаваемое целью экспертизы. При обработке индивидуальных оценок экспертов используют различные количественные и качественные методы. Выбор того или иного метода зависит от сложности решаемой проблемы, формы, в которой представлены мнения экспертов, целей экспертизы.

Чаще всего при обработке  результатов опроса используются методы математической статистики.

В зависимости от целей  экспертизы при обработке оценок могут решаться следующие проблемы:

• формирование обобщенной оценки;
• определение относительных весов объектов;
• установление степени согласованности мнений экспертов и др.

Далее рассмотрим некоторые  методы решения каждой из перечисленных задач.

1. Формирование обобщенной оценки

Итак, пусть группа экспертов  оценила какой-либо объект, тогда x_j – оценка j-го эксперта, , где m – число экспертов.

Для формирования обобщенной оценки группы экспертов чаще всего  используются средние величины. Например, медиана (M_E), за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.

Может использоваться также  точечная оценка для группы экспертов, вычисляемая как среднее арифметическое:

 

2. Определение относительных весов объектов

Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки  зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора.

Один из методов определения весов состоит в следующем. Пусть x_ij – оценка фактора i, данная j-ым экспертом, , , n – число сравниваемых объектов, m – число экспертов. Тогда вес i-го объекта, подсчитанный по оценкам всех экспертов (w_i), равен:

 где w_ij – вес i-го объекта, подсчитанный по оценкам j-го эксперта, равен:

 

  .

 

3. Установление степени согласованности мнений экспертов

В случае участия в  опросе нескольких экспертов расхождения  в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.

Для анализа разброса и согласованности оценок применяются  статистические характеристики – меры разброса.

Вариационный размах (R):

 

R = x_max – x_min,

 

где x_{max –} максимальная оценка объекта;

x_min – минимальная оценка объекта.

Среднее квадратическое отклонение, вычисляемое по известной  формуле:

 

 

где xj – оценка, данная j-ым экспертом;

m – количество экспертов.

Коэффициент вариации (V), который обычно выражается в процентах:

 

 

Специфичны подходы  к проверке согласованности, используемые при оценке объектов методом ранжирования.

В этом случае результатом  работы эксперта является ранжировка, представляющая собой последовательность рангов (для эксперта j): x_1j, x_2j, …, x_nj.

Согласованность между  ранжировками двух экспертов можно  определить с помощью коэффициента ранговой корреляции Спирмэна:

 

 

где x_ij – ранг, присвоенный i-му объекту j-ым экспертом;

x_ik – ранг, присвоенный i-му объекту k-ым экспертом;

d_i – разница между рангами, присвоенными i-му объекту.

Величина может изменяться в диапазоне от -1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.

Кроме того, расчет коэффициента ранговой корреляции может применяться  как способ оценки взаимоотношений  между каким-либо фактором и результативным признаком (реакцией) в тех случаях, когда признаки не могут быть измерены точно, но могут быть упорядочены.

В этом случае значение коэффициента Спирмэна может быть интерпретировано подобно значению коэффициента парной корреляции. Положительное значение свидетельствует о прямой связи  между факторами, отрицательное – об обратной, при этом, чем ближе абсолютное значение коэффициента к единице, тем теснее связь.

Когда необходимо определить согласованность в ранжировках  большого (более двух) числа экспертов, рассчитывается так называемый коэффициент  конкордации – общий коэффициент  ранговой корреляции для группы, состоящей из m экспертов:

 

Где

 

Заметим, что вычитаемое в скобках представляет собой  не что иное, как среднюю сумму  рангов (при суммировании для каждого  объекта), полученных i объектами от экспертов.

Коэффициент W изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее согласованными являются оценки экспертов.

 

 

 

 

Отчет.

Вариант 4.

4.1 Выбор оптимальных  проектов для финансирования.

Управляющему банка  были предоставлены четыре проекта, претендующие на получение кредита  в банке. Ресурс банка в каждый период, потребности проектов и прибыль по ним (тыс.дол.) приведены в таблице.

 

Проект	Период 1	Период 2	Период 3	Период 4	Прибыль
А	8	8	10	10	21
В	7	9	9	11	18
С	5	7	9	11	16
D	9	8	7	6	17.5
Ресурс банка	22	25	38	30