Метод экспертных оценок

      2.3. Оcнoвныe этaпы пpoцecca экcпepтнoгo oцeнивaния:  

• фopмиpoвaниe цeли и зaдaч экcпepтнoгo oцeнивaния;
• фopмиpoвaниe гpyппы yпpaвлeния и oфopмлeниe peшeния нa пpoвeдeниe экcпepтнoгo oцeнивaния;
• выбop мeтoдa пoлyчeния экcпepтнoй инфopмaции и cпocoбoв ee oбpaбoтки;
• пoдбop экcпepтнoй гpyппы и фopмиpoвaниe пpи нeoбxoдимocти aнкeт oпpoca;
• oпpoc экcпepтoв (экcпepтизa);
• oбpaбoткa и aнaлиз peзyльтaтoв экcпepтизы;
• интepпpeтaция пoлyчeнныx peзyльтaтoв;
• cocтaвлeниe oтчeтa.

      Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного  мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.  

    2.4. Подбор экспертов 

    Такие формы сбора первичной социологической информации, как анкетирование, интервьюирование, почтовый опрос, телефонное интервью, безличностный опрос с помощью возможностей InterNet или E-mail предназначены прежде всего для массовых опросов. Их особенность заключается в том, что они направлены на  выявления информации, которая отражает знания, мнения, ценностные ориентации и установки резидентов, их отношения к каким-либо явлениям действительности. И то, что эта информация основывается на индивидуальном интересе респондента и может быть весьма субъективна, отнюдь не противоречит научнообразному способу её получения. Наоборот, цель массового опроса заключается в том, чтобы при помощи соответствующего инструментария получить достоверные сведения о предмете и объекте исследования.

    Вышеуказанными  проблемами и занимаются эксперты. Эксперт – это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования.

    Как сформировать группу экспертов? На самом  первом этапе обора в качестве критериев целесообразно использовать два признака: род занятий и  стаж работы по интересующему нас  профилю. При необходимости учитываются также уровень, характер образования, возраст. Центральный среди критериев отбора экспертов – их компетентность. Для определения применимы, с той или иной степенью точности, два метода: самооценка экспертов и коллективная оценка авторитетности экспертов.

    Проблема  подбора экспертов является одной  из наиболее сложных в теории и  практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного  решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы

    Составление списка возможных экспертов облегчается  тогда, когда рассматриваемый вид  экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания, из которого можно выбирать по различным критериям или с помощью датчика псевдослучайных чисел.

    Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов  отсутствуют? Однако и в этом случае у каждого конкретного специалиста  есть некоторое представление о  том, что требуется от эксперта в  подобной ситуации. Для формирования списка есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод "снежного кома" имеет и недостатки. Число туров до остановки процесса наращивания кома нельзя заранее предсказать. Кроме того, ясно, что если на первом этапе все эксперты были из одного "клана", придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод "снежного кома" даст, скорее всего, прежде всего лиц из этого "клана". Мнения и аргументы других "кланов" будут упущены.

    Вопрос  об оценке компетентности экспертов  не менее сложен. Успешность участия  в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.

    Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С  одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям.

    При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3-4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они "вместе пуд соли съели". Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.

    Если  процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд  обстоятельств. Большое значение имеют  их личностные (социально-психологические) качества. Так, один-единственный"говорун" может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы, разработанного рабочей группой.

    Необходимо  подчеркнуть, что подбор экспертов  в конечном счете - функция Рабочей  группы, и никакие методики подбора  не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к лицу, принимающему решение об утверждении списка экспертов. При этом лицо, принимающее решение может как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них - по собственным соображениям, с которыми членам рабочей группы и экспертной комиссии знакомиться нет необходимости.

      При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т.п.) и производят измерение их характеристик (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т.п.). Формирование объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта.

    Измерение характеристик объектов требует от экспертов знания теории измерений. 

    2.5. Особенности метода экспертных  оценок 

    Характерными  особенностями метода экспертных оценок  как научного

инструмента решения сложных неформализуемых  проблем являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.

    Экспертные коллективные оценки широко использовались в государственном масштабе для решения сложных проблем управления народным хозяйством уже в первые годы Советской власти. В 1918 году при Высшем совете народного хозяйства был создан Совет экспертов, задачей которого являлось решение наиболее сложных проблем реорганизации народного хозяйства страны. При составлении пятилетних планов развития народного хозяйства страны систематически использовались экспертные  оценки широкого круга специалистов.

    В настоящее время в нашей стране и за рубежом метод экспертных оценок широко применяется для решения важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют постоянные или временные экспертные комиссии, формирующие решения по различным сложным неформализуемым проблемам.

    Все множество плохо формализуемых  проблем условно можно разделить  на  два класса. К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом  методы опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип означает, что выполняются следующие гипотезы:

    1) эксперт является хранилищем  большого объема  рационально   обработанной информации, и поэтому он может рассматриваться как качественный источник информации;

    2) групповое мнение экспертов близко  к истинному решению проблемы.

    Если  эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики.

    Ко  второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка. 

    2.6. Задачи, решаемые методом экспертных  оценок 

    Область применения метода экспертных оценок весьма широка. Перечислим типовые задачи, решаемые методом экспертных оценок:

    1) составление перечня возможных  событий в различных областях за определенный промежуток времени;

    2) определение наиболее вероятных  интервалов времени свершения совокупности событий;

    3) определение целей и задач управления с упорядочением их по степени важности;

    4) определение альтернативных (вариантов решения задачи с оценкой их предпочтения;

    5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

    6) альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности.

    Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок. К основным видам относятся: анкетирование и интервьюирование; мозговой штурм; дискуссия; совещание; оперативная игра; сценарий.

    Каждый  из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное  применение нескольких видов экспертизы.