Проблемы и методы экспертного оценивания

- наличие экспертной  комиссии, состоящей из специалистов, профессионально знакомых с объектом  экспертизы, и имеющих опыт работы  эксперта;

 
  - наличие аналитической группы, профессионально владеющей технологией  организации и проведения экспертиз,  методами получения и анализа  экспертной информации;

 
  - получение достоверной экспертной  информации;

 
  - корректная обработка и анализ  экспертной информации. 

Отсутствие  любого из перечисленных условий  ставит под сомнение эффективность  и корректность проводимой экспертизы.

Укажем основные проблемы совершенствования и развития экспертных технологий. 
 

1. Формирование экспертной комиссии

Одной из центральных  проблем при формировании экспертной комиссии является определение качества эксперта. При формировании экспертной комиссии необходимо предусмотреть  возможность эффективного взаимодействия экспертов, входящих в её состав, с  целью получения полной и адекватной оценки объекта экспертизы.

Следует обратить на реализованную в автоматизированных системах экспертного оценивания задачу автоматизированного подбора экспертов для оценки объекта экспертизы с учетом их профессиональных знаний и опыта. При этом может решаться и обратная задача подбора для эксперта объектов, с которыми он профессионально наиболее знаком. 

2. Организация и проведение экспертиз

Ряд работ  посвящен организации и проведению экспертиз. Это, прежде всего, работы по систематизации многочисленных разновидностей метода Делфи, касающиеся, в основном, совершенствования процедур обмена информацией между экспертами в процессе экспертизы.

Для экспертизы сложных объектов, в частности, для  экспертизы и прогнозирования научно-технических  объектов, развивались и совершенствовались такие методы как ПАТТЕРН, методы Глушкова и Поспелова, система АСАС, различные разновидности использования  метода деревьев целей и критериев  и др. Разрабатывались механизмы  выявления экспертных знаний и оценок.

В настоящее  время все большее значение приобретает  проведение комплексных экспертиз  при оценке сложных объектов. 

3. Получение экспертной информации

Широкое распространение  получили методы экспертных ранжирований и гиперупорядочений, классификаций, парные и множественные сравнения, методы Терстоуна и Черчмена-Акофа, метод векторов предпочтений и др.

Естественно, что различные виды экспертной информации требуют как различных методов  ее получения, так и различных  методов обработки.

При практическом использовании значительное внимание уделяется как качественным, так  и количественным методам получения  экспертной информации.

Широко используется и развивается язык бинарных отношений  для единообразного представления  как количественной, так и качественной экспертной информации.

Разрабатываются методы измерения экспертной информации. К числу основных проблем относятся:

- проблема  представимости экспертной информации, 
  - проблема единственности измерений, 
  - проблема адекватности.

Последняя особенно важна для определения корректных преобразований экспертной информации при расчетах результирующих экспертных оценок - результата работы экспертных комиссий.

Проблема единственности измерений экспертной информации тесно  связана с введением основных шкал теории измерений: шкал интервалов, разностей, отношений, порядковых шкал и т.д. 

4. Определение результирующих экспертных оценок

Одной из центральных  проблем обработки экспертной информации является определение результирующих экспертных оценок - результата коллективной работы экспертов. Для этой цели был  введен аналог расстояния - мера близости между ранжированиями, классификациями и т.д.

Это позволило  разработать корректные способы  определения результирующих экспертных оценок. Получены первые результаты, определяющие целесообразность использования тех или иных видов результирующих в зависимости от характера экспертной информации.

Установлена связь между методами определения  результирующих экспертных оценок и  принципами коллективного выбора. 
 

5. Многокритериальные оценки

Многолетний опыт использования методов и  процедур экспертного оценивания показал, что во многих случаях, хотя и не во всех, оценки объектов экспертизы экспертами оказывались более точными при  использовании методов многокритериального  оценивания.

Развитие получили методы определения факторов, характеризующих  объекты экспертизы. В частности, многомерное шкалирование, факторный анализ, статистические методы определения существенных факторов. Развивались методы оценки их сравнительной весомости, принципы принятия решений на основе оценок объектов по многим критериям, далеко не всегда сводящиеся к сверткам. Проведена систематизация и классификация принципов выбора и анализ результатов их использования при принятии решений.

Применяются композиционные принципы выбора. Решаются задачи многокритериальной оптимизации, существенно использующие экспертную информацию. 

6. Анализ результатов экспертизы

Полученная  экспертная информация обязательно  должна быть проанализирована. Получили развитие методы оценки согласованности  экспертных суждений, высказанных в  виде ранжирований, парных сравнений  и т.д. При этом установлена связь  между коэффициентами ранговой корреляции, характеризующими согласованность  экспертных суждений.

На основании  оценки степени согласованности  экспертных суждений определяются коалиции экспертов - "единомышленников". Разработаны  методы оценки непротиворечивости экспертных суждений. Особенно такой анализ актуален при использовании метода парных сравнений.

Развиваются методы оценки точности экспертных суждений. При этом большее развитие получили методы оценки сравнительной точности экспертных суждений при использовании  различных критериев точности.

Скорее поставлены, чем решены проблемы оценки степени  конъюнктурности, конформизма и  других факторов, характеризующих адекватность экспертной информации.

7. Компьютерные системы поддержки

Характерным для современного этапа использования  методов экспертного оценивания является широкое применение компьютерных систем поддержки.

К числу таких  систем могут быть отнесены экспертные системы, позволяющие использовать знания и опыт экспертов - специалистов высокой квалификации специалистами  менее высокой квалификации для  решения задач, возникающих в  их практической деятельности.

Системы поддержки  принятия решений, находящие применение в различных областях, в качестве одной из основных составляющих используют результаты экспертного оценивания.

Однако наиболее важным классом компьютерных систем, позволяющих обеспечить сопровождение  и поддержку непосредственно  процедур получения, обработки и  анализа экспертной информации являются автоматизированные системы экспертного оценивания (АСЭО).

АСЭО обеспечивают технологическое сопровождение, необходимое  методическое и информационное обеспечение  процесса экспертного оценивания при  организации и проведении экспертиз  с учетом специфического характера  проводимой экспертизы. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

2.2. Метод экспертных оценок  

Сущность метода экспертных оценок заключается в  проведении экспертами интуитивно-логического  анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов  принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического  мышления и количественных оценок с  их формальной обработкой позволяет  получить эффективное решение проблемы. 
       При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т. п.) и производят измерение их характеристик (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т. п.). Формирование объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта. Измерение характеристик объектов требует от экспертов знания теории измерений. 
       Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.       

В настоящее  время в нашей стране и за рубежом  метод экспертных оценок широко применяется  для решения важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют  постоянные или временные экспертные комиссии, формирующие решения по различным сложным неформализуемым проблемам. 
       Все множество плохо формализуемых проблем условно можно разделить на два класса. К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом методы опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип означает, что выполняются следующие гипотезы: 
       1) эксперт является хранилищем большого объема рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации; 
       2) групповое мнение экспертов близко к истинному решению проблемы. 
       Если эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики. 
       Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка. 
       Область применения метода экспертных оценок весьма широка. Перечислим типовые задачи, решаемые методом экспертных оценок: 
       

1) составление перечня возможных событий в различных областях за определенный промежуток времени; 
       2) определение наиболее вероятных интервалов времени свершения совокупности событий; 
       3) определение целей и задач управления с упорядочением их по степени важности; 
       4) определение альтернативных (вариантов решения задачи с оценкой их предпочтения; 
       5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности; 
       6) альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности. 
       Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок. К основным видам относятся: анкетирование и интервьюирование, мозговой штурм, дискуссия, совещание, оперативная игра, сценарий. 
       Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы. 
       Анкетирование и сценарий предполагают индивидуальную работу эксперта. Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов. 
       При использовании метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы. 

2.3. Организация экспертного оценивания

Первым этапом организации работ по применению экспертного оценивания является подготовка и издание руководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы: постановка задачи-эксперимента, цели эксперимента, обоснование необходимости эксперимента, сроки выполнения работ, задачи и состав группы управления, обязанности и права группы, финансовое и материальное обеспечение работ. 
       Для подготовки этого документа, а также для руководства всей работой назначается руководитель экспертизы. На него возлагается формирование группы управления и ответственность за организацию ее работы. 
       После формирования, группа управления осуществляет работу по подбору экспертной группы примерно в такой последовательности: уяснение решаемой проблемы; определение круга областей деятельности, связанных с проблемой; определение долевого состава экспертов по каждой области деятельности; определение количества экспертов в группе; составление предварительного списка экспертов с учетом их местонахождения; анализ качеств экспертов и уточнение списка экспертов в группе; получение согласия экспертов на участие в работе; составление окончательного списка экспертной группы. 
       Параллельно с процессом формирования группы экспертов группа управления проводит разработку организации и методики проведения опроса экспертов. При этом решаются следующие вопросы: место и время проведения опроса, количество и задачи туров опроса, форма проведения опроса, порядок фиксации и сбора результатов опроса, состав необходимых документов. 
       Следующим этапом работы группы управления является определение организации и методики обработки, данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы обработки, силы и средства для проведения обработки. 
       В процессе непосредственного проведения опроса экспертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответствии с разработанным планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами. 
       Последним этапом работ для группы управления является оформление результатов работы. На этом этапе производится анализ результатов экспертного оценивания, составление отчета, обсуждение и одобрение результатов, представление итогов работы на утверждение, ознакомление с результатами экспертизы организаций и лиц.