Проблемы и методы экспертного оценивания

2.4. Подбор экспертов  

Для реализации процедуры экспертного оценивания необходимо сформировать группу экспертов. Общим требованием при формировании группы экспертов является эффективное  решение проблемы экспертизы. Эффективность  решения проблемы определяется характеристиками достоверности экспертизы и затрат на нее. 
       Достоверность экспертного оценивания может быть определена только на основе практического решения проблемы и анализа ее результатов. Использование экспертов как раз и обусловлено тем, что отсутствуют какие-либо другие способы получения информации. Поэтому оценка достоверности экспертизы может осуществляться, как правило, только по апостериорным (послеопытным) данным. Если экспертиза проводится систематически с примерно одним и тем же составам экспертов, то появляется возможность накопления статистических данных по достоверности работы группы экспертов и получения устойчивой числовой оценки достоверности. Эту оценку можно использовать в качестве априорных данных о достоверности группы экспертов для последующих экспертиз. 
       Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характеристик экспертов. 
       Определение характера зависимости достоверности от перечисленных факторов является еще одной проблемой процедуры подбора экспертов. 
       Сложной проблемой процедуры подбора является формирование системы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу. Важным требованием к характеристикам эксперта является измеримость этих характеристик. 
       Еще одной проблемой является организация процедуры подбора экспертов, т.е. определение четкой последовательности работ, выполняемых в процессе подбора экспертов и необходимых ресурсов для их реализации. 
       Максимальное число экспертов в группе проверяется на ограничение по финансовым ресурсам. Определив зависимость между достоверностью, количеством экспертов и расходами на оплату, группа управления представляет руководству эту информацию и формулирует возможные альтернативы решений. Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего выполнение ограничения по расходам на оплату экспертов, либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов. 
       Следующим этапом работы по подбору экспертов является составление предварительного списка экспертов. При составлении этого списка проводится анализ качеств экспертов. Кроме учета качеств экспертов, определяются их местонахождение и возможности участия выбранных специалистов в экспертизе. При оценке качеств учитывается мнение людей, хорошо знающих кандидатов в эксперты. 
       После составления списка экспертов им направляются письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности. Получив ответы экспертов, группа управления составляет окончательный список группы экспертов. 
       После составления и утверждения списка экспертам посылается сообщение о включении их в состав экспертной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высылается анкета с необходимыми инструкциями для их заполнения. Сообщением экспертам о включении их в экспертизу заканчивается работа по подбору экспертов.          
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

 
        2.5. Роль экспертов.         

Особое значение в управлении сейчас приобретают  методы оптимизации, основанные на применении формальных, чаще всего математических моделей, обеспечивающих экономию времени  и средств при решении многих практических задач. Построение моделей помогает привести сложные и подчас неопределенные факторы, связанные с проблемой принятия решений, в логически стройную схему, определить, какие данные необходимы для оценки и выбора альтернатив. 
       В процессе управления возникает естественное стремление к отысканию решения, которое объективно является наилучшим из всех возможных. В качестве инструмента оптимизации сейчас широко используется математическое программирование. Успехи в применении математического программирования к решению различного рода хозяйственных, научных, технических и военных задач породили методологические воззрения, согласно которым кардинальное решение проблем управления возможно только тогда, когда все его аспекты отображаются в системе взаимосвязанных математических моделей. 
              Принимая решения, мы обычно предполагаем, что информация, используемая для их обоснования, достоверно и надежна. Но для многих экономических и научно-технических задач, являющихся по своему характеру качественно новыми и неповторяющимися, это предположение либо заведомо не реализуется, либо в момент принятия решения его не удается доказать. 
       Наличие информации и правильность ее использования в значительной степени предопределяют оптимальность выбранного решения. Кроме данных, состоящих из числовых статистических величин, информация включает в себя другие, не поддающиеся непосредственному измерению величины, например, предположения о возможных решениях и их результатах. Практика показывает, что основные трудности, возникающие при поиске и выборе деловых решений, обусловлены прежде всего недостаточно высоким качеством и неполнотой имеющейся информации. 
       Основные трудности, связанные с информацией, возникающие при выработке сложных решений, можно подразделить на следующие группы. 
       Во-первых, исходная статистическая информация зачастую бывает недостаточно достоверной. 
       Во-вторых, некоторая часть информации имеет качественный характер и не поддается количественной оценке. Так, нельзя точно рассчитать степень влияния социальных и политических факторов на реализацию планов, оценить экономический эффект будущих изобретений и т.д. Но, поскольку эти факторы и явления оказывают существенное влияние на результаты решений, их нельзя не учитывать. 
       В-третьих, в процессе подготовки решений часто возникают ситуации, когда в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств. 
       В-четвертых, существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать. 
       В-пятых, одна из наиболее существенных трудностей при выборе решений состоит в том, что любая научная или техническая идея содержит в себе потенциальную возможность различных схем ее реализации, а любое экономическое действие может приводить к многочисленным исходам. Проблема выбора наилучшего варианта решения может возникнуть и потому, что обычно существуют ограничения в ресурсах, а следовательно, принятие одного варианта всегда связано с отказом от других решений. 
       В-шестых, при выборе наилучшего решения мы нередко сталкиваемся с многозначностью обобщенного критерия, на основе которого можно произвести сравнение возможных исходов. Многозначность, многомерность и качественное различие показателей являются серьезным препятствием для получения обобщенной оценки относительной эффективности, важности, ценности или полезности каждого из возможных решений. 
       В связи с этим одна из главных особенностей решения сложных проблем состоит в том, что применение расчетов здесь всегда переплетается с использованием суждений руководителей, ученых, специалистов. Эти суждения позволяют хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов. Закономерность развития науки и техники состоит в том, что новые знания, научно-техническая информация накапливаются в течение длительного периода времени. Нередко это накопление идет в скрытой форме в сознании ученых и разработчиков. Они, как никто другой, способны оценить перспективы той области, в которой работают, и предвидеть характеристики тех систем, в создании которых непосредственно участвуют. 

2.6. Опрос экспертов  

Опрос – главный  этап совместной работы группы управления и экспертов. Основным содержанием  опроса является: 
       - постановка задачи и предъявление вопросов экспертам; 
       - информационное обеспечение работы экспертов; 
       - выработка экспертами суждений, оценок, предложений; 
       - сбор результатов работы экспертов. 
       Можно назвать три типа задач, которые решаются в процессе опроса: 
       - оценка качественная или количественная заданных объектов; 
       - построение новых объектов; 
       - построение и оценка новых объектов. 
       При коллективной экспертизе используются следующие основные виды опроса: дискуссия, анкетирование и интервьюирование, метод коллективной генерации идей, или мозговой штурм. 
       Анкетирование может проводиться с обратной связью или без нее. При анкетировании с обратной связью опрос экспертов производится в несколько этапов с доведением до сведения экспертов некоторых результатов опроса на предыдущем этапе, включая оценки отдельных экспертов и их аргументацию. 
       Главным в организации опроса является обеспечение максимума информации и максимума творческой активности, самостоятельности эксперта. Необходимо стремиться довести до каждого эксперта по возможности всю информацию, относящуюся к анализируемому явлению, которой располагают как эксперты, так и организаторы опроса, не лишая в то же время эксперта творческой самостоятельности и активности. 
       Однако возможности эксперта по переработке информации ограниченны. В результате эксперт может принять решение, не используя всей информации, имеющейся в его распоряжении. Кроме того, новая информация воспринимается человеком с определенным внутренним сопротивлением и не сразу влияет на уже сложившиеся субъективные оценки. Отношение к новой информации благожелательнее, а восприятие и использование ее полнее, если она представляется в доходчивой, яркой и компактной форме. 
       Из этих психологических особенностей следует необходимость предоставления экспертам возможностей для фиксации поступающей информации путем ведения записей, использования технических средств, а также необходимость предварительной обработки информации и представления ее экспертам в наиболее воспринимаемой форме. 
       Необходимо подчеркнуть противоречивость значения обмена экспертами информацией, так как получение такой информации таит опасность потери творческой независимости в построении модели объекта экспертом. Разрешение этого противоречия в полной мере невозможно, и при каждой экспертизе ее организаторы должны находить разумный компромисс, прежде всего, путем выбора вида опроса, формы и степени общения экспертов. 
       Каждый из видов опроса имеет свои достоинства и недостатки в построении обмена информацией между экспертами и в организации их независимого творчества. Выбор того или иного вида опроса определяется многими факторами, из которых основными являются: 
       - цель и задачи экспертизы; 
       - существо и сложность анализируемой проблемы; 
       - полнота и достоверность исходной информации; 
       - требуемые объем и достоверность информации, получаемой в результате опроса; 
       - время, отведенное на опрос и экспертизу в целом; 
       - допустимая стоимость опроса, и экспертизы в целом; 
       - количество экспертов и членов группы управления, их характеристики. 
       Анкетирование является наиболее эффективным и самым распространенным видом опроса, ибо позволяет наилучшим образом сочетать информационное обеспечение экспертов с их самостоятельным творчеством. 
       
 
 

2.7. Обработка экспертных оценок.  

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией  для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой  информации, содержащейся в скрытой  форме в экспертных оценках. На основе результатов обработки формируется  решение проблемы. 
       Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием. 
       Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных. 
       Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа. 
       Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем. 
       В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи: 
       1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов; 
       2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом; 
       3) определение относительных весов объектов; 
       4) определение согласованности мнений экспертов; 
       5) определение зависимостей между ранжировками; 
       6) оценка надежности результатов обработки. 
       Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения. 
       При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов. 
       Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов. 
       Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами — средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей. 
       Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание. 
       Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания. 

Достоинства и недостатки метода экспертных оценок.

Пожалуй, основным достоинством данного метода является его универсальность и сравнительная  простота процедуры. Особенно хорошо данный метод проявляет себя в задачах оценивания, для которых разработаны четкие, конкретные и измеряемые критерии оценки. Пример: психологическое и психиатрическое обследования на предмет наличия психических расстройств при приеме на работу, осуществляемое профессиональными психологами и психиатрами. Для того чтобы адекватно оценить деятельность человека в любом виде деятельности, недостаточно обладать знаниями и умениями в этой области. Необходимо также иметь четкое представление о модели рассматриваемой деятельности, понимать ее структуру и условия достижения успешных результатов. Как правило, чем больше успех деятельности связан с формальными, техническими операциями (их точностью, своевременностью и т.п.), тем более надежные результаты демонстрирует процедура экспертного оценивания. 
В том же случае, когда результаты деятельности связаны с личностными особенностями, способностями человека, экспертные методы зачастую дают сбои. Это связано с тем, что, во-первых, эксперт не способен адекватно оценить психологические особенности личности человека и его способности, не будучи профессиональным психологом. И, во-вторых, связь между психологическими особенностями человека и результатами его деятельности зачастую носит очень сложный и неоднозначный характер, что приводит к ошибкам экспертов, которые представляют свои, подчас ошибочные суждения об этой связи, за абсолютную истину. 
 
 
 
 
 
 
 
 

                                      ЗАКЛЮЧЕНИЕ  
          
Опыт в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом. 
       Использование метода экспертных оценок помогает формализовать процедуры сбора, обобщения и анализа мнений специалистов с целью преобразования их в форму, наиболее удобную для принятия обоснованного решения. Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков. Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.