Экспертиза виды экспертных оценок

                                                  СОДЕРЖАНИЕ

Введение…………………………………………………………………….….2

Подбор экспертов……………………………………………………..……......4

Методы проведения  опроса экспертов…………..………………………......7

Экспертиза……………………………………………………………………...9

Виды экспертных оценок………………………………………………..…...10

Заключение……………………………………………………………………12

Литература…………………………………………………………………….13

                                                     ВВЕДЕНИЕ

    Эффективность деятельности организаций, компаний, холдингов, народного хозяйства в целом в значительной степени зависит от исследования создаваемых систем управления, их рационального построения и необходимых при этом инвестиций. 
     Существует ряд методов исследования и оценки эффективности систем управления. Основными методами, используемыми при исследовании, являются системный анализ, исследование операций, имитационное моделирование, планирование экспериментов, распознавание объектов, метод "черного" и "белого" ящиков, экспертные  оценки. 
     В данном реферате рассмотрим более детально методы экспертных оценок  исследования систем управления (ИСУ). 
     Экспертные методы представляют собой точки зрения (мнения, суждения) высококвалифицированных специалистов в определенных предметных областях - экспертов, сформулированные в виде оценок объекта в содержательной, качественной или количественной форме. 
     Экспертные методы широко используются при синтезе процессов управления сложных систем, в менеджменте, при разработке и принятии решений, для получения различного вида оценок. Например, качества труда, надежности банка, ситуаций на финансовых рынках, исследовании систем управления и других случаях. Сущность метода экспертных оценок заключается в проведении экспериментами интуитивно - логического анализа проблемы, с количественной оценкой суждений и формальной обработкой результатов. Полученное в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы. 
     Метод экспертных оценок используется для решения различных сложных неформализуемых проблем. Все множество плохо формализуемых проблем можно условно разделить на два класса. 
     К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценки заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом метод опроса и обработки основывается на использовании "хорошего измерителя". Это означает, что выполняются следующие условия: эксперт располагает большим объемом рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации (своего рода "информационный измеритель с небольшими погрешностями"); 
групповое мнение экспертов близко к истинному решению проблемы. 
Если эти условия выполнятся, то для построения процедур опроса и алгоритмов обработки можно использовать теорию измерений и математическую статистику. 
Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для выполнения указанных условий. При рении проблем этого класса экспертов уже нельзя рассматривать как "хороших измерителей". Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для "хороших измерителей", в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнения остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка. Область применения метода экспертных оценок обширна и охватывает неформализуемые проблемы первого и второго классов. Перечислим типовые задачи, решаемые методом экспертных оценок: 
      - составление перечня возможных событий в различных областях за определенный       промежуток времени; 
      - определение наиболее вероятных интервалов времени наступления совокупности событий; 
      - определение целей и задач управления, с упорядочением их по степени важности; 
      - определение альтернативных вариантов решения задачи, с оценкой их предпочтения; 
      - альтернативное распределение ресурсов для решения задач, с оценкой их предпочтительности; 
      - альтернативные варианты принятия решений в определенной ситуации, с оценкой их предпочтительности. 
Можно ориентировочно наметить следующие основные этапы проведения экспертизы, последовательность и содержание которых будут изменяться в зависимости от реальных условий и ограничений: 
      - формулирование цели экспертизы; 
      - формирование группы специалистов-аналитиков; 
      - отбор и формирование группы экспертов; 
      - проведение опроса; 
      - анализ и обработка информации экспертов; 
      - синтез объективной информации и информации, полученной в результате 
экспертизы, с целью приведения их в форму, удобную для принятия решения. 
Объединим некоторые этапы и более подробно остановимся на подготовке, подборе и опросе экспертов.

                                                 ПОДБОР  ЭКСПЕРТОВ 
 
 

     Вопрос формирования состава экспертной комиссии является весьма важным. Количественный и качественный состав экспертной комиссии должен формироваться с учетом широты проблемы, достоверности оценок, затрат ресурсов и характеристик экспертов. Широта решаемой проблемы, определяемая количеством различных аспектов, связана с установлением нижней границы количественного состава экспертной комиссии, то есть количество экспертов должно быть в комиссии таковым, чтобы каждый аспект, направление исследования было закреплено как минимум за конкретным специалистом. Достоверность оценок связана с уровнем знаний экспертов и их количеством. При соответствующем уровне знаний увеличение количества  членов экспертной комиссии должно приводить к возрастанию достоверности результатов экспертизы. Величину располагаемых ресурсов  на проведение экспертизы с учетом пропорциональности количеству привлекаемых экспертов следует использовать при определении верхней границы количественного состава экспертной комиссии. Таким образом, указанные ориентиры в конкретных случаях позволяют определиться с количественным составом экспертной комиссии.

     Характеристики группы экспертов, включаемых в экспертную комиссию, определяются на основе индивидуальных их характеристик, а именно: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, коллективизма, самокритичности.  

     Компетентность - это обладание определенными знаниями, позволяющее индивидуму высказывать суждения по определенному кругу вопросов. Степень компетентности может характеризоваться коэффициентом компетентности. Известны различные методы определения значений коэффициентов компетентности. Их  подразделяют на априорные, апостериорные и тестовые.

 В априорных методах оценки качества эксперта не используется информация о его суждениях, имевших место в предшествовавших экспертизах. К этой группе методов относятся: метод самооценки с использованием бальной шкалы (3- балльной, 5-балльной и т.д.);

     Метод самооценки с использованием вербально-числовых шкал, в которых наряду с содержательно описываемыми наименованиями их градаций содержатся соответствующие им численные значения  или их диапазоны.

      Дифференциальный метод самооценки, в котором рассчитывается комплексная самооценка как полусумма самооценки степени знакомства эксперта с основными источниками информации в рассматриваемой области и взвешенной с учетом коэффициента сравнительной весомости самооценки знакомства эксперта с изучаемым объектом.

      Методы взаимной оценки  экспертов, основанные на получении различными способами взаимооценок экспертов (формирование списков компетентных специалистов, формирование матриц взаимооценок экспертов в баллах, в числовых оценках предпочтительности компетентности I-го эксперта над j-тым и т.д.) и их последующей обработки с целью получения оценок компетентности каждого эксперта, входящего в состав экспертной комиссии.

      Документационный метод, предлагающий ориентироваться на объективные характеристики эксперта, а именно: стаж работы, наличие ученой степени,  занимаемая должность, количество научных трудов и т.д.    

       Апостериорные методы оценки  качества эксперта базируются на использовании информации о его суждениях, имевших место в экспертизах, проведенных с его участием. К таким методам относятся:

     - метод оценки качества эксперта на основе его ответов, базирующийся  на анализе результатов парных сравнений,  выполняемый с целью выявления нелогичностей (противоречий)  и вычислении коэффициента компетентности с учетом количества выявленных нелогичностей в суждениях испытуемого эксперта;

     - метод расчета коэффициента отклонения суждений эксперта, базирующийся на сравнении расстояния  от индивидуальной оценки эксперта до результирующей с максимально возможным расстоянием.

      Поскольку при подборе экспертов используется определенное множество характеристик, имеющих различные значения и различную значимость, то возникает необходимость формирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной  ее проблематикой. В качестве такой интегральной оценки, получаемой альтернативным путем, возможно применение значения достоверности суждений эксперта, определяемого как отношение числа случаев выданных экспертом рекомендаций, приемлемость которых подтверждена практикой, к общему числу случаев участия эксперта в выработке рекомендаций.  
 
 

                        МЕТОДЫ ПРОВЕДЕНИЯ  ОПРОСА ЭКСПЕРТОВ

. 

     Опрос экспертов является одним из значимых этапов процесса организации и проведения экспертизы. В ходе реализации этого этапа осуществляется выявление и констатация суждений экспертов по существу исследуемого объекта. Форма проведения опроса фактически является основой, определяющей вид метода организации и проведения экспертизы. Основными формами опроса являются: анкетирование, интервьюирование, метод Дельфы, мозговой штурм, дискуссия.

     В ходе анкетирования осуществляется опрос экспертов в письменной форме с помощью анкет. Анкета – составляемый организаторами проведения экспертизы список вопросов, предъявляемый экспертам,  ответы  которых служат исходными эмпирическими данными для обобщений и выводов. В процессе разработки анкеты организаторы экспертизы, ориентируясь на ее цели и задачи,  должны составить перечень вопросов, тщательно отрабатывая их содержание, выбирая форму и последовательность. При этом следует избегать вопросов, на которые невозможно ответить или отвечать не требуется.

     По содержанию вопросы подразделяют на три группы, а именно: объективные характеристики эксперта (фамилия, имя, отчество, год рождения, образование, специальность, стаж работы по специальности  и т.д.); характеристики исследуемых аспектов объекта, сведения вспомогательного характера об источниках информации, располагаемой экспертом, о процессе аргументации суждений эксперта и т.п.

     По форме вопросы бывают открытые, закрытые и с веером ответов. Открытые вопросы допускают возможность ответа в произвольной форме. Достоинством их является возможность взглянуть на рассматриваемые аспекты объекта с различных сторон, выявить широту мнений экспертов по исследуемым аспектам объекта экспертизы. В качестве недостатка следует отметить затруднения в их обработке, например, с точки зрения их интерпретирования,  построения таблиц, графиков и т.п. Закрытые вопросы предполагают ответ эксперта в форме «да» - истина, «нет» – ложь, «не знаю» - затрудняюсь ответить. Эта форма вопросов эффективна при необходимости выявления мнения большинства экспертов по каким – либо аспектам исследуемого объекта, то есть при необходимости проведения «голосования» экспертов. Достоинством их является простота обработки, недостатком – узкий спектр их применения. Вопрсы с веером ответов предоставляют возможность эксперту делать выбор из совокупности подготовленных ответов. Обычно такие вопросы готовят в ситуациях с наличием нескольких направлений в исследуемом аспекте объекта, с целью выявления наиболее перспективного направления для его реализации.

    Последовательность включения вопросов в анкету также является важным элементом разработки анкеты.  Вопросы должны включаться в анкету в логической последовательности. Вначале следует разместить вопросы, характеризующие объективные данные об эксперте, затем последующие вопросы должны пробудить интерес, честолюбие экспертов блеснуть профессионализмом по исследуемым аспектам объекта. При этом рекомендуется учитывать последовательное увеличение степени трудности задаваемых вопросов. При многотуровом анкетировании в условиях сложности объекта и неопределенности  информации об объекте исследования рекомендуется начальные туры проводить на основе  открытых вопросов, а последующие - на основе вопросов с веером ответов и закрытых.

    Интервьюирование как процесс получения информации интервьюером во время проведения по заранее намеченному плану беседы, опроса эксперта или группы экспертов является одной из разновидностей форм сбора информации в ходе экспертизы. Для успешного проведения интервью интервьюер должен тщательно его спланировать, проработать состав и очередность задаваемых вопросов с учетом приведенных выше рекомендаций,  заранее сообщить испытуемым (экспертам) тему опроса, не знакомя их с конкретным перечнем  вопросов. Опрос следует проводить динамично, задавать прямые и уточняющие вопросы с целью получения достоверной и достаточно полной информации. Результаты опроса интервьюер может дополнить своими личными наблюдениями. Живой контакт с испытуемым позволяет интервьюеру быстрее выявить полезные сведения об исследуемом объекте, формулируя очередные вопросы с учетом полученных ответов на уже заданные. Однако, при этом не следует забывать и о возможности негатива, связанного с влиянием  интервьюера на ответы экспертов, с возрастанием вероятности неточных ответов, из-за ограниченного времени на продумывание ответов, с возможной неоправданно большой продолжительностью опроса при групповом исследовании.    
 
 

                                                        ЭКСПЕРТИЗА 

     Экспертиза — это мнение, идея, решение или оценка, основанные на реализации ценного опыта специалиста, глубоких знаниях предмета исследования и технологиях качественного анализа. Экспертиза бывает индивидуальная и групповая. При групповой экспертизе значение имеют подбор группы экспертов и методология итоговой обработки результатов ее работы. Заключение экспертов представляет собой документ, в котором фиксируется ход исследования, его итоги и дается экспертная оценка. При этом выводы и мнения экспертов могут иметь как категоричную («да», «нет»), так и вероятностную (в виде предположения о вероятности, в виде ранжирования, коэффициента предпочтительности, балла значимости и пр.) форму.

     Существуют различные формы организации работы экспертной группы: либо каждый эксперт делает экспертизу индивидуально, потом результаты суммируются и систематизируются, либо эксперты работают коллективно, постоянно или периодически взаимодействуя друг с другом, согласуя источники информации, критерии и технологии оценки, способы объединения результатов экспертизы. Возможна параллельная и многоэтапная работа нескольких экспертных групп.