Методы экспертных оценок

Этот отчёт  не претендует на полноту и завершённость  по сравнению с другими научными работами, но вполне способен создать общее представление о методах проведения экспертных опросов, их преимуществах и недостатках.

Методы  опроса делятся на две группы:

1. очные (личные) и заочные;
2. индивидуальные и групповые (коллективные).

Личный опрос – это процедура, в процессе которой исследователь  осуществляет очный контакт с  экспертом. Недостатком очного опроса являются большие затраты труда  и времени как со стороны исследователя, так и экспертов. Необходимость  длительного участия в экспертизе обычно вызывает недовольство со стороны экспертов. Кроме того, при очном опросе могут возникать нежелательные искажения информации вследствие психологического воздействия исследователя на эксперта.

Заочный опрос  осуществляется путем пересылки  анкеты эксперту по почте, его преимущества – простота и дешевизна. Однако надежность полученных данных может быть ниже, чем при очном опросе, поскольку некоторые вопросы эксперт может неправильно истолковать, а на некоторые вообще не дать ответа[4,с . 188].

Рассмотрим вторую группу методов проведения опроса более подробно.

Сравнительно  простым методом проведения индивидуального  экспертного опроса является способ типа “интервью”. Название этого метода говорит само за себя. Свои суждения эксперт высказывает в беседе с человеком, осуществляющем опрос (прогнозистом), отвечая на поставленные перед ним вопросы. Эксперт в данном случае не имеет времени для предварительного анализа этих вопросов, поэтому прогнозист при проведении интервью должен тщательно продумывать формулировки и смысловое содержание вопросов. Необходимо учитывать тот факт, что наш язык является полиморфным, и в силу этого нужно вопросы формулировать так, чтобы всеми экспертами они понимались однозначно [6, c. 132]. Результаты интервью во многом зависят от специальной подготовленности прогнозиста и от его умения вести свободную беседу, удерживая инициативу в своих руках [2, c. 54].

Вторым  способом проведения индивидуального  экспертного опроса является “аналитический”  способ. Сюда относятся докладная  записка и морфологический анализ. Аналитический способ предполагает длительную работу эксперта по анализу поставленных перед ним вопросов. Термин “морфологический анализ” был впервые введен американским астрофизиком Цвики Ф., который занимался техническим прогнозированием в области реактивных двигателей. При использовании этого метода объект прогнозирования прежде всего рассматривается с точки зрения его структуры, а не с точки зрения выполняемых им функций [13, c. 143].

В основе морфологического метода лежит заранее разработанная схема рассмотрения объектов прогнозирования, предназначенная для выявления возможных вариантов решений некоторой многоаспектной проблемы. При этом выделяются различные типы характеристик анализируемых объектов, их различные свойства с указанием элементов каждого типа. Затем формируются различные варианты развития анализируемых объектов на основе перебора всех возможных сочетаний характеристик каждого типа. Общее число вариантов может быть определено как произведение количества элементов каждого типа:

где V – общее число вариантов построения некоторого технического средства; i=1,2,…, n;

n – количество различных характеристик; r – количество характеристик i-го типа.

В процессе анализа каждого из выделенных вариантов  эксперт определяет те из них, которые перспективны с точки зрения достижения определенной цели в будущем.

Важным  при использовании морфологического метода является способ оценки эффективности  различных вариантов.

В общем  случае предполагается, что мнение группы экспертов надежнее, чем мнение отдельного индивидуума, что обусловило популярность групповых методов опроса. Основное преимущество этих методов заключается в возможности разностороннего анализа количественных и качественных аспектов проблемы. Недостатком является то, что мнения даже специалистов в одной узкой области могут расходиться, а, значит, не исключено, что на один и тот же вопрос можно получить от специалистов одного профиля различный ответ.

Групповые методы экспертного опроса делятся  на два класса: одни используют открытую дискуссию, другие опрос при помощи анкет. Представителями открытой дискуссии являются методы комиссии, суда, мозговой атаки (мозговой штурм, отнесенная оценка). Недостатком дискуссии является то, что для оценки обобщенного мнения всей группы экспертов не используется аппарат математической статистики. Анкетирование исключает непосредственное общение между экспертами. Свои заключения по поставленным перед ними вопросам эксперты представляют анонимно. Этот способ организации работы экспертов использует метод Дельфы.

Метод опроса – это не изобретение социологов. Во всех отраслях науки, где для получение  информации исследователь обращается к человеку с вопросами, он имеет  дело с различными модификациями  этого метода. Например, врачи, выясняя  течение болезни и предшествующее состояние здоровья пациента, проводят анамнестические опросы. Юристы, выясняя у свидетелей обстоятельства дела, также пользуются методом опроса, специально изучают его психологические аспекты и возможности оценки достоверности ответов. Журналисты, педагоги, работники служб социального обеспечения и многих других сфер социальной практики используют этот метод для получения интересующей их информации.

Специфика метода состоит прежде всего  в том, что при его использовании  источником первичной  информации является человек (респондент) – непосредственный участник исследуемых социальных процессов и явлений. Существует две разновидности опроса, связанные с письменной или устной формой общения с респондентами –анкетирование и интервьюирование. В их основе лежит совокупность предлагаемых опрашиваемых вопросов, ответы на которые и образуют первичную информацию.

Каждый  вариант опроса представляет собой  одну из наиболее сложных разновидностей социально-психологического общения, обусловленного рядом обстоятельств: содержанием анкеты или интервью, то есть перечнем вопросов, в которых реализован предмет исследования; качеством работы анкетёра или интервьюера; сосредоточенной работы респондента над предложенными вопросами; психологическим состоянием респондента в момент проведения опроса.

Метод опроса, опирающийся на достаточное число  обученных анкетёров или интервьюеров, позволяет в максимально короткие сроки опрашивать довольно большое  количество респондентов  и получать различную по своей природе информацию.

Однако, всегда следует учитывать возможное  искажение информации, полученной методом  опроса, связанное с особенностями  процесса отражения различных сторон социальной практики в сознании людей.

Наиболее  распространенный вид опроса - анкетирование. Оно может быть групповым или индивидуальным.

Анкета - объединенная единым исследовательским  замыслом система вопросов, направленных на выявление количественно-качественных характеристик объекта и предмета анализа. Ее предназначение - дать достоверную информацию. Для этого надо знать и соблюдать ряд правил и принципов ее конструирования, а также особенности различных вопросов. При составлении анкет необходимо учитывать, что вопрос должен быть одинаково понятен различным социально-демографическим группам респондентов (молодым и пожилым, людям с разным образованием и т.д.).

Все вопросы можно классифицировать: по содержанию (вопросы о фактах сознания, о фактах поведения и  о личности респондента); по форме (открытые и закрытые, прямые и косвенные); по функции (основные и неосновные).

Особенности интервью по-разному проявляются  в различных его организационных  формах. Рассмотрим их.

Интервью по месту работы, занятий, то есть в служебном помещении. Оно наиболее целесообразно, когда изучаются производственные или учебные коллективы, а предмет исследования связан с производственными или учебными делами.

Интервью по месту жительства. Оно  становится предпочтительным, если предмет  опроса касается таких проблем, о которых удобнее поговорить в неофициальной обстановке, свободной от влияния служебных или учебных отношений.

Различают три вида интервью: формализованное, фокусированное и свободное.

Формализованное интервью - самая  распространенная разновидность интервьюирования. В этом случае общение интервьюера и респондента строго регламентировано детально разработанными вопросником и инструкцией, предназначенной для интервьюера. При использовании этого вида опроса интервьюер обязан точно придерживаться формулировок вопросов и их последовательности.

Фокусированное интервью - следующая  ступень, ведущая к уменьшению стандартизации поведения интервьюера и опрашиваемого. Оно имеет своей целью сбор мнений, оценок по поводу конкретной ситуации, явления, его последствии или причин. Респондентов в этом виде интервью заранее знакомят с предметом беседы. Предварительно заготавливают и вопросы для такого интервью, причем их перечень для интервьюера обязателен: он может менять их последовательность и формулировки, но по каждому вопросу должен получить информацию.

Свободное интервью отличается минимальной  стандартизацией поведения интервьюера. Этот вид опроса применяется в  тех случаях, когда исследователь  приступает к определению проблемы исследования. Свободное интервью проводится без заранее подготовленного вопросника или разработанного плана беседы; определяется только тема интервью.

Глубинные интервью относятся к  качественным методам исследования. Получаемая в ходе глубинного интервью информация отражает не только стандартное мышление людей, но и их глубокие психологические процессы, выявляет мотивацию к тем или иным действиям, механизмы создания установок по отношению к тем или иным товарам, услугам, событиям.

Для реализации процедуры экспертного  оценивания необходимо сформировать группу экспертов. Общим требованием при формировании группы экспертов является эффективное решение проблемы экспертизы. Эффективность решения проблемы определяется характеристиками достоверности экспертизы и затрат на нее.

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характеристик экспертов.

Определение характера зависимости  достоверности от перечисленных  факторов является еще одной проблемой процедуры подбора экспертов.

Сложной проблемой процедуры подбора  является формирование системы характеристик  эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу. Важным требованием к характеристикам эксперта является измеримость этих характеристик.

Еще одной проблемой является организация  процедуры подбора экспертов, т.е. определение четкой последовательности работ, выполняемых в процессе подбора экспертов и необходимых ресурсов для их реализации.

После составления списка экспертов  им направляются письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности. Получив ответы экспертов, группа управления составляет окончательный список группы экспертов.

После составления и утверждения списка экспертам посылается сообщение о включении их в состав экспертной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высылается анкета с необходимыми инструкциями для их заполнения. Сообщением экспертам о включении их в экспертизу заканчивается работа по подбору экспертов.

После проведения опроса группы экспертов  осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Наличие как числовых данных, так  и содержательных высказываний экспертов  приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

Учитывая, что проблемы первого  класса являются наиболее распространенными  в практике экспертного оценивания, основное внимание в этой главе уделяется  методам обработки результатов  экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:

1) построение обобщенной оценки  объектов на основе индивидуальных  оценок экспертов;