3) Разработка РГ (точнее, ее основным  составом, прежде всего научным  руководителем и секретарем) и  утверждение у ЛПР технического  задания на проведение экспертного  опроса. На этой стадия решение  о проведении экспертного опроса  приобретает четкость во времени,  финансовом, кадровом, материальном  и организационном обеспечении.  В частности, в РГ выделяются  различные группы специалистов - аналитическая, эконометрическая (специалисты  по методам анализа данных), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень  важно для успеха, чтобы все  эти направления работ были  утверждены ЛПР [21, с. 85].

       4) Разработка аналитической группой  РГ подробного сценария (т.е. регламента) проведения сбора и анализа  экспертных мнений (оценок). Сценарий  включает в себя прежде всего   конкретный вид информации, которая  будет получена от экспертов  (например, тексты (слова), условные  градации, числа, ранжировки, разбиения  или иные виды объектов нечисловой  природы ). Так, довольно часто  экспертов просят высказаться   в свободной форме, ответив  при этом на некоторые количество  заранее сформулированных вопросов. Кроме того, их просят заполнить  формальную карту, в каждом  пункте выбрав одну из нескольких  градаций. Сценарий должен содержать  и конкретные методы анализа  собранной информации.

       5) Подбор экспертов в соответствии  с их компетентностью. На этой  стадии РГ составляет список  возможных экспертов.

       6) Формирование экспертной комиссии. На этой стадии РГ проводит  переговоры с экспертами, получает  их согласие на работу в  экспертной комиссии (сокращенно  ЭК), возможно, часть намеченных РГ  экспертов отказывается по тем  или иным причинам. ЛПР утверждает  состав экспертной комиссии, возможно, вычеркнув или добавив часть  экспертов к предложениям РГ. Проводится заключение договоров  с экспертами об условиях их  работы и ее оплаты.

       7) Проведение сбора экспертной  информации. Часто перед этим  проводится набор и обучение  интервьюеров - одной из групп,  входящих в РГ.

       8) Компьютерный анализ экспертной  информации с помощью включенных  в сценарий методов. Ему обычно  предшествует введение информации  в компьютеры.

       9) При применении согласно сценарию  экспертной процедуры из нескольких  туров - повторение двух предыдущих  этапов.

       10) Итоговый анализ экспертных мнений, интерпретация полученных результатов  аналитической группой РГ и  подготовка заключительного документа  ЭК для ЛПР. 

       11) Официальное окончание деятельности  РГ, в том числе утверждение  ЛПР заключительного документа  ЭК, подготовка и утверждение  научного и финансового отчетов  РГ о проведении исследования, оплата труда экспертов и сотрудников  РГ, официальное прекращение деятельности (роспуск) ЭК и РГ. 
 
 
 

1.3. Подбор и процедура работы экспертов

       Проблема  подбора экспертов является одной  из наиболее сложных в теории и  практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного  решения. Но как выделить, найти, подобрать  таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех  экспертизы.

       В проблеме подбора экспертов можно  выделить две составляющие - составление  списка возможных экспертов и  выбор из них экспертной комиссии в соответствии с компетентностью  кандидатов [12, с. 76].

       Составление списка возможных экспертов облегчается  тогда, когда рассматриваемый вид  экспертизы проводится многократно. В  таких ситуациях обычно ведется  реестр возможных экспертов, например, в области государственной экологической  экспертизы или судейства фигурного  катания, из которого можно выбирать по различным критериям или с  помощью датчика псевдослучайных  чисел.

       Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов  отсутствуют? Однако и в этом случае у каждого конкретного специалиста  есть некоторое представление о  том, что требуется от эксперта в  подобной ситуации. Для формирования списка есть полезный метод «снежного  кома», при котором от каждого  специалиста, привлекаемого в качестве эксперта, получают несколько фамилий  тех, кто может быть экспертом  по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались  ранее в деятельности РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс  расширения списка останавливается, когда  новые фамилии практически перестают  встречаться. В результате получается достаточно обширный список возможных  экспертов. Метод «снежного кома»  имеет и недостатки. Число туров  до остановки процесса наращивания кома нельзя заранее предсказать. Кроме того, ясно, что если на первом этапе все эксперты были из одного «клана», придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод «снежного кома» даст, скорее всего, прежде всего лиц из этого «клана». Мнения и аргументы других «кланов» будут упущены.

       Вопрос  об оценке компетентности экспертов  не менее сложен. Успешность участия  в предыдущих экспертизах - хороший  критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют  в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и  важны уникальные экспертизы больших  проектов, не имеющих аналогов. Использование  формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных условиях может  носить лишь вспомогательный характер, хотя подобные показатели проще всего  применять.

       Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Рассмотрим метод самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие «компетентность» строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям [12, с. 81]. 

       При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность  экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и  возможностями друг друга может  быть лишь у специалистов, много  лет (не менее 3-4) работающих совместно, в одной комнате, над одной  темой. Однако привлечение таких  пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.

       Если  процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд  обстоятельств. Большое значение имеют  их личностные (социально-психологические) качества. Так, один-единственный «говорун» может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

       Необходимо  подчеркнуть, что подбор экспертов  в конечном счете - функция рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них - по собственным соображениям, с которыми членам РГ и ЭК знакомиться нет необходимости.

       Процедура работы экспертов.

       На  практике применяются различные  процедуры, определяющие:

       • характер контактов экспертов друг с другом (анонимный или нет), т.е. очные или заочные опросы;

       • обратную связь в работе экспертов (наличие или отсутствие возможности  самообучения в процессе экспертизы), т.е. одноразовые или многоразовые (в несколько туров) опросы.

       Одной из главных разновидностей очного (как  правило, одноразового) опроса является т.н. «мозговая атака» или «коллективная  генерация идей». В основе этой методики лежит организация коллективного  обсуждения проблемы путем стимулирования влияния друг на друга сознания «цепной  реакции идей».

       Ключевое  звено такой организации работы [10, с. 105]:

       1) категорический запрет на критику  любого мнения, оценки, рекомендации, высказанных во время заседания  экспертов, независимо от впечатления,  которое они на первый взгляд  производят;

       2) подбор специалистов примерно  равного научного и должностного  статуса (чтобы избежать «давления»  авторов);

       3) максимальная краткосрочность сессии (не более 1,5-2 ч);

       4) четкая формулировка поставленной  на обсуждение проблемы;

       5) скрупулезная регистрация высказывании:

       6) предоставление возможности экспертам  дополнительно высказаться после  сессии для снятия психологического  напряжения («последнее слово»).

       Один  из ведущих экспертов назначается  руководителем (председателем) сессии. В его обязанности входят подготовка проблемы, обеспечение подготовки, проведение и обработка материалов сессии. Кроме того, он является высшей инстанцией, арбитром, к которому можно  апеллировать при возникновении  каких-либо недоразумений.

       Иногда  дискуссию начинает специально выделенный докладчик, но чаще сам председатель. Затем слово предоставляется  экспертам-аналитикам, раскрывающим современное  состояние и тенденции исследований по поставленной проблеме.

       Далее в дело вступает центральное звено  – эксперты-генераторы, отличающиеся способностью высказать нетривиальные, оригинальные идеи. Затем – эксперты-модераторы, в задачу которых входит «приглушение», «притормаживание» обсуждения явно случайных, непродуманных или не относящихся к делу идей с целью  возвращения дискуссии в намеченное русло.

       Потом им на смену приходят эксперты-аниматоры, стремящиеся оживить заглохшие  почему-либо конструктивные идеи.

       Наконец, эксперты-селекторы (желательно уже  после завершения сессии) оценивают  высказанные предположения, идеи, рекомендации, отбирают наиболее конструктивные и  дают сводку руководителю, который  подводит итоги.

2. Методологические  подходы к организации  экспертных оценок

2.1. Метод опроса экспертов и его разновидности

       Индивидуальные  экспертные оценки постепенно стали  особой разновидностью опроса экспертов, образовав как бы подсистему в  общей системе методов опроса экспертов.

       Отдельный эксперт обладает ограниченными  возможностями прогнозирования, где  сильная сторона его как специалиста  – накопленные им знания, опыт, определенная логика мышления – нередко оборачивается  его слабой стороной: «груз прошлого»  мешает эксперту подняться над уровнем  привычных тенденций и осознать необходимость качественных изменений (привык к определенной пище, но природа  меняется, и привычной пищи становится все меньше, надо привыкать к другой – это качественное изменение  – формирует прогноз вложений в повышение урожайности привычных  культур или вложения инвестиций в новые).

       Коллективная  работа экспертов помогает совместно  преодолеть этот недостаток. Результатом  опроса экспертов является обычно не просто «усредненное» мнение группы специалистов, идет процесс объективизации субъективных оценок, что при соблюдении известных методических требований заметно повышает надежность прогноза.

       Опыт  показал, что неупорядоченный, произвольный опрос экспертов резко снижает  качество, надежность их оценок и может  иметь результатом искаженные данные. Для упорядочения опроса экспертов  наибольшее значение имеют три основные методические проблемы всякой экспертизы [14, с. 31]: