Методы отбора и сводки экспертных оценок перспективных направлений развития

Метод Дельфи

     Как метод экспертного прогнозирования был разработан в 1950-е годы в корпорации RAND (США) и впервые для широкого ознакомления опубликован в работе Т.Гордона и О.Хелмера в 1964 году. Первоначально метод предназначался для повышения согласованности мнений экспертов относительно обобщенной групповой оценки или суждения. Группу экспертов называли «жюри», последовательно проводимые опросы – «турами», опросные документы с дополнительно информацией и аргументацией оценок предыдущего тура – «анкетами». Проведенные Т.Гордоном и О.Хелмером экспериментальные исследования точности и надежности метода Дельфи и схожести его результатов при повторных опросах давали эмпирические рекомендации по числу туров от двух до четырех. Большее число туров существенно не улучшало согласованность результатов, было психологически затруднительно для экспертов и затратно для организаторов опроса. По мере дальнейшего развития экспертного прогнозирования возможности Дельфи расширялись, становились более разнообразными, но сохранялся основной отличительный его признак – многотуровый характер опроса. Дельфи превратился из одного метода в совокупность нескольких его модификаций.

     Принцип этого метода заимствован из опыта  деятельности оракулов языческого храма  древнегреческого бога Аполлона в городе Дельфы. К Дельфийским оракулам со своими вопросами приходили как простые люди, так и официальные посланники, они получали ответы, которые потом разносили по стране. Оракулы накапливали большие объемы (базы) знаний о жизни и проблемах людей и способах их разрешения, что позволяло им удачно предсказывать исходы тех или иных ситуаций. А те, кто приходил к ним в храм, распространяли эти знания и предсказания, что в значительной мере способствовало расцвету эллинской цивилизации. Вклад в развитие древнегреческого общества одной из самых известных прорицательниц Пифии отмечал в своих трудах древнегреческий философ Сократ. Миссия Пифии заключалась в передаче в доступной форме божественной цели, чтобы в соответствии с ней сформировать грядущие события.

     Появление метода Дельфи было обусловлено необходимостью проведения повторных опросов экспертов при использовании других методов. Опрос экспертов в несколько последовательных туров первоначально проводился для уточнения обобщенного мнения экспертной группы и повышения согласованности мнений экспертов относительно групповой оценки. Затем стали последовательно от тура к туру усложнять прогнозируемые проблемы, расширять их, детализировать, начиная иногда с «чистого листа» – то есть предварительной формулировки проблемы. Обобщенная схема метода Дельфи показана на рис. 2.

     Многотуровый  характер прогнозных экспертных исследований позволяет обеспечить «обратную  связь». Эксперты знакомятся с результатами предыдущего тура: общей групповой  оценкой, «экстремальными» (особыми) суждениями и их аргументацией. В итоге в каждом последующем туре эксперты работают с обновленной информацией, что позволяет им либо корректировать свое мнение, повышая общую согласованность в группе, либо подтверждать свою прежнюю оценку, имея для этого уже больше оснований.

     При использовании Дельфи-прогнозирования согласованность мнений и уточнение групповых оценок в каждом последующем туре в значительной степени достигаются за счет общего формата и содержания предыдущего – практически не меняются (или изменяются несущественно) опросные документы (анкеты, вопросники, опросные листы, программы и др.), сохраняются экспертные группы, а также методики обработки результатов опроса. Использование Дельфи-прогнозирования с «чистого листа» предполагает от тура к туру наращивание экспертной информации, расширение ее рамок, детализацию структуры и содержания опросных документов, изменение состава, численности и профессиональной ориентированности экспертных групп.

     В Форсайт-проектах в настоящее время  преимущества многотурового экспертного  исследования реализуются в проведении повторных опросов для повышения согласованности мнений экспертов. Опрос, как правило, проводится в два последовательных тура. Перед каждым туром осуществляется предопросная подготовка, перед вторым – анализ и оформление результатов первого тура и ознакомление с ними экспертов. После второго тура – окончательный анализ и представление результатов всего опроса.

     В таком применении повторные экспертные опросы по Дельфи характеризуются несколькими  особенностями.

     Анонимность достигается за счет заочной формы опроса, при которой эксперты никаким образом не влияют на мнения и оценки друг друга, что позволяет им «сохранять лицо» без риска для своей профессиональной репутации.

     Использование результатов предыдущего тура опроса расширяет информацию, которой могут воспользоваться эксперты на повторных турах, реализуя тем самым принцип «обратной связи». Кроме того, это позволяет исключить, либо свести к минимуму лоббирование интересов отдельных экспертов или подгрупп.

     Статистическая  характеристика группового ответа позволяет оценить степень согласованности мнений экспертов всей группы относительно общей групповой оценки, то есть – степень того, насколько полученная групповая оценка отражает все различающиеся (в большей или меньшей степени) мнения опрашиваемых экспертов. Сама по себе аргументация не согласующихся с групповой оценкой мнений, представляет интерес для экспертов на повторных турах, заставляя их снова возвращаться к аргументации собственных оценок.

     Такую статистическую характеристику обобщенной групповой оценки и степени согласованности (и вариации) оценивают соответственно медианой и величиной интервала между нижним и верхним квартилями. Объектом дополнительного анализа и аргументации становятся те мнения и оценки, которые в межквартильный интервал не попадают (50% от их общего числа).

     Для Дельфи-опросов в технологических  Форсайтах важными являются еще  две особенности:

1. привлечение к формированию и оценке будущего представителей науки, производства, правительства, бизнеса и достижение консенсуса между ними;
2. проведение широких экспертных опросов с привлечением большого числа специалистов и заинтересованных лиц.

     Эти специфические для Форсайта особенности  метода Дельфи позволяют на этапе  развития проектов по технологическому предвидению обеспечить принятие согласованных решений, поддерживаемых широкими общественными кругами.

     Форсайт по методу Дельфи проводится в 4 этапа.

     На  начальном этапе осуществляется предопросная подготовка, когда определяются конкретные задачи и условия опроса. На этом этапе решаются и важные экспертные задачи – формулируются направления и «темы» дальнейшего технологического развития, которые «переводятся» в «утверждения» для последующего экспертного опроса. Вырабатываются критерии оценки приоритетности тем. На этапе предопросной подготовки работают относительно небольшие, 15–20, иногда до 50 человек, экспертные группы.

     На  следующем этапе на основе результатов  работы экспертных групп формируются  опросные документы – анкеты (опросные листы), включающие:

1. Необходимые пояснения для экспертов, отражающие:
1. цели и условия проводимого опроса;
2. процедуру работы с опросными листами;
3. критерии оценки их компетентности;
4. использование результатов опроса и т.д.
2. Заранее подготовленный список направлений технологического развития (тем), сформулированных в виде некоторых «утверждений». Список может быть закрытым, с конечным перечнем, или открытым с возможностью его дополнения и изменения. В национальных Форсайт-проектах широта охвата технологических направлений и состав тем варьируются в зависимости от поставленных целей, потенциальных научных и технологических возможностей страны, но всегда количество тем, предлагаемых экспертам, достаточно велико, что требует от них напряженной работы.
3. Предлагаемые критерии и шкалы для оценки важности тем, их ранжирование по заранее определенным предпочтениям. Здесь характерна тенденция постепенного перехода от критериев важности (степени влияния) технологических тем преимущественно для научно-производственного и экономического развития и их реализуемости в более ранних Форсайтах к критериям, оценивающим важность технологических тем для социального развития общества: качества жизни (британский Форсайт 1994–1995 годов), решения экологических проблем (японские и германский Форсайты).

     Проведение  самого опроса в заочной форме, осуществляющееся на третьем этапе, требует от экспертов серьезной творческой работы. В перерыве между турами проводится обработка результатов, они оформляются в компактной, доступной, хорошо воспринимаемой экспертами форме в виде структурированных текстов, диаграмм, таблиц, графиков, с акцентами на наиболее спорные, экстремальные, вызывающие затруднение и т.д. моменты оценок. По мере необходимости перечень тем, критерии и шкалы оценки могут корректироваться. Таким образом, на втором раунде опроса экспертам предлагаются обновленные опросные листы и информация о результатах первого тура. В этих случаях результаты второго тура оценок рассматриваются как конечные, по ним строятся прогнозные выводы и рекомендации.

     Следует отметить несколько основных моментов, неизбежно возникающих в масштабных экспертных исследованиях и требующих к себе внимательного отношения при проведении Дельфи-опросов. Это прежде всего заочная форма опросов, имеющая не только выше отмеченные позитивные для Форсайт-проектов стороны, но и негативные проявления. При заочной форме опросов всегда возникают потери в количестве ответов экспертов из-за отсутствия у некоторых из них ощущения важности участия в опросе, занятости и опоздания по срокам, неправильного понимания опросных документов и др. Начиная со второго тура возникает эффект психологического утомления. Вследствие этого число полученных ответов отличается от первоначального числа респондентов и уменьшается от тура к туру.

     Кроме того, одна из основных целей многотуровой экспертизы – повышение согласованности экспертов – может и не быть достигнута, сближение мнений может быть несущественным.

     Анализ  и обработка результатов опроса - заключительный этап Дельфи, который проводится по каждому из двух туров и в целом по опросу. Методика обработки, интерпретация результатов и возможности их графического представления определяются логическим построением вопросов в опросных листах относительно предлагаемых технологических тем – то есть принятой формулировкой «утверждений» и соответствующей им формой ответов. Практическая реализация метода Дельфи может принимать разнообразные формы в зависимости от целей, условий и параметров проектов, включая такие характеристики, как:

1. ожидаемые результаты и предполагаемые направления их использования;
2. масштабы охвата обследования;
3. наличие необходимых навыков и ресурсов;
4. кто организует процесс и управляет им;
5. достаточность получаемых данных для достижения целей обследования;
6. состав приглашаемых экспертов;
7. число тем;
8. вопросы, задаваемые экспертам;
9. организация обсуждения и распространения результатов (публикации, семинары, презентации, конференции и т.д.).

     По  мере развития форсайт-проектов Дельфи все чаще дополняется другими методами, позволяющими оценивать взаимосвязи и взаимное влияние основных тенденций технологического и других сторон общественного развития (методы сценариев, дорожной карты и др.). В свою очередь, в будущем это позволит создавать в рамках некоторых условностей и допущений целостную картину будущего в исследуемых областях.

Метод критических технологий

     Цель  метода критических технологий –  выявление приоритетов научно-технического развития на среднесрочную перспективу (обычно от 3 до 10 лет). Этот подход применяется  не только на уровне страны в целом, но и отдельных отраслей экономики, тематических областей, регионов и др. Результатом становятся, как правило, перечни технологий либо направлений исследований и разработок, которые требуют первоочередного внимания. Для каждой критической технологии (которая в действительности представляет собой набор близких по решаемым задачам технологических областей) готовится дополнительный документ – «паспорт», где сжато описываются входящие в ее состав области и сфера потенциальных приложений, а также оцениваются возможные сроки практической реализации и предлагаются меры государственной поддержки.

     Применение  данного метода раскладывается на следующие основные этапы:

1. Формирование группы экспертов либо экспертных панелей.
2. Составление первоначального списка технологий.
3. Выбор системы критериев для оценки технологий.
4. Оценка первоначального списка технологий экспертами по выбранной системе критериев.
5. Формирование перечня критических технологий с учетом результатов оценки.

     В зависимости от целей и масштабов  исследования каждый из этих этапов может, в свою очередь, предусматривать определенные стадии с использованием соответствующих процедур. Идентификация критических (ключевых) технологий базируется на системе опросов, интервью и модерируемых обсуждений в рамках тематических экспертных групп (панелей).

     На  первом этапе формируются панели экспертов, представляющих соответствующие  области науки и технологий, отрасли  экономики. В отличие от массовых опросов по методу Дельфи, к которым  привлекаются тысячи экспертов, в определении  критических технологий обычно участвуют не более 100–200 ученых и специалистов, как правило самой высокой квалификации. Каждая из тематических панелей рассматривает одно-два направления науки и технологий. В некоторых случаях, как, например, в чешском проекте, создаются экспертные группы, в компетенцию которых входит рассмотрение межотраслевых приоритетов – междисциплинарных областей, которые зачастую являются наиболее многообещающими, но в силу формального и часто линейного подхода к структурированию тематических панелей выпадают из рассмотрения.