Все критерии качества системы в общем  случае могут быть отнесены к одному из трех типов.

1. Критерий пригодности: система считается пригодной, если значения всех частных показателей качества этой системы принадлежат области адекватности, а радиус области адекватности соответствует допустимым значениям всех частных показателей.
2. Критерий оптимальности: система считается оптимальной по i-му показателю качества, если существует хотя бы один частный показатель качества , значения которого принадлежат области адекватности с оптимальным радиусом ( ) по этому показателю.
3. Критерий превосходства: система считается превосходной, если  значения частных показателей качества принадлежат области адекватности с оптимальным радиусом по всем показателям.

   Критерии  должны обладать следующими свойствами:

1. представительность означает оценку основных (а не второстепенных) целей системы и учет всех главных сторон ее деятельности;
2. критичность (эластичность) к исследуемым параметрам состоит в значительных изменениях величины критерия при сравнительно малых изменениях исследуемых параметров;
3. простота.

 

   Шкала уровней качества систем.

 

     При оценивании качества систем с управлением  признают целесообразным введение нескольких уровней качества, проранжированных в порядке возрастания сложности рассматриваемых свойств. Эмпирические уровни качества получили названия: устойчивость, помехоустойчивость, управляемость, способность, самоорганизация.

     Система, обладающая качеством данного порядка, имеет и все другие более простые  качества, но не имеет качеств более  высокого порядка.

     Первичным качеством любой системы является ее устойчивость. Для простых систем устойчивость объединяет такие свойства, как прочность, стойкость к внешним воздействиям, сбалансированность, стабильность, гомеостазис (способность системы возвращаться в равновесное состояние при выводе из него внешними воздействиями). Для сложных систем характерны различные формы структурной устойчивости, такие, как надежность, живучесть и т.д.

     Более сложным, чем устойчивость, является помехоустойчивость, понимаемая как способность системы без искажений воспринимать и передавать информационные потоки. Помехоустойчивость объединяет ряд свойств, присущих в основном системам управления. К таким свойствам относятся надежность информационных систем и систем связи, их пропускная способность, возможность эффективного кодирования/декодирования информации, электромагнитная совместимость радиоэлектронных средств и т.д.

     Следующим уровнем шкалы качества системы  является управляемость - способность системы переходить за конечное (заданное) время в требуемое состояние под влиянием управляющих воздействий. Управляемость обеспечивается, прежде всего, наличием прямой и обратной связи, объединяет такие свойства системы, как гибкость управления, оперативность, точность, производительность, инерционность, связность, наблюдаемость объекта управления и др. На этом уровне качества для сложных систем управляемость включает способность принятия решений по формированию управляющих воздействий.

     Следующим уровнем на шкале качеств является способность. Это качество системы, определяющее ее возможности по достижению требуемого результата на основе имеющихся ресурсов в заданный период времени. Данное качество характеризуется такими свойствами, как результативность (производительность, мощность и т.п.), ресурсоемкость и оперативность.

     Наиболее  сложным качеством системы является самоорганизация. Самоорганизующаяся система способна изменять свою структуру, параметры, алгоритмы функционирования, поведение для повышения эффективности. Принципиально важными свойствами этого уровня являются свобода выбора решений, адаптируемость, самообучаемость, способность к распознаванию ситуаций и образов. 

Рис. 3. Шкала уровней качества и дерево свойств систем с управлением

 

   Заключение

 

     Современные интеллектуальные системы весьма различны по своим функциям, но алгоритмы, на которых они базируются, до сих пор не совершенны в абсолютном смысле. Системный анализ позволяет проследить определенные погрешности построения таких информационных систем на различных уровнях проектирования. Качественный и количественный методы анализа – неотъемлемая часть данного процесса.

     Совершенствование и разработка новых технологий в  области теории систем и системного подхода – это актуальное направление научных исследований. Поэтому изучение этих методов являет собой перспективу совершенствования информационных процессов и систем на многих уровнях качественных показателей.

 

   Используемая  литература:

 

• «Системный  анализ в управлении», В. С. Анфилатов, А. А. Емельянов, А. А. Кукушкин, Москва, 2002г.

 

«Основные процедуры системных исследований», Р. Г. Мирзоев, А. Ф. Харченко, Санкт-Петербург, 2000г. 

• «Методология  систем», В. Д. Могилевский, Москва, Экономика, 1999г.

 

• www.intuit.ru, Курс «Интеллектуальные САПР».

 

• http://www.intuit.ru/department/human/isrob/6/1.html, «Методология построения экспертных систем»

 

• http://www.asknet.ru/, Поисковик использовался для анализа ЭС.

 

• http://ecpert.ru/1/index2.html, Курс «Экспертные системы».

 

• http://ai.obrazec.ru/aiexpert.htm  С. Л. Сотник «Экспертные системы».

 

• «Интеллектуальные информационные системы», А.В. Андрейчиков, О.Н. Андрейчикова, Москва, «Финансы и статистика», 2004 г.

 

    ПРИЛОЖЕНИЕ

   ПРИМЕРЫ ОЦЕНКИ КАЧЕСТВА СИСТЕМ

 

     Пример  №1 
Оценка качества системы MYCIN.

     MYCIN была ранней экспертной системой разработанной за 5 или 6 лет в начале 1970х годов в Стендфордском университете. Она была написана на Лиспе как докторская диссертация Edward Shortliffe под руководством Bruce Buchanan, Stanley N. Cohen и других. В этой же лаборатории была ранее создана экспертная система Dendral, но на этот раз внимание было акцентировано на использовании решающих правил с элементами неопределенности. MYCIN был спроектирован для диагностирования бактерий, вызывающих тяжелые инфекции, такие как бактериемия и менингит, а также для рекомендации необходимого количества антибиотиков в зависимости от массы тела пациента. Название системы происходит от суффикса «-мицин», часто встречающегося в названиях антибиотиков. Также Mycin использовалась для диагностики заболеваний свертываемости крови.

Еще в 1974 году, на самой ранней стадии разработки системы MYCIN, были получены весьма обнадеживающие результаты. Команда из пяти высококвалифицированных  экспертов в области диагностики  инфекционных заболеваний подтвердила  правильность 72% рекомендаций, сделанных  системой, которые относились к 15 реальным заболеваниям. Главной проблемой  оказалась не точность диагноза, а  отсутствие правил, которые позволяли  бы судить о серьезности заболевания.

В 1979 году были организованы более формальные испытания усовершенствованной  версии MYCIN по диагностике таких  заболеваний, как бактеремия и менингит. Окончательное заключение, вынесенное программой в 10 реальных случаях, сравнивалось с заключениями ведущих медиков Станфордского университета и рядовых врачей, причем рассматривались и такие случаи, в которых лечение уже проводилось. Затем были привлечены восемь других экспертов, которых попросили оценить рейтинг 10 рекомендаций о курсе лечения в каждом из рассмотренных случаев. Для каждого из предлагавшихся наборов рекомендаций была определена максимальная оценка 80 баллов, причем экспертам было неизвестно, что некоторые из них предложены не врачом, а компьютером. Результаты представлены ниже.

Отличие между оценкой, полученной MYCIN, и  оценками качества рекомендаций ведущих  специалистов Станфорда, невелико, а по сравнению с рядовыми врачами система оказалась даже на более высоком уровне.

Однако  по ряду причин (в том числе и  перечисленных ниже) экспертная система MYCIN так никогда и не использовалась в реальной врачебной практике.

• База знаний системы, включающая около 400 правил, все-таки недостаточна для реального внедрения в практику лечения больных инфекционными болезнями.
• Внедрение системы требует приобретения достаточно дорогой вычислительной машины, что не могло себе позволить в те времена большинство лечебных учреждений.
• Врачи-практики не испытывают никакого желания работать за терминалом компьютера, что совершенно необходимо для применения на практике экспертной системы. К тому же существующий в 1976 году интерфейс с пользователем в той версии системы MYCIN не был тщательно продуман.

Система MYCIN при всей ее практической направленности была и осталась все-таки экспериментальной  исследовательской системой, не рассчитанной на коммерческое применение. 

   Пример  №2

Оценка  качества системы  Wolfram Alpha.

      
Wolfram Alpha – это система, предназначенная для хранения, обработки и выдачи пользователям структурированных данных по запросам на естественном английском языке. Wolfram Alpha не является поисковой системой. Это обусловлено тем, что она не предназначена для автоматической обработки неструктурированных текстов. Для ее работы необходимо предварительно вручную ввести фактографическую информацию в базу данных, а также разработать и реализовать алгоритмы ее обработки. Данные процедуры выполняются вручную сообществом разработчиков и экспертов системы Wolfram Alpha.

     Из  анализа описания системы система  Wolfram Alpha следует, что получения ответов система Wolfram Alpha должна:

• - уметь правильно разобрать запрос пользователя на естественном языке;
• - иметь соответствующую структурированную фактографическую информацию;
• - иметь алгоритмы обработки фактографической информации, обеспечивающие формирование ответа на запрос пользователя.

     Таким образом, система Wolfram Alpha автоматически способна обрабатывать только заранее структурированную вручную фактографическую информацию, хранящуюся в СУДБ. Для синтеза ответов могут использоваться детерминированные алгоритмы выборки дополнительной информации и проведения расчетов по фактографическим данным. По данным формальным признакам система Wolfram Alpha может быть отнесена к известному классу систем Business Intelligence. Системы данного класса являются узко специализированными, что обусловливает незначительный спектр вопросов, на которые можно получить ответы системы Wolfram Alpha. Данное ограничение является системным, так как заложено в концепцию ее функционирования.