Технологии извлечения знаний. Уровни извлечения знаний

 

Федеральное агентство  по образованию Государственное образовательное учреждение высшего профессионального  образования Московский государственный  индустриальный университет (ГОУ МГИУ)

Кафедра финансов и кредита

 

 

Р Е Ф Е Р А Т
по дисциплине: «Финансовые экспертные системы»
на тему «Технологии извлечения знаний. Уровни извлечения знаний»
Группа	8212
Студент	_____________ (подпись)	С.А. Шевель
Оценка работы Дата	_____________ (подпись)	«___» ___________
Преподаватель, должность, ученая степень, звание	_____________ (подпись)	М.В. Харчевников

 

 

 

 

 

 

 

Содержание:

 

Введение

 

Глава 1. Знание и приобретение знаний

                1.1.Знания

            1.2. Приобретение знаний

Глава 2. Технология извлечения знаний из таблиц данных

 

Заключение

 

Список использованной литературы

 

 

 

 

 

 

 

 

 

 

 

Введение

Термин извлечение знаний касается непосредственного живого контакта инженера по знаниям и источника знаний. Авторы склонны использовать этот термин как более емкий и более точно выражающий смысл процедуры переноса компетентности эксперта через инженера по знаниям в базу знаний экспертной системы.

Термин формирование знаний традиционно закрепился за чрезвычайно перспективной и активно развивающейся областью инженерии знаний, которая занимается разработкой моделей, методов и алгоритмов анализа данных для получения знаний и обучения. Эта область включает индуктивные модели формирования гипотез на основе обучающих выборок, обучение по аналогии и другие методы.

Таким образом, можно выделить три стратегии проведения стадии получения знаний при разработке экспертных систем .

На современном этапе разработки экспертных систем в нашей cтране  стратегия извлечения знаний, по-видимому, является наиболее актуальной, поскольку промышленных систем приобретения и формирования знаний на отечественном рынке программных средств практически нет.

Извлечение знаний - то процедура взаимодействия эксперта с источником знаний, в результате которой становятся явными процесс рассуждений специалистов при принятии решения и структура их представлений о предметной области

 

 

 

 

Глова 1. Знание и приобретение знаний

1.1.Знание

Под знанием понимается достаточно широкий спектр информации. В представлена следующая классификация типов знаний:

Базовые элементы знания (информация о свойствах объектов реального  мира). Связаны с непосредственным восприятием, не требуют обсуждения и используются в том виде, в  котором получены.

Утверждения и определения. Основаны на базовых элементах и  заранее рассматриваются как  достоверные.

Концепции – перегруппировки  или обобщения базовых элементов. Для построения каждой концепции  используются свои приемы (примеры, контрпримеры, частные случаи, более общие случаи, аналогии).

Отношения. Выражают как  элементарные свойства базовых элементов, так и отношения между концепциями. К свойствам отношений относят  их большие или меньшие правдоподобие  и связь с данной ситуацией.

Теоремы и правила перезаписи – частный случай продукционных  правил (правил вида "если…, то…, иначе…") с вполне определенными свойствами. Теоремы не представляют пользы без  экспертных правил их применения.

Алгоритмы решения. Необходимы для выполнения определенных задач. Во всех случаях они связаны со знанием особого типа, поскольку  определяемая ими последовательность действий оказывается оформленной  в строго определенном порядке, в  отличие от других типов знаний, где элементы знания могут появляться и располагаться без связи  друг с другом.

Стратегии и эвристика. Врожденные или приобретенные правила поведения, которые позволяют в конкретной ситуации принять решение о необходимых  действиях. Человек постоянно пользуется этим типом знаний при формировании концепций, решении задач и формальных рассуждениях.

Метазнание. Присутствует на многих уровнях и представляет знание того, что известно, определяет значение коэффициента доверия к этому  знанию, важность элементарной операции по отношению ко всему множеству  знаний. Сюда же относятся вопросы  организации разного типа знаний и указания, где, когда и как  они могут быть использованы.

В настоящей работе первому  типу знаний будет соответствовать  информация об измеримых (или наблюдаемых) свойствах объектов реального мира. Именно эта информация сведена в  таблицу данных типа "объект-признак". Остальным типам знаний соответствуют  ограничения на диапазоны значений, которые могут принимать признаки объекта (второй тип) , информация о взаимозависимости признаков и о возможности описания одних признаков через другие, информация о статистических свойствах значений признаков ,… Фактически, нас интересует знание второго и последующих типов – знание, которое человек добывает в процессе анализа информации, рассуждений, обобщений  , проведения аналогий .

Естественным является требование представления знаний в виде, допускающем "тиражирование" – возможность  передачи знаний другим людям. Для первого  типа знаний возможно получение как  объективных (точно измеренных) значений свойств объектов реального мира, так и субъективных, персонализированных, чувственных оценок значений этих свойств. Для знаний последующих типов  для возможности передачи вводятся требования объективизации, достоверности, непротиворечивости.

Информационные единицы (знания) обладают гибкой структурой. Для них выполняется "принцип матрешки" – рекурсивная вложенность одних информационных единиц в другие (это наблюдается и на примере вышеприведенной классификации из ).

Каждая информационная единица может быть включена в состав любой другой, и из каждой информационной единицы можно выделить некоторые составляющие ее единицы. Т.е. между отдельными информационными единицами возможно установление отношений типа "часть – целое", "род – вид" или "элемент – класс".

Для информационных единиц одного уровня иерархии семантика отношений  может носить декларативный или процедурный характер : две или более информационных единицы могут быть связаны декларативными отношениями "одновременно", "причина – следствие" или "быть рядом", либо процедурными отношениями типа "аргумент – функция".

Можно различать отношения  структуризации, процедурные отношения, каузальные отношения и семантические отношения. С помощью первых задаются иерархии информационных единиц, вторые несут процедурную информацию, позволяющую находить (вычислять) одни информационные единицы через другие, третьи задают причинно-следственные связи, четвертые соответствуют всем остальным отношениям.

 

 

 

1.2. Приобретение знаний

Приобретением знаний называется выявление знаний из источников и  преобразование их в нужную форму (например, перенос в базу знаний экспертной системы). Источниками знаний могут быть книги, архивные документы, содержимое других баз знаний и т.п., т.е. некоторые объективизированные знания, переведенные в форму, которая делает их доступными для потребителя. Другим типом знаний являются экспертные знания, которые имеются у специалистов, но не зафиксированы во внешних по отношению к ним хранилищах. Экспертные знания являются субъективными. Еще одним видом субъективных знаний являются эмпирические знания, полученные путем наблюдения за окружающей средой. Ввод в базу знаний объективизированных знаний не представляет проблемы, выявление и ввод субъективных экспертных знаний достаточно трудны. Для извлечения и формализации экспертных знаний разработано множество стратегий интервьюирования эксперта и множество моделей представления знаний .

В когнитивной психологии изучаются формы репрезентации  знаний, характерные для человека: представление класса понятий через  его элементы; представление понятий  класса с помощью базового прототипа, отражающего наиболее типичные свойства объектов класса; представление с помощью признаков. Форма репрезентации знаний определяет используемую методологию выявления знаний и модель представления знаний.

 

Глова 2. Технология извлечения знаний из таблиц данных

В настоящей работе исследуется  извлечение знаний из таблиц данных при  помощи математических или эмпирических методов обработки данных и моделирования. Фактически, в индустрии обработки  данных существуют некоторые формальные схемы обработки данных и анализа  результатов. Так, общая схема обработки  данных методами математической статистики приведена в [9]:

1. Анализ исследуемой системы или объекта. В ходе анализа определяются: основные цели исследования на содержательном уровне; совокупность единиц (объектов, измерений,..), представляющих предмет исследования; перечень показателей (свойств), характеризующих состояние или поведение каждой из исследуемых единиц; степень формализации и детализации этих показателей при сборе данных; моменты, требующие дополнительной проверки перед составлением детального плана исследований; формализованная постановка задачи (например, на статистическом уровне, т.е. включающая вероятностную модель изучаемого явления и природу статистических выводов, к которым должен или может прийти исследователь в ходе обработки массива данных).
2. Составление плана сбора исходной статистической информации: определение типа выборки – случайная, пропорциональная и т.п.; определение требуемого объема выборки и продолжительности наблюдений; планирование активного эксперимента (если допускается задачей и исследуемым объектом).
3. Сбор данных и их ввод в ЭВМ.
4. Первичная статистическая обработка данных: статистическое описание совокупностей данных с определением пределов варьирования переменных; анализ резко выделяющихся наблюдений, принятие решения об исключении выделяющихся наблюдений или дальнейшем уменьшении учета их вклада с помощью некоторой весовой функции, убывающей по мере роста степени аномальности наблюдений; восстановление значений пропущенных наблюдений; проверка однородности нескольких порций исходных данных (требуется при разделении в пространстве и/или времени моментов получения этих порций данных); проверка статистической независимости последовательных наблюдений; унификация типов переменных; экспериментальный анализ закона распределения исследуемой генеральной совокупности и параметризация распределений.
5. Составление плана вычислительного анализа статистического материала.
6. Вычислительная реализация обработки данных.
7. Осмысление, интерпретация и подведение итогов исследования.

Как при использовании традиционных статистических методов анализа  данных, так и при использовании  нейронных сетей приведенная  схема действий остается без изменений. При этом пункты 5-7 детализируются в  зависимости от целей и задач  исследования и применяемых методов.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Заключение

В докладе  рассмотрена технология извлечения знаний из текстов на естественном языке, приведена принципиальная блок-схема  системы, построенной по данной технологии, а также описаны ключевые моменты, позволяющие достигать эффективного решения поставленной задачи. Наиболее важными элементами технологии являются: выделение из текста содержательно-значащих единиц, их отвлечение от грамматической формы и переход к моделям  содержания; язык структурно-лингвистического анализа текстов; механизм формирования пользователем интересующих моделей  содержания.

Принципиальные  этапы технологического цикла, описанного в докладе, были реализованы и  экспериментально проверены. Дальнейшее развитие технологии и создание прикладных систем заключается в развитии отдельных  элементов, обучении системы, создании адаптаций и оптимизации по скорости обработки текстов.

 

 

 

 

 

 

 

 

 

 

Список используемой литературы

1. Гаскаров, Д. Б. Интеллектуальные информационные системы. – М.: Высшая школа, 2008.
2. Долин, Г. Что такое ЭС. – М.: Компьютер Пресс, 2010.
3. Острейковский, В. А. Информатика. – М.: Высшая школа, 2008.
4. Убейко, В. Н. Экспертные системы.- М.: МАИ, 2009.
5. Ясницкий, Л. Н. Введение в искусственный интеллект. – М.: Академия, 2009.
6. Интернет-источник  http://www.mari-el.ru/mmlab/home/AI/7_8/#part_8