Урправління мережою агентств з нерухомості

1.3. Виявлення знань в базах даних

Для вирішення завдань глибшого аналізу застосовується абсолютно інший набір технологій, об'єднаних під назвою Knowledge Discovery in Databases.

Knowledge Discovery in Databases (KDD) – це процес перетворення даних в знання. KDD включає питання підготовки даних, вибору інформативних ознак, очищення даних, застосування методів Data Mining (DM), попередньої обробки даних, інтерпретації отриманих результатів.

Цими знаннями можуть бути правила, що описують зв'язки між властивостями даних (дерева рішень), шаблони (асоціативні правила), що часто зустрічаються, а також результати класифікації (нейронні мережі) і кластеризації даних (карти Кохонена) і так далі Процес Knowledge Discovery in Databases, складається з наступних кроків:

Підготовка вихідного набору даних. Цей етап полягає в створенні набору даних, у тому числі з різних джерел, вибору повчальної вибірки і так далі Для цього повинні існувати розвинені інструменти доступу до різних джерел даних. Бажано мати підтримку роботи з сховищами даних і наявність семантичного шару, що дозволяє використовувати для підготовки вихідних даних не технічні терміни, а бізнес поняття.

Попередня обробка даних. Для того, щоб ефективно застосовувати методи Data Mining, слід звернути увагу на питання попередньої обробки даних. Дані можуть містити пропуски, шуми, аномальні значення. Крім того, дані можуть бути надмірні, недостатні. У деяких завданнях потрібно доповнити дані деякою апріорною інформацією. Наївно припускати, що якщо подати дані на вхід системи в існуючому вигляді, то на виході отримаємо корисні знання. Дані повинні бути якісні і коректні з погляду використовуваного методу DM. Тому перший етап KDD полягає в попередній обробці даних. Більш того, іноді розмірність початкового простору може бути дуже великою, і тоді бажано застосовувати спеціальні алгоритми пониження розмірності. Це як відбір значущих ознак, так і відображення даних в простір меншої розмірності.

Трансформація, нормалізація даних. Цей крок необхідний для приведення інформації до придатного для подальшого аналізу вигляду. Для чого потрібно виконати такі операції, як приведення типів, квантування і інше. Крім того, деякі методи аналізу, які вимагають, щоб початкові дані були в якомусь певному вигляді. Нейронні мережі, скажімо, працюють тільки з числовими даними, причому вони повинні бути нормалізовані.

Data Mining. На цьому кроці застосовуються різні алгоритми для знаходження знань. Це нейронні мережі, дерева рішень, алгоритми кластеризації, встановлення асоціацій і т.д.

Попередня обробка даних. Інтерпретація результатів і застосування отриманих знань в бізнес додатках.

Knowledge Discovery in Databases не задає набір методів обробки або придатні для аналізу алгоритми, він визначає послідовність дій, яку необхідно виконати для того, щоб з початкових даних отримати знання. Даний підхід універсальний і не залежить від предметної області, що є його безперечною цінністю.

1.4. Добування даних

Розвиток методів запису і зберігання даних призвів до бурхливого зростання об'ємів інформації. Об'єми даних настільки значні, що людині просто не під силу проаналізувати їх самостійно, хоча необхідність проведення такого аналізу цілком очевидна, адже в цих "сирих" даних приховані знання, які можуть бути використані при ухваленні рішень. Для того, щоб провести автоматичний аналіз даних, використовується Data Mining.

Добування даних (англ. Data Mining) - виявлення прихованих закономірностей або взаємозв'язків між змінними у великих масивах необроблених даних. Як правило поділяється на задачі класифікації, моделювання та прогнозування.

Інформація, знайдена в процесі застосування методів Data Mining, повинна бути нетривіальною. Знання повинні описувати нові зв'язки між властивостями, передбачати значення одних ознак на основі інших і т.д. Знайдені знання повинні бути застосовні і на нових даних з деякою мірою достовірності. Корисність полягає в тому, що ці знання можуть приносити певну вигоду при їх застосуванні. Знання повинні бути в зрозумілому для користувача не математика вигляді. Наприклад, найпростіше сприймаються людиною логічні конструкції "якщо . то .". Більш того, такі правила можуть бути використані в різних СУБД як SQL-запити. У разі, коли витягнуті знання непрозорі для користувача, повинні існувати методи попередньої обробки , що дозволяють привести їх до вигляду, що інтерпретується.

1.4.1.Застосування методів data mining

Методи data mining поширені в багатьох організаціях через те, що вони можуть зробити істотний внесок в збільшення доходів. Ці методи можуть використовуватися для управління взаєминами з клієнтами. Визначаючи характеристики клієнтів, які можуть звернутися до конкурентів, компанія повинна їх утримати, оскільки зберегти клієнта завжди дешевше, ніж придбати нового.

Маркетинг даних – це інша область, в якій активно застосовується технології data mining. Визначаючи кандидатів для розсилки цільової реклами за допомогою методів data mining можна збільшити продажі, при цьому зменшивши витрати на проведення такої реклами.

Застосування технологій data mining поширено в широкому спектрі індустрій. Телекомунікаційні компанії і компанії, що випускають кредитні картки, є лідерами у вживанні цих технологій для визначення можливих втрат клієнтів. Страхові компанії і фондові біржі теж застосовують ці технології для визначення втрат клієнтів. Ще одна область застосування методів data mining – це медицина; тут передбачається ефективність застосування медикаментів, хірургічних процедур і медичних тестів. Компанії, що діють на фінансовому ринку, визначають ринкові і галузеві характеристики для прогнозу індивідуальних і фондових переваг в найближчому майбутньому. Супермаркети визначають, які продукти продавати і як їх розташувати усередині магазина для досягнення найбільшої кількості продажів. Фармацевтичні фірми використовують сховища даних по хімічних сполуках для знаходження таких комбінацій цих з'єднань, які надалі можна буде використовувати як ліків для лікування різних захворювань.

Ключем до успішного вживання методів data mining служить не просто вибір алгоритму, а майстерність людини, яка проводить побудову моделі, і можливості програми проводити процес моделювання. Інформативність реалізованого проекту data mining залежить від цих чинників більшою мірою, чим від алгоритмів. Існують дві сторони успіху в пошуку даних. По-перше – це чітке і ясне формулювання завдання, яке підлягає рішенню. По-друге – це використання правильних даних. Після вибору даних зі всіх доступних джерел (або навіть придбання даних із зовнішніх джерел) необхідно їх перетворити або згрупувати в певному порядку.

1.4.2.Види моделей

Розглянемо основні види моделей, які використовуються для знаходження нового знання на основі даних сховища. Метою технологи data mining є виробництво нового знання, яке користувач може надалі застосувати для поліпшення результатів своєї діяльності. Результат моделювання – це виявлені відносини в даних. Можна виділити принаймні шість методів виявлення і аналізу знань: класифікація, регресія, прогнозування тимчасових послідовностей (рядів), кластеризація, асоціація, послідовність. Перші три використовуються головним чином для прогнозу, тоді як останні зручні для опису існуючих закономірностей в даних.

Класифікація. Ймовірно, найбільш поширеною сьогодні операцією інтелектуального аналізу даних є класифікація. З її допомогою виявляються ознаки, що характеризують групу, до якої належить той або інший об'єкт. Це робиться за допомогою аналізу вже класифікованих об'єктів і формулювання деякого набору правил. У багатьох видах бізнесу першочерговою проблемою вважається втрата постійних клієнтів. Використовуючи класифікацію, можна визначити найефективніші види знижок і інших вигідних пропозицій, які будуть найбільш дієві для тих або інших типів покупців. Завдяки цьому вам вдасться утримати клієнтів, витративши рівно стільки грошей, скільки необхідно.

Регресійний аналіз використовується в тому випадку, якщо відносини між змінними можуть бути виражені кількісно у вигляді деякої комбінації цих змінних. Отримана комбінація далі використовується для прогнозу значення, яке може приймати цільова (залежна) змінна, що обчислюється на заданому наборі значень вхідних (незалежних) змінних .

Прогнозування тимчасових послідовностей дозволяє на основі аналізу поведінки тимчасових рядів оцінити майбутні значення прогнозованих змінних. Звичайно, ці моделі повинні включати особливі властивості часу: ієрархія періодів (декада-місяць-рік або місяць-квартал-рік), особливі відрізки часу (п’яти-шести або семиденний робочий тиждень, тринадцятий місяць), сезонність, свята та інше.

Кластеризація відносяться до проблеми сегментації. Цей підхід розподіляє записи в різні групи або сегменти. Кластеризація в чомусь аналогічна класифікації, але відрізняється від неї тим, що для проведення аналізу не потрібно мати виділеної цільової змінної.

Асоціація застосовується, головним чином, до класу проблем, типовим прикладом яких є аналіз структури покупок. Класичний аналіз структури покупок відноситься до представлення придбання якої-небудь кількості товарів як одиночної економічної операції (транзакції). Оскільки велика кількість покупок здійснюється в супермаркетах, а покупці для зручності використовують корзини або візки, куди і складається важливі товар, то найбільш відомим прикладом знаходження асоціацій є аналіз структури покупки (market-basket analysis).

Послідовність. Традиційний аналіз структури покупок має справу з набором товарів, що представляє одну транзакцію. Варіант такого аналізу зустрічається, коли існує додаткова інформація (номер кредитної карти клієнта або номер його банківського рахунку) для зв'язку різних покупок в єдину тимчасову серію.

Ці основні типи моделей використовуються для знаходження нового знання в сховищі даних. Звернемося тепер до методів, які використовуються для проведення інтелектуального аналізу даних.

1.4.3. Методи аналізу даних

Інтелектуальні засоби аналізу даних використовують наступні основні методи:

      нейронні мережі;

      дерева рішень;

      індукція правил.

Окрім цих методів існують ще декілька додаткових:

      системи міркування на основі аналогічних випадків;

      нечітка логіка;

      генетичні алгоритми;

      алгоритми визначення асоціацій і послідовностей;

      аналіз з виборчою дією;

      логічна регресія;

      еволюційне програмування;

      візуалізація даних.

Комбіновані методи. Часто виробники поєднують вказані підходи. Об'єднання в собі засобів нейронних мереж і технології дерев рішень повинне сприяти побудові точнішої моделі і підвищенню її швидкодії. Програми візуалізації даних в якомусь сенсі не є засобом аналізу інформації, оскільки вони тільки представляють її користувачеві.

Засоби data mining припускають надання допомоги організаціям в знаходженні прихованих залежностей в даних. Отримувані моделі можна використовувати як для прогнозу майбутніх значень, так і для опису поточного стану. Проте, засоби data mining не можуть працювати без супроводу користувачів, які добре розуміють ділову область, самі дані і загальний характер використовуваних аналітичних методів. Результат застосування методів знаходження нового знання може виявлятися в широкому спектрі, від збільшення доходів, до зменшення витрат.

Побудова моделі, це лише один крок в процесі знаходження нового знання. Для здобуття коректних результатів необхідно зібрати і підготувати дані і перевірити модель на реальних прикладах. Найкращу модель можна знайти після побудови моделей різних типів по різних технологіях.

Це и все, що необхідно зробити, щоб автоматизувати процес отримання знань. Подальші кроки вже робить експерт, він же ОПР . Интерпретация результатів комп'ютерної обробки покладається на людину. Просто різні методи дають різну інформацію для роздумів. У найпростішому випадку – це таблиці і діаграми, а в складнішому – моделі і правила. Повністю виключити участь людини неможливо, оскільки той або інший результат не має ніякого значення, поки не буде застосований до конкретної предметної області. Проте є можливість тиражувати знання. Наприклад, ОПР за допомогою якого-небудь методу визначив, які показники впливають на кредитоспроможність покупців, і представив це у вигляді правила. Правило можна внести до системи видачі кредитів і таким чином значно понизити кредитні ризики, поставивши їх оцінки на потік. При цьому від людини, що займається власне документами, не вимагається глибокого розуміння причин того або іншого висновку. Основна ідея – перехід від разових і не уніфікованих методів до конвеєрних.

Розділ 2. Аналітична система Deductor

Deductor - аналітична платформа що дозволяє в стислі терміни створити ефективну систему підтримки ухвалення бізнес-рішень. Завдяки потужному механізмам імпорту, за допомогою Deductor можливе створення єдиної аналітичної надбудови над всіма системами збору і зберігання даних, що існують в компанії (торгові системи, бухгалтерські системи, окремі бази і т.д.). Унікальність даного рішення полягає в тому, що Deductor, при необхідності, автоматично об'єднає дані з розрізнених джерел. Реалізовані в Deductor технології дозволяють на базі єдиної архітектури пройти всі етапи побудови аналітичної системи: від створення сховища даних до автоматичного підбору моделей і візуалізації отриманих результатів. Deductor надає інструментальні засоби, необхідні для вирішення самих різних аналітичних завдань.

Корпоративна звітність, прогнозування, сегментація, пошук закономірностей - ці і інші завдання, де застосовуються такі методики аналізу як OLAP, Knowldge Discovery in Databases і Data Mining.

2.1. Прикладні рішення

      Системи корпоративної звітності. Зручне у використанні сховище даних і гнучкі механізми попередньої обробки, очищення, завантаження, візуалізація дозволяє швидко створювати комплексні системи звітності в стислі терміни.

      Обробка нерегламентованих запитів. Кінцевий користувач може з легкістю отримати відповідь на питання типу "Скільки було продажів товару по групах в Київську область за минулий рік з розбиттям по місяцях?" і проглянути результати найбільш зручним для нього способом.