Засоби автоматизації ІАД. Засоби збору інформації

    Доступ  до даних може бути реалізований (організований) в двох варіантах.

    У першому варіанті проводиться безпосереднє звернення з певної інформаційної системи до бази даних. Цей процес здійснюється за допомогою драйверів з бібліотек BDE (Borland Database Engine) і ODBC (Open Database Connectivity). Доступ до необхідних даних при ІАД можливий після створення псевдоніма даних – описувача, що містить відомості, що однозначно визначають необхідну базу даних. Склад їх залежить від типу СУБД і режиму роботи. При зверненні до SQL-серверу досить вказати найменування сервера і ім'я безпосередньо бази даних. У разі роботи з файловими системами необхідно вказати повний шлях до шуканого файлу. У системі ODBC слід задавати джерело даних ODBS DSN. Цей спосіб вибірки даних дозволяє реалізувати режим безпосереднього обміну on line, коли кожна зміна в джерелі миттєво відбивається в системі прийняття рішення. Проте реалізувати цей режим не завжди можливо внаслідок того, що джерело може бути вимкнене або закрите для доступу, в результаті незадовільного стану каналів зв'язку або по інших причинах [7, с.42].

    Передбачається  і інший режим. Перенаправлення  інформації з операційних баз даних проводиться по певному узгодженому розпорядку – за сценарієм, який може бути сформований за допомогою запозичених засобів, наприклад блоку перетворення даних DTS з складу MS SQL Server або власних засобів розробника системи прийняття рішень ІАД.

    Операція  перенаправлення може проводитися:

    - безпосередньо з баз даних з їх форматами

    - з текстових файлів заздалегідь сформованих з таблиць операційних баз даних.

    Всі джерела інформації мають бути зареєстровані  в інформаційній системі. Зібрані з первинних джерел дані компонуються в нову багатовимірну базу даних або об'єктну надбудову, яка має різні назви в конкретних реалізаціях інструментів системи. Наприклад: Юніверс (Univers) в системі Business Objects, вибірка в системі «Контур Стандарт», гіперкуб – SAS, пул – SAP R-3, в деяких джерелах її називають факт-таблиця і так далі.

    При побудові багатовимірної бази даних використовуються таблиці-довідники для доступу до інформації, що відноситься до різних класифікаторів. Зв'язки між об'єктами з декількох джерел даних визначаються по ключових полях.

    Засоби системи прийняття рішень надають широкі можливості застосування фільтрів в процесі компонування багатовимірної бази даних.

    2. Засоби перетворення даних

    Зважаючи  на надзвичайно високу значущість інформації, що використовується для інформаційно аналітичної діяльності, яка підвищується після виконання аналітичних робіт, обов'язкова процедура попереднього очищення даних. Проводиться забезпечення і перевірка достовірності різними апаратно-програмними засобами і багатьма способами, зокрема: зворотна перевірка, контрольне підсумовування, захисне кодування, семантичний контроль і так далі.

    Окрім цього проводиться логічна обробка даних у вигляді відбракування нехарактерних для даного набору значень різного роду показників. В цьому випадку використовуються засоби статистичної обробки даних і інші методи.

    Необхідність  перетворення пов'язана з тим, що фізичне представлення даних, як правило, сильно відрізняється від  представлення даних в джерелах. Ставиться також завдання ефективної реалізації запитів і виконання вимоги за часом відповіді системи. Є потреба в уніфікації форматів представлення даних.

    Для цих цілей використовуються мови обробки реляційних і багатовимірних даних, а також спеціальні процедури. Мови можуть бути запозиченими або спеціалізовими [11, с.15].

    При зборі (доставці), упаковці даних в них виникає природна потреба в агрегації даних. По матеріалах досліджень 90% користувачів використовують в інформаційно аналітичній діяльності сильно агреговану інформацію. Необхідність у використанні інформації детального рівня виникає вельми рідко. Для забезпечення ефективного їх використання  ведеться спостереження в процесі експлуатації за частістю і характером запитів до даних, що зберігаються. Виявляються закономірності, визначаються найбільш часті типи запитів. На підставі спостережень заздалегідь готується агрегована інформація за відповідними показниками. Такі заходи різко знижують час відгуку, відповідно підвищується ефективність інформаційно-аналітичної системи. Для реалізації такого підходу застосовуються спеціальні процедури.

    3. Засоби оперативного (OLAP) аналізу

    Програмні інструментальні засоби, що забезпечують автоматизацію аналітичних робіт в цілях підтримки ухвалення рішень, в літературі отримали дві поширені назви: OLAP – системи і інформаційні сховища. Під цими назвами мають на увазі і повний набір засобів і приватні підсистеми.

    Реалізація  їх направлена на максимальне спрощення дій користувача в процесі аналізу. В процесі оперативного створення звітів DSS – EIS обмежених за часом використання мовних засобів. З цієї причини широко використовуються засоби графічного конструювання, що спрощують таку роботу і трудовитрати. Основний принцип дії – набір з елементів, представлених в графічному виді структур звітів. Представлена загальна структура бази даних у вигляді схеми з умовно відображеними атрибутами (реквізитами) і класами, що є по суті заздалегідь заготовленим шаблоном даних. З неї простим перетяганням на відведену частину екрану компонується звіт. Відпадає необхідність написання SQL-запиту. У деяких інструментах (Business Objects) в процесі графічного конструювання автоматично формується відповідний SQL-запит. Конструювання звітів ІАД може бути організоване і на основі електронних таблиць. Для реалізації такого підходу створені спеціальні програмні модулі, що реалізовують систему діалогових меню, шаблони, графічні конструктори. Сценарій аналізу формується з використанням технології drag&drop (перенести і залишити), а також вибором із запропонованих в діалоговому вікні альтернатив, натисненням курсором відповідних кнопок, що визначають ті або інші режими, налаштуванням ієрархічного дерева атрибутів і так далі. За допомогою перерахованих методів і відповідних засобів обирається потрібна база даних, відповідні поля і записи, визначаються ті, що підлягають аналізу показники, задаються режими фільтрації, взаєморозташування функцій і параметрів (повороти, зрізи і інші процедури OLAP-аналізу).

    Результати  аналізу представляються у вигляді  надрукованих звітів або презентацій, які складаються з наступних компонентів: сторінка, таблиця, графік. Для остаточного оформлення з урахуванням естетичних і психофізіологічних вимог використовують власні засоби ІАД або отримані результати аналізу у складі перерахованих компонентів переносять в інші середовища, в яких можуть бути додані різні додаткові компоненти у вигляді малюнків, кіно-, фото-, аудіо-, відеоматеріалів. Експорт даних може бути здійснений і в Web-середовище. Можливий і зворотний варіант: всі перераховані додаткові компоненти імпортуються як упроваджувані OLE-обєкти.

    При створенні складних сценаріїв OLAP-аналізу використання мнемонічних методів приводить до зростання трудовитрат і може навіть ускладнити процес у зв'язку з їх громіздкістю. У таких випадках використовуються програмні методи. Як мови програмування застосовують стандартна мова запитів SQL, розширені або усічені версії або спеціалізовані мови. У різних інструментальних засобах застосовуються свої варіанти інструментів:

    – у продукті Business Objects використовується стандартний SQL

    – у системі «Контур Стандарт»  – обєктно-орієнована мова Python спільно з XML;

    – в середовищі «Лінтер-Невід» застосовується своя мова LAB в сукупності з SQL;

    – в системі Oracle Express OLAP роботи в таких випадках ведуться в професійному інструментальному середовищі для візуальної об'єктно-орієнтованої розробки додатків Express Objects, у складі якої є мова Express Basic. Згадані засоби програмного методу підготовки OLAP-аналізу дозволяють виконувати аналіз будь-якого ступеня складності з мінімальними трудовитратами, але вимагають достатньо високої кваліфікації учасників цього процесу;

    – в сімействі продуктів Microsoft – мови VBA, SQL.

    4. Засоби інтелектуального аналізу даних

    Це  найбільш складна, інтелектуально насичена частина інформаційно-аналітичної діяльності, що служить причиною наявності відповідного модуля лише у складі найбільш розвинених систем. До того ж склад завдань, що виконуються модулями такого призначення, залежить від рівня розвитку системи.

    Інтелектуальний аналіз частіше реалізується автономними  програмними системами у зв'язку з складністю виконуваних завдань  ІАД.

    В той же час OLAP-системи частково виконують самі відпрацьовані функції інтелектуального аналізу, що легко реалізовуються [3, с.398].

    До  спеціалізованих пакетів інтелектуального аналізу відноситься високорозвинутий набір інструментальних засобів для інтелектуального аналізу крупних масивів даних (до мільйонів записів) «Polyanalist» російської фірми «Megaputer». Ця фірма користується світовою популярністю, її продукти використовуються більш ніж в 20 країнах, займали призові місця на міжнародних конкурсах, їх застосовують такі відомі фірми як Chase Manhatten Bank, Dupont, Siemens та інші.

    Все сімейство продуктів забезпечує якнайповніший набір методів Data mining і Text mining з відомих комплексів інструментальних засобів.

    Зокрема забезпечується:

    - отримання інформації у великих масивах даних;

    - автоматична побудова і тестування формул, що описують виявлені функціональні залежності;

    - складання класифікаційних правил  по заданих прикладах; формування багатовимірних кластерів;

    - пропозиція алгоритмів рішень;

    - текстовий аналіз з можливістю зв'язку понять;

    - візуалізація результатів аналізу  і інші можливості, реалізовані в шістнадцяти модулях.

    Основна орієнтація продуктів фірми – забезпечення:

    - підготовки масивів даних до  аналізу;

    - прогнозування подій і поведінки  процесів на основі застосування великого набору нейронних сітьових методів;

    - аналізу ситуацій за допомогою  апарату дерев рішень;

    - застосування методів асоціативних правил, генетичних алгоритмів, фільтрації.

    Розвиненою  системою відносно можливостей, що надаються модулями і автономними підсистемами інтелектуального аналізу, є інструментарій системи. У комплект інструментальних засобів, вирішальних завдання інтелектуального аналізу, входять:

    - SAS/ETS – в цьому модулі реалізуються  методи аналізу тимчасових рядів, економічного системного моделювання і прогнозування, фінансового аналізу і формування звітів; проводиться відновлення пропущених значень методом інтерполяції, зміна тимчасової прив'язки тимчасового ряду, виділення сезонною компоненти в тимчасових рядах, побудова трендів, виявлення флюктуацій і нерегулярній частині;

    - SAS/STAT – використовує статистичні  методи регресійного, дисперсійного  аналізу, нелінійного моделювання,  аналізу категоріальних даних,  багатовимірного, зокрема факторного аналізу, кластерного і непараметричного аналізу;

    - SAS/INSIGHT – динамічний засіб для дослідження і аналізу даних; використовує методи статистичного дослідження одновимірних і багатовимірних даних;

    - SAS/IML – інтерактивна матрична  мова програмування, що оперує з матрицями даних, які можуть бути числовими і символьними;

    - SAS/OR – інструмент моделювання,  аналізу, вирішення завдань дослідження операцій, управління проектами;

    - модулі вирішення завдань нейросітьовими методами.

    В той же час високого рівня інструмент Oracle Express OLAP має в своєму складі обмежений склад засобів інтелектуального аналізу. Вирішення такого роду завдань, що виходять за рамки можливостей цього інструменту, пропонується виконувати засобами MS Excel і іншими спеціалізованими інструментами Data mining, з якими є дружній інтерфейс. Необхідно відмітити, що багато роботи інформаційно-аналітичної діяльності покладають на MS Excel завдання інтелектуального аналізу, які виконуються програмними модулями «Майстра функцій» цього популярного інструменту. 

    Висновок:

    Отже, розробка, функціонування та удосконаленню  засобів інформаційно-аналітичної  діяльності приділяється велика увага: сьогодні конкуренція в області створення засобів підтримки ІАД перетворилася із звичного змагання фірм-розробників в гонку інформаційних технологій на державному рівні. На сьогодні інформаційні технології як інструмент підвищення ефективності і оперативності процесів управління є одним з основних елементів системи забезпечення економічної безпеки держави, його громадян і суб'єктів економічної діяльності.

    Говорячи  про засоби автоматизації і інформатизації ІАД, слід виділяти наступні класи:

• засоби забезпечення ІАД, безпосередньо не призначені для обробки і аналізу інформації (телекомунікаційне забезпечення ІАР, засоби збору, накопичення і зберігання даних, засобу відображення інформації);
• засоби ведення ІАД, безпосередньо призначені для обробки і аналізу інформації (різного роду пакети статистичної обробки, автоматизовані системи підтримки процесів моделювання складних систем і аналізу даних, лінгвістичні інструменти і так далі).