Проблемы интеграции данных

Автор работы: Пользователь скрыл имя, 12 Декабря 2010 в 18:03, курсовая работа

Описание

Современная бизнес – среда характеризуется такими проблемами, как возрастающая глобализация, необходимость поддерживать устойчивый рост на уже сложившихся рынках и дальнейшее ужесточение законодательных требований; конфликт между стремлением сделать корпорацию более гибкой за счет упрощения бизнес-процессов и IT-систем; необходимостью обрабатывать значительные объемы информации (лавинообразный рост количества данных).
Решение этих проблем – оперативная, согласованная и легкодоступная информация.
Целью интеграции данных является получение единой и цельной картины корпоративных бизнес – данных, а также формирование знаний.
Без интеграции данных в единое целое информационное пространство сложно говорить о пространстве знаний предприятия и об инновационном развитии в целом.
Современная экономика требует архитектурного подхода к интеграции информации, который позволит работать с реальными данными, даже если они иногда являются непоследовательными или неполными.
Существуют три основных метода интеграции данных консолидация, федерализация и распространение данных. Также будет рассмотрена классификация технологий интеграции данных.

Содержание

Введение 3
Цели и задачи интеграции данных 4
Основные проблемы в области интеграции данных 4
Причины неудач глобальных интеграционных проектов 5
Методы интеграции данных 9
Значение Хранилищ данных 14
Классификация технологий интеграции 18
Правительственный шлюз в интеграции информационных систем 20
Брокер сообщений 20
Основные стандарты XML и веб-служб 25
Базовые принципы применения XML и веб-служб для организации межведомственного взаимодействия 26
Платформа интеграции Microsoft .NET 28
Реализации архитектуры и инфраструктуры интеграции на примере Microsoft BizTalk Server 28
Заключение 29
Список литературы 30

Работа состоит из  1 файл

курсак весь.docx

— 59.61 Кб (Скачать документ)

     Помимо  этого, брокеры сообщений, как правило, поддерживают работу со специфическими адаптерами для различных типов  приложений и данных:

    • адаптеры к веб-службам;
    • адаптеры к мониторам транзакций;
    • адаптеры к различным реляционным СУБД;
    • API-адаптеры для популярных коробочных приложений.

     Наличие указанных дополнительных высокоуровневых  служб, а также средств для  моделирования процессов (графических  средств описания и модификации  процессов), по сути дела, превращает системы EAI и B2Bi в системы класса BPM (системы  управления бизнес-процессами).

     Сервер Microsoft BizTalk Server представляет собой именно такую систему управления бизнес-процессами (BPM), которая обеспечивает широкий  набор средств для определения  сложных бизнес-процессов, в которых  могут участвовать внешние организации. BizTalk Server включает в себя:

    • графические средства определения сложных, распределенных и долго протекающих (часы, дни, недели) бизнес-процессов. Эти средства имеют возможность разделения логики бизнес-процессов и физической реализации;
    • средства визуального определения структурированных бизнес-документов;
    • средства «мэппирования» (определения соответствия) между различными форматами бизнес-документов, включая возможности задания правил трансформации;
    • средства управления (консоль) для определения организаций, вовлеченных в бизнес-процесс, и средства определения правил взаимодействия и обработки сообщений;
    • средства анализа, отслеживания и хранения документов для последующего анализа;
    • средства мониторинга и управления работой интеграционного шлюза.

 

    1. Базовые принципы интеграции с использованием XML и веб-служб

     Основой межведомственной интеграции может служить интеграционное программное обеспечение и системы управления бизнес-процессами (BPM), такие как, например, Microsoft BizTalk Server. При этом XML претендует на роль универсального формата данных при такой интеграции. А сами ведомственные системы, как вновь разрабатываемые, так и унаследованные, могут быть реализованы в виде так называемых веб-служб или могут сделать свои интерфейсы доступными в виде веб-служб.

     Первое, что следует отметить, — это  то, что все описываемые ниже стандарты  являются открытыми, а в их разработке принимают участие такие ведущие  ИТ-компании, как Microsoft и IBM, а также  органы стандартизации Интернет-сообщества в лице консорциума World Wide Web Consortium (W3C) и организации UDDI.org. Это имеет  особую важность, поскольку государство  должно ориентироваться на открытые стандарты интеграции.

     Второе. Данные технологии не зависят от платформы  и не требуют от организаций, чьи  приложения интегрируются, использовать такие общие платформенные продукты, как операционные системы и СУБД.

     XML — это мета-язык для представления  данных. Термин «мета» используется  потому, что XML-документ не только  содержит в себе данные, но  также несет информацию, описывающую  эти данные. XML является такой  же универсальной и базовой  технологией для представления,  трансформации и обмена данными,  как транспортный протокол Transmission Control Protocol/Internet Protocol (TCP/IP) для Интернета.

     XML предоставляет общий формат для  пересылки данных между приложениями. При этом сами данные могут  по-прежнему храниться в прикладных  системах и базах данных в  своем внутреннем формате, но  в случае необходимости их  пересылки в другое приложение  они будут трансформироваться  в формат XML, как в промежуточный  формат, понимаемый всеми системами.  Уже сегодня стандарт XML поддерживается  поставщиками основных платформенных  программных продуктов.

     Все это не устраняет необходимость  использования программного обеспечения  промежуточного слоя пересылки сообщений (MOM), о котором речь шла выше, поскольку  поток XML-данных и документов должен быть соответствующим образом маршрутизирован  и, возможно, трансформирован для  того, чтобы быть понятым целевым  приложением.

     При этом XML-данные имеют текстовый формат и могут анализироваться сетевыми экранами и проходить за границы  организаций.

     Таким образом, XML предлагает единое решение  как для интеграции корпоративных  приложений (EAI или A2A), так и для  межведомственной B2Bi-интеграции.

     Одна  из тенденций состоит в том, что  наиболее передовые продукты интеграции класса систем управления бизнес-процессами (BPM), такие как Microsoft BizTalk Server, не только используют XML как формат обмена данными, но также используют синтаксис языка XML для описания бизнес-логики и контроля маршрутов и потоков прохождения  сообщений и документов. В частности, Microsoft, IBM и ряд других поставщиков  разработали язык Business Process Execution Language for Web Services (BPEL4WS) в качестве стандартного XML-языка описания бизнес-процессов. Это обеспечивает то, что новые  приложения будет еще легче интегрировать  в общие бизнес-процессы, а сама логика бизнес-процессов может быть легко доступна для модификации. Это также дает возможность создания репозитария стандартных государственных  бизнес-процессов, что лежит в  основе электронных административных регламентов.

     Еще одна тенденция состоит в том, что прикладные системы все в  большей степени реализуются  в виде компонентов, так называемых веб-служб, функциональные возможности  которых доступны для пользователей  и других приложений по сети Интернет/интранет.

     В этом плане системы управления бизнес-процессами (BPM) и технология веб-служб прекрасно  дополняют друг друга. Интегрируемые  прикладные системы и их модули могут  быть реализованы в качестве четко  определенных служб. Системы BPM обеспечивают выполнение потоков работ как  цепочек взаимосвязанных служб, «склеивая» вместе службы в единые бизнес-процессы.

     Приложение, которому требуется доступ к другому  приложению как к веб-службе, использует регистр (каталог) UDDI для обнаружения  нужной ему веб-службы (информация в  регистре UDDI предварительно должна быть опубликована организацией, желающей сделать свою веб-службу публично доступной). В этом же регистре приложение определяет необходимые для взаимодействия интерфейсы. Интерфейсы публикуются  с использованием стандарта WSDL. После  этого с помощью интерфейса WSDL приложение вызывает веб-службу и применяет SOAP и XML как конверты и форматы  для передачи информации, а протоколы HTTP и SMTP  — в качестве транспорта для ее доставки.

      1. Основные  стандарты XML и веб-служб

     Интеграция  информационных систем на основе веб-служб  связана с использованием четырех  ключевых стандартов:

    • Extensible Markup Language (XML) — расширяемый язык разметки информации. Описывает информацию, пересылаемую по Интернету. Запрос на получение каких-либо данных или выполнение определенных действий другим приложением требует наличия способов передачи параметров и получения обратно определенных результатов. При использовании веб-служб эта информация описывается с помощью языка XML, являющегося международным общепринятым стандартом для описания произвольных данных, которыми в свою очередь могут обмениваться информационные системы.
    • Simple Object Access Protocol (SOAP) — простой протокол доступа к объекту. Этот стандарт описывает протокол вызова веб-службы (удаленный процесс доступа к услугам/информации некоторой прикладной системы). То есть передаваемые параметры описываются с помощью языка WSDL, а сам процесс вызова описывается с помощью SOAP. Другими словами, этот протокол как бы описывает конверт с информацией для вызова веб-службы. И этот конверт может быть доставлен от одного приложения к другому с помощью таких транспортных протоколов как Hypertext Transfer Protocol (HTTP) или протоколов электронной почты наподобие Simple Mail Transfer Protocol (SMTP). В типичной ситуации взаимодействия система одной организации может вызвать систему другой организации, используя протокол SOAP. Запрос, который обычно содержит ту или иную форму бизнес-документа, посылается инициатором к запрашиваемой системе. Последняя принимает запрос, и входящий документ, содержащийся в запросе, обрабатывается. В результате запрошенная система генерирует ответ, который возвращается инициатору взаимодействия. Инициатор также информируется о статусе (успех или иное) запроса. Протокол SOAP основан на стандарте XML и состоит из трех частей: формат конверта, который описывает содержимое сообщения и то, как оно должно обрабатываться; набор правил кодирования для определения типов данных конкретного приложения и соглашения по выполнению удаленных вызовов процедур.
    • Web Services Description Language (WSDL) — язык описания веб-служб. Это основанный на стандарте XML язык, который определяет способ доступа к веб-службам. Он описывает функциональные возможности веб-служб и группирует операции взаимодействия в определенные интерфейсы, задающие способы выполнения операций и те параметры, которые должны быть на входе и выходе.
    • Universal Description, Discovery, and Integration (UDDI) — универсальный метод описания, обнаружения и интеграции. Технология UDDI предоставляет средства, с помощью которых можно сделать так, чтобы любые приложения или услуги, описанные в терминах веб-служб, могут быть распознаны другими приложениями и/или организациями. То есть это стандарт создания регистра, используя который, можно описать организации и предоставляемые ими услуги в виде, доступном для динамического обнаружения и взаимодействия. Основные объекты информационной модели UDDI — это организации (businessEntity), услуги (businessService) и связующий шаблон (bindingTemplate), соответствующие, по аналогии с обычным телефонными справочниками, так называемым белым страницам (адресная и контактная информация), желтым страницам (предоставляемые услуги) и зеленым страницам. В традиционных телефонных справочниках наличие зеленых страниц, описывающих способы получения услуги, не являлось необходимым, поскольку предполагается, что телефонная связь является единственным способом доступа. Спецификацией UDDI предусматривается произвольное множество методов обращения к каждой веб-услуге, для описания которых и служит связующий шаблон.
      1. Базовые принципы применения XML и веб-служб для  организации межведомственного  взаимодействия

     Ниже  перечислены основные принципы применения XML и веб-служб для организации  межведомственного взаимодействия:

    • веб-службы как основной механизм интеграции. Системы отдельных государственных органов, включая системы документооборота, могут быть описаны в виде веб-служб;
    • XML как стандарт обмена данными;
    • возможность создания общедоступных регистров ведомственных систем на федеральном, региональном и местном уровнях с помощью универсального стандарта UDDI;
    • «слабое связывание» информационных систем на основе инфраструктуры пересылки сообщений в виде XML-документов.

     Таким образом, ключевым принципом применения XML для межведомственной интеграции информационных систем, в том числе  систем документооборота, является использование  веб-служб и регистров на базе универсального стандарта UDDI. Причем UDDI может использоваться для создания общедоступного регистра не только государственных  информационных систем, но и самих  государственных органов и их услуг, даже если они предоставляются  традиционным (неэлектронным) способом.

     Интеграционный шлюз может обеспечивать не только маршрутизацию сообщений (брокер сообщений), но и реализовывать функции коллективного UDDI-регистра доступных государственных информационных систем, а также реализовывать функции «брокера веб-служб», то есть обеспечивать механизм взаимодействия между ведомственными информационными системами как веб-службами.

 

    1. Платформа интеграции Microsoft .NET

     Для проекта создания Правительственного шлюза в Великобритании, аналогичных проектов в Дании и ряде других стран в качестве партнера государства выбрали Microsoft и ее технологии, так как Microsoft сформулировала достаточно передовую концепцию архитектуры информационных систем под названием .NET, которую можно определить кратко следующим образом: «Microsoft .NET — это программное обеспечение для интеграции информации, людей, систем и устройств на основе технологий XML и веб-служб».

     Платформа Microsoft .NET предоставляет интегрированные  средства разработки, обеспечивающие создание приложений в виде веб-служб, а также серверные продукты, в  которых обеспечена глубокая поддержка  стандартов XML и веб-служб с точки  зрения информационного обмена.

      1. Реализации архитектуры и инфраструктуры интеграции на примере Microsoft BizTalk Server

     BizTalk Server является таким сервером интеграции  приложений, который содержит мощные  графические средства проектирования  процессов интеграции. Этот сервер  поддерживает:

    • маршрутизацию документов;
    • конвертацию документов в необходимую форму;
    • формализацию деловых процедур;
    • «транзакционность», то есть контроль за выполнением деловых операций с информацией и документами.

     Здесь имеет смысл отметить масштабируемость решения, предложенного корпорацией Microsoft:

    • 5 млрд. обращений в год;
    • 500 транзакций в секунду;
    • обмен 100 документами по 10 Кбайт в секунду;
    • готовность 365×7×24 (365 дней в году, 7 дней в неделю и 24 часа в сутки);
    • линейный рост производительности с добавлением оборудования;
    • поддержка механизма транзакций (Transaction Engine, TE).

 

      Заключение

     Операционные  и аналитические системы дополняют  друг друга. Для достижения успеха организациям необходимо эффективно использовать и  те, и другие. Аналитические цели, такие как анализ тенденций изменения  и прогнозирование, требуют сбора  данных с отметками времени из многочисленных источников в единое Хранилище или витрину данных. Для операционных целей часто  необходимо создавать отчеты на основе данных, находящихся в операционных системах. Консолидация текущих данных из многочисленных операционных систем может осуществляться с помощью  операционных складов данных.

     При сборе всех этих данных используются различные подходы и методы интеграции данных. Решения для интеграции данных и повышения их качества - это  ключ к контролю информации.

     К программным системам интеграции данных аналитики относят решения, обеспечивающие инфраструктуру доступа и доставки данных для следующих сценариев интеграции.

     Успешная  интеграция данных приводит к формированию знаний, что обеспечивает организации возможностями для принятия надежных бизнес - решений.

Информация о работе Проблемы интеграции данных