Понятие GRID. DataGRID и вычислительный GRID. Виртуальная организация. Архитектура GRID, описание протоколов, сервисов, API и SDK. Уровни GRID

   МИНОБРНАУКИ РОССИИ

   САНКТ-ПЕТЕРБУРГСКИЙ  ГОСУДАСТВЕННЫЙ ЭЛЕКТРОТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ  «ЛЭТИ» 

   Кафедра ВТ 
 
 

   Реферат на тему

   «Понятие GRID. DataGRID и вычислительный GRID. Виртуальная организация. Архитектура GRID, описание протоколов, сервисов, API и SDK. Уровни GRID.» 
 
 
 
 

Выполнила: Константинов К.С.

Группа: 7301

Проверил: Вехорев М. Н. 
 
 
 

   Санкт-Петербург

   2011

В 1989 году сотрудник  Европейского центра ядерных исследований (ЦЕРН, Женева) Тим Бернерс-Ли изобрел  принципиально новый способ свободного доступа в Сеть - World Wide Web (WWW - Всемирная Паутина). Сегодня ЦЕРН вновь, фактически, становится инициатором дальнейшей эволюции интернета - создается система распределенных компьютерных вычислений GRID.

Первая фаза вы числительного проект GRID для будущего ускорителя LHC (Большой адронный коллайдер - Large Hadron Collider) была одобрена на Совете ЦЕРН. Сегодня важно не только иметь доступ к информации, но и распределенным образом обрабатывать ее. Четыре гигантских детектора этого ускорителя будут накапливать больше чем 10 миллионов гигабайт данных в течение каждого года о событиях, происходящих при столкновении частиц. Это эквивалентно содержанию, примерно, 20 миллионов компьютерных компакт-дисков.

Почти 10 тысяч  ученых из сотен университетов мира группируются в виртуальные сообщества, чтобы анализировать данные с ускорителя LHC. За одну секунду на экспериментальных установках этого ускорителя будет происходить более одного миллиарда соударений.  

Концепция GRID

(название по  аналогии с электрическими сетями - electric power grid) предполагает создание компьютерной инфраструктуры нового типа, обеспечивающей глобальную интеграцию информационных и вычислительных ресурсов на основе управляющего и оптимизирующего программного обеспечения (middleware) нового поколения.

Для достижения этой цели создается набор стандартизированных  служб для обеспечения надежного, совместимого, дешевого и всепроникающего  доступа к географически распределенным высокотехнологичным информационным и вычислительным ресурсам - отдельным  компьютерам, кластерам и суперкомпьютерным центрам, хранилищам информации, сетям, научному инструментарию и т.д.

Важнейшим является междисциплинарный характер GRID. Имеется  довольно много общего в вычислительных потребностях различных областей научных  исследований - развиваемые технологии применяются в физике высоких энергий, космофизике, микробиологии, экологии, метеорологии, различных инженерных приложениях (например в самолетостроении).

Схожие проблемы наблюдаются и в других областях. Например, NASA реализует для своих нужд сеть высокопроизводительных компьютеров, роботизированных устройств массовой памяти, высокоскоростных каналов связи, научных инструментов и продвинутых интерфейсов для пользователя под названием Information Power Grid (http://www.nas.nasa.gov/IPG).

В настоящее  время кроме LHC идет подготовка нескольких научных экспериментов нового поколения - эксперименты с использованием интерферометров  для регистрации гравитационных волн бинарных пульсаров, новых сверхсвезд и иных экзотических объектов (эксперимент LIGO), а также автоматизированная цифровая космическая съемка с очень высоким разрешением, которая позволит значительно развить систематическое изучение звезд, галактик и крупномасштабных космических структур (эксперимент SDSS) для создания подробного каталога астрономических данных. Все эти эксперименты рассчитаны на длительный период и предполагают накопление и последующую обработку массивов данных.

Существуют два  основных направления развития GRID технологий - вычислительный (computational) GRID, и для интенсивных операций с базами данных, data intensive GRID (далее - DataGRID).

В вычислительном GRID создаваемая инфраструктура нацелена на достижение максимальной скорости расчетов за счет глобализации распределения (распараллеливания) вычислений. Одним из таких проектов является европейский проект EuroGRID.

Существует несколько  сайтов, отражающих общую активность в данном направлении. Европейский  форум Europien Grid Forum (www.egrid.org) представляет собой сайт, нацеленный на обсуждение, обмен опытом в использовании распределенных вычислительных систем, доступ к которым осуществляется на базе глобальных сетей. Примерно для тех же целей предназначен и американский Grid Forum (www.gridforum.org).  

Общие характеристики

потребностей, которые  делают оправданной организацию вычислительных архитектур типа Data intensive GRID:

• большие объемы данных, распределенных по различным научным центрам, странам и континентам;
• участие большого количества специалистов в обработке данных из разных институтов и университетов;
• информация, которую следует проанализировать, имеет сложную структуру;
• алгоритмы обработки информации имеют нетривиальный характер (объем программ составляет миллионы строк текста);
• наконец, масштабируемость базового программного обеспечения (фактически, всего того, что лежит ниже прикладного уровня), которое должно устойчиво работать как на настольной машине, так и на суперкомпьютере.

К проекту Grid подключились и ведущие компьютерные компании Microsoft, Sun Microsystems, Compaq Computer и Hewlett-Packard. IBM и идеологи Grid-систем из академической науки подготовили проект документа, в котором излагаются принципы объединения двух направлений разработок. "Те же методы, которые используются при коллективном решении сложных технических задач, могли бы применяться и в других целях, таких как поддержка электронного бизнеса и веб-сервисы.

Однако пока технология веб-сервисов находится  в зачаточном состоянии, и речь идет лишь о строительстве фундамента для этого здания". Microsoft хочет  организовать реализацию бизнес-процессов на базе взаимодействующих друг с другом серверов, возможно, принадлежащих разным компаниям. Например, онлайновый заказ на авиабилет может обрабатываться с привлечением других веб-сервисов: для списания денег с кредитной карты, для оформления заявления на компенсацию расходов и для расширения географического охвата услуг мобильной связи, предоставляемых путешественнику. Эта компания интересуется защитой Grid-систем и работает над тем, чтобы внедрить в нее свою службу идентификации Passport.

Grid также поддерживает  компания Platform Computing and Entropia, программное  обеспечение которой позволяет  участвовать в распределенных  вычислениях Grid-систем не только  большим серверам, но и обычным  ПК.

Sun объявила о  важном шаге по унификации своего проекта веб-сервисов, входящего в пакет Sun Planet, с программным обеспечением Grid-системы, что согласуется с проектом Sun N1, нацеленным на то, чтобы управлять центром обработки данных, нашпигованным серверами и системами хранения данных, как единым гигантским компьютером. Sun и IBM вместе с конкурентами HP и Compaq объявили о своей поддержке Grid-стандарта Secure Grid Naming Protocol, который регламентирует способы определения местонахождения файлов в море систем хранения данных в Grid-сети и гарантирует доступность этих файлов только для пользователей, наделенных соответствующими правами.

Прогнозируется, что эволюционные изменения в  полупроводниковых технологиях  и архитектуре микропроцессоров приведут в ближайшие пять лет  к десятикратному увеличению вычислительных мощностей. Уже сегодня возможности рядовых пользователей, подключенных к цифровым каналам связи с предоставлением комплексных услуг, сравнимы с теми возможностями, которыми обладали суперкомпьютерные центры 10-15 лет назад.

Технологическое основание для создания Grid-инфраструктур дают уже существующие волоконно-оптические сети, высокопроизводительные процессоры, параллельные архитектуры, протоколы связи, математическое обеспечение распределенных структур, механизмы обеспечения безопасности.

Безусловно, усилия по развертыванию Grid-инфраструктур  имеют смысл только в том случае, если они будут востребованы большим  числом пользователей. Выделяют несколько  категорий потенциальных пользователей: специалисты по вычислительной технике, ученые-экспериментаторы, научные ассоциации и коммерческие фирмы. Grid-инфраструктуры найдут применение для глобального решения проблем охраны окружающей среды, для целей обучения и образования. Неизбежным видится быстрое проникновение Grid из исследовательской сферы в бытовую.

Основные  направления использования Computational GRID:

• распределенные супервычисления, решение очень крупных задач, требующих огромных процессорных ресурсов, памяти и т.д.;
• "высокопоточные" вычисления (High-Throughput Computing), позволяющие организовать эффективное использование ресурсов для небольших задач, утилизируя временно простаивающие компьютерные ресурсы;
• вычисления "по требованию" (On-Demand Computing), крупные разовые расчеты;
• вычисления с привлечением больших объемов распределенных данных (Data-Intensive Computing), например, в метеорологии, астрономии, физике высоких энергий;
• коллективные вычисления (Colla-borative Computing).

Архитектура Grid

Базовые функции

Как уже говорилось, вычислительные grid-сети, будут создаваться для обслуживания различных организаций с разнообразными характеристиками и требованиями к ресурсам. Для объединения разнородных ресурсов, единая вычислительная сеть должна иметь единую архитектуру. Возможность упорядочивания разнородного изначального материала обеспечивается предварительным определением базовых функций grid-сетей.

Авторы концепции  предложили использовать в качестве базовых функций вычислительных grid-сетей базовые функции обычного компьютера, что позволяет реализовать  все их преимущества, уже проверенные временем, и доказавшие свою эффективность для обычных вычислений. Несомненно, grid-среда потребует еще множества дополнительных функций, однако, направление ее развития должно следовать от расширения привычных возможностей к более сложному глобальному окружению.

Первый шаг  любых вычислений, задействующих  разделяемые ресурсы, начинается с  аутентификации, направленной на определение подлинности пользователя. Следующая за ней авторизация активирует права пользователя на создание процессов. Процесс включает одну или несколько нитей, реализующих параллельную или конкурентную работу, выполняемую в разделяемом адресном пространстве. Процесс самыми разнообразными способами взаимодействует с другими процессами, включая механизм разделяемой памяти (с блокировками и семафорами), каналы или протоколы типа TCP/IP.

Пользователь, или  действующий от его имени процесс, контролирует деятельность других процессов путем их приостановки, возобновления или прерывания. Контроль осуществляется посредством асинхронно доставляемых сигналов.

Пользовательский  процесс обеспечивает, работу с ресурсами, выполняя инструкции, выделяя память, читая и записывая данные на диски, посылая и получая сообщения и т.п. Возможность доступа процесса к ресурсам регламентируется политикой предоставления ресурсов, связанной с авторизационными механизмами. Механизмы составления расписаний базируются на ограничениях использования ресурсов.

Ниже лежат  механизмы учета данных, отвечающие за выделение ресурсов и их потребление, кроме того, существуют механизмы безопасности, обеспечивающие раздельное использование ресурсов.

Помимо перечисленного в обыкновенных компьютерах имеются  системы дополнительного размещения данных, такие как: - виртуальная память, файловые системы и базы данных.

Базовые компоненты архитектуры

Основываясь необходимости  поддержки пользователей, приложений и, определенных выше базовых функций, опишем архитектуру grid-сети.

Одной из основных характеристик ресурсов, составляющих вычислительную grid-сеть, является размерность. Вычислительная инфраструктура, как и многие другие, является фрактальной системой, т.е. подобна самой себе на каждом, различном по масштабу участке. Сеть может создаваться между странами, организациями, кластерами, компьютерами или даже между компонентами компьютера. Использование различных масштабов зачастую требует осуществления различных физических, экономических или политических механизмов. Например, способ управления доступом к шине портативного компьютера отличается от способа доступа к трансатлантическому кабелю.

В соответствии с размерностью разделим существующие вычислительные ресурсы grid-сети на четыре типа систем и разместим их по возрастанию  размера и сложности.

1. Конечная система является наилучшей моделью для вычислений, поскольку в ней реализовано наибольшее число усилий исследователей и разработчиков последних десятилетий;
2. Кластер представляет современные подходы к параллелизму и распределенному управлению (в данном случае рассматривается гомогенная система);
3. Интранет добавляет гетерогенность и географическую разнесенность;
4. Основным минусом интернета является недостаток централизованного управления.