GLite

Pause

GLite — проект программного обеспечения промежуточного уровня для грид-вычислений, используемый в экспериментах CERN на БАК, а также в других областях научных исследований. Грид был реализован совместными усилиями более 80 специалистов из 12 академических и промышленных исследовательских центров Европы. GLite предоставляет основу для создания приложений, использующих распределённые вычислительные и хранилищные ресурсы через Интернет. Сервисы gLite были развёрнуты более чем в 250 вычислительных центрах и использовались более чем 15 000 исследователей в Европе и по всему миру.

Общие сведения
GLite
Тип Грид-вычисления
Разработчик EGEE
Операционные системы Scientific Linux 3, 4, 5
Последняя версия 3.2 (23 марта 2009)
Лицензия сотрудничество EGEE, 2004

История

После этапов прототипирования в 2004 и 2005 годах, сходимость с системой LHC Computing Grid (LCG-2) была достигнута в мае 2006 года, когда была выпущена версия gLite 3.0, которая стала официальным программным обеспечением промежуточного уровня проекта Enabling Grids for E-sciencE (EGEE), завершившегося в 2010 году.

Дальнейшая разработка gLite была продолжена инициативой European Middleware Initiative, и в настоящее время поддерживается в составе программного стека EMI.

Построенная с использованием EGEE инфраструктура распределённых вычислений теперь обслуживается European Grid Infrastructure. Она использует грид-промежуточное ПО, разработанное European Middleware Initiative, значительная часть компонентов которого была унаследована от gLite.

Описание архитектуры

Безопасность

Пользователи GLite группируются в виртуальные организации (VO)[1]. Чтобы получить аутентификацию и авторизацию для использования грид-ресурсов, пользователь должен присоединиться к VO, поддерживаемой инфраструктурой GLite.

Инфраструктура грид-безопасности (GSI), реализованная в WLCG/EGEE, обеспечивает защищённую аутентификацию и коммуникацию через открытые сети[2]. GSI основана на шифровании с открытым ключом, сертификатах X.509 и протоколе SSL, с расширениями для осуществления единого входа и делегирования полномочий.

Для аутентификации пользователь должен иметь цифровой сертификат X.509, выданный доверенным инфраструктуре удостоверяющим центром (CA).

Авторизация пользователя на определённом грид-ресурсе может производиться двумя способами. Первый — простой, основанный на механизме grid-mapfile. Второй использует службу Virtual Organisation Membership Service (VOMS) и механизмы LCAS/LCMAPS, что позволяет более гибко настраивать пользовательские привилегии.

Пользовательский интерфейс

Точка доступа к грид-инфраструктуре GLite — это пользовательский интерфейс (UI). Это любая машина, где у пользователя есть личная учётная запись и установлен пользовательский сертификат. С UI пользователь может быть аутентифицирован и авторизован на использование ресурсов WLCG/EGEE, а также получить доступ к возможностям систем управления информацией, заданиями и данными. Интерфейс предоставляет консольные инструменты для выполнения основных операций в гриде:

  • отображение всех ресурсов, подходящих для исполнения определённого задания;
  • отправка заданий на выполнение;
  • отмена заданий;
  • получение результатов завершённых заданий;
  • отображение статуса отправленных заданий;
  • получение журналов и истории выполнения заданий;
  • копирование, репликация и удаление файлов из грид-среды;
  • получение информации о состоянии различных ресурсов из информационной системы.

Вычислительный элемент

В терминологии грид-вычислений вычислительный элемент (CE) — это некоторое множество вычислительных ресурсов на площадке (например, кластер, вычислительный комплекс). CE включает в себя грид-шлюз (GG), который выступает универсальным интерфейсом к кластеру, систему управления локальными ресурсами (LRMS; иногда также «сервер пакетной обработки»), а также сам кластер — коллекцию вычислительных узлов (WNs), на которых выполняются задания.

В GLite 3.1 реализовано две версии CE: LCG CE, разработанный EDG и применяемый в LCG-22, и GLite CE, разработанный EGEE. Центры могут устанавливать обе версии; часть площадок поддерживает их параллельно. GG отвечает за приём заданий и передачу их на выполнение через LRMS на вычислительные узлы.

В GLite 3.1 поддерживались типы LRMS: OpenPBS/PBSPro, Platform LSF, Maui/Torque, BQS, Condor и Sun Grid Engine[3].

Элемент хранения данных

Элемент хранения (SE) обеспечивает единый доступ к хранилищам данных. Это может быть как простой файловый сервер, так и масштабные дисковые массивы или ленточные системы массового хранения (MSS). Большинство площадок WLCG/EGEE предоставляют минимум один SE.

SE могут поддерживать разные протоколы доступа. Как правило, для передачи целых файлов используется GSIFTP (FTP с поддержкой GSI), для локального и удалённого доступа применяются RFIO или gsidcap.

Основная часть хранилищ управляется менеджером хранения (SRM), представляющим собой сервис промежуточного уровня с возможностями прозрачной миграции данных между дисками и лентами, закрепления файлов, резервирования пространства и др. Реализуют разные версии и функции SRM. Disk Pool Manager (DPM) — для компактных систем хранения только на дисках; CASTOR — для крупномасштабных ленточных систем (фронт — диски, бэкенд — ленты); dCache — для MSS и крупных массивов. Разрабатываются и другие реализации SRM, сам протокол развивается.

Классические SE, не поддерживающие интерфейс SRM, представляют собой простые дисковые файловые сервисы. Их использование постепенно прекращается.

Информационная служба

Информационная служба (IS) предоставляет данные о грид-ресурсах WLCG/EGEE и их состоянии. Это необходимо для работы инфраструктуры, так как именно через IS происходит обнаружение ресурсов; публикуемые данные используются также для мониторинга и учёта.

Значительная часть данных в IS соответствует схеме GLUE[4], определяющей концептуальную модель для мониторинга и обнаружения грид-ресурсов.

Информационная система в GLite 3.1 унаследовала основные концепции от Monitoring and Discovery Service (MDS) из Globus Toolkit[5]. Однако реализованы собственные компоненты вместо GRIS и GIIS, в частности, для публикации информации используется Berkeley Database Information Index (BDII) — сервер OpenLDAP, обновляемый внешними процессами.

Управление заданиями

Система управления заданиями (Workload Management System, WMS)[6] предназначена для приёма пользовательских заданий, их назначения максимально подходящему вычислительному элементу, отслеживания статуса и возврата результатов. Ресурсным брокером считается машина, где запущены службы WMS.

Параметры заданий описываются в формате Job Description Language (JDL), где указываются исполняемый модуль, параметры запуска, необходимые входные/выходные файлы, требования к вычислительному элементу и узлам, и прочее.

Выбор CE для задания осуществляется через match-making — сначала выбираются подходящие по параметрам элементы и близость к входным данным, затем — элемент с наивысшим рангом (оценка «качества» по статусу очереди и загрузке).

Ресурсный брокер обнаруживает вводные файлы задания при помощи интерфейса Data Location Interface (DLI), работающего с файловыми каталогами любых типов, поддерживающих этот интерфейс, а не только LFC.

Новые реализации WMS из EGEE поддерживают не только отправку одиночных заданий, но и целых коллекций, возможно, с зависимостями, более эффективно и гибко, чем прежний LCG-2 WMS, а также предоставляют новые возможности.

Служба протоколирования и учёта (Logging and Bookkeeping, LB)[7] ведёт учёт и историю заданий, управляемых WMS.

Примечания

  1. ↑ Foster, Kesselman, Tuecke. The Anatomy of the Grid: Enabling Scalable Virtual Organizations. Int. J. High Performance Computing Applications, 2001. The Anatomy of the Grid: Enabling Scalable Virtual Organizations (англ.). globus.org (2001). Архивировано 10 марта 2009 года.
  2. ↑ Overview of the Grid Security Infrastructure (англ.). globus.org. Архивировано 20 апреля 2008 года.
  3. ↑ CESGA Experience with the Grid Engine batch system (англ.). indico.cern.ch. Архивировано 29 декабря 2010 года.
  4. ↑ MDS 2.2 Features (GLUE Working Group) (англ.). forge.ogf.org. Архивировано 13 декабря 2012 года.
  5. ↑ GLUE Working Group (GLUE) — MDS (англ.). globus.org. Архивировано 10 декабря 2005 года.
  6. ↑ F. Pacini, EGEE User’s Guide. WMS Service, DATAMAT, 2005. WMS Service (англ.). edms.cern.ch (2005). Архивировано 15 февраля 2012 года.
  7. ↑ Service Logging and Bookkeeping (L&B) (англ.). edms.cern.ch (2005).
Pause