GLite

GLite — проект программного обеспечения промежуточного уровня для грид-вычислений, используемый в экспериментах CERN на БАК, а также в других областях научных исследований. Грид был реализован совместными усилиями более 80 специалистов из 12 академических и промышленных исследовательских центров Европы. GLite предоставляет основу для создания приложений, использующих распределённые вычислительные и хранилищные ресурсы через Интернет. Сервисы gLite были развёрнуты более чем в 250 вычислительных центрах и использовались более чем 15 000 исследователей в Европе и по всему миру.

Общие сведения
GLite
Тип Грид-вычисления
Разработчик EGEE
Операционные системы Scientific Linux 3, 4, 5
Последняя версия 3.2 (23 марта 2009)
Лицензия сотрудничество EGEE, 2004

История

После этапов прототипирования в 2004 и 2005 годах, сходимость с системой LHC Computing Grid (LCG-2) была достигнута в мае 2006 года, когда была выпущена версия gLite 3.0, которая стала официальным программным обеспечением промежуточного уровня проекта Enabling Grids for E-sciencE (EGEE), завершившегося в 2010 году.

Дальнейшая разработка gLite была продолжена инициативой European Middleware Initiative, и в настоящее время поддерживается в составе программного стека EMI.

Построенная с использованием EGEE инфраструктура распределённых вычислений теперь обслуживается European Grid Infrastructure. Она использует грид-промежуточное ПО, разработанное European Middleware Initiative, значительная часть компонентов которого была унаследована от gLite.

Описание архитектуры

Безопасность

Пользователи GLite группируются в виртуальные организации (VO)[1]. Чтобы получить аутентификацию и авторизацию для использования грид-ресурсов, пользователь должен присоединиться к VO, поддерживаемой инфраструктурой GLite.

Инфраструктура грид-безопасности (GSI), реализованная в WLCG/EGEE, обеспечивает защищённую аутентификацию и коммуникацию через открытые сети[2]. GSI основана на шифровании с открытым ключом, сертификатах X.509 и протоколе SSL, с расширениями для осуществления единого входа и делегирования полномочий.

Для аутентификации пользователь должен иметь цифровой сертификат X.509, выданный доверенным инфраструктуре удостоверяющим центром (CA).

Авторизация пользователя на определённом грид-ресурсе может производиться двумя способами. Первый — простой, основанный на механизме grid-mapfile. Второй использует службу Virtual Organisation Membership Service (VOMS) и механизмы LCAS/LCMAPS, что позволяет более гибко настраивать пользовательские привилегии.

Пользовательский интерфейс

Точка доступа к грид-инфраструктуре GLite — это пользовательский интерфейс (UI). Это любая машина, где у пользователя есть личная учётная запись и установлен пользовательский сертификат. С UI пользователь может быть аутентифицирован и авторизован на использование ресурсов WLCG/EGEE, а также получить доступ к возможностям систем управления информацией, заданиями и данными. Интерфейс предоставляет консольные инструменты для выполнения основных операций в гриде:

  • отображение всех ресурсов, подходящих для исполнения определённого задания;
  • отправка заданий на выполнение;
  • отмена заданий;
  • получение результатов завершённых заданий;
  • отображение статуса отправленных заданий;
  • получение журналов и истории выполнения заданий;
  • копирование, репликация и удаление файлов из грид-среды;
  • получение информации о состоянии различных ресурсов из информационной системы.

Вычислительный элемент

В терминологии грид-вычислений вычислительный элемент (CE) — это некоторое множество вычислительных ресурсов на площадке (например, кластер, вычислительный комплекс). CE включает в себя грид-шлюз (GG), который выступает универсальным интерфейсом к кластеру, систему управления локальными ресурсами (LRMS; иногда также «сервер пакетной обработки»), а также сам кластер — коллекцию вычислительных узлов (WNs), на которых выполняются задания.

В GLite 3.1 реализовано две версии CE: LCG CE, разработанный EDG и применяемый в LCG-22, и GLite CE, разработанный EGEE. Центры могут устанавливать обе версии; часть площадок поддерживает их параллельно. GG отвечает за приём заданий и передачу их на выполнение через LRMS на вычислительные узлы.

В GLite 3.1 поддерживались типы LRMS: OpenPBS/PBSPro, Platform LSF, Maui/Torque, BQS, Condor и Sun Grid Engine[3].

Элемент хранения данных

Элемент хранения (SE) обеспечивает единый доступ к хранилищам данных. Это может быть как простой файловый сервер, так и масштабные дисковые массивы или ленточные системы массового хранения (MSS). Большинство площадок WLCG/EGEE предоставляют минимум один SE.

SE могут поддерживать разные протоколы доступа. Как правило, для передачи целых файлов используется GSIFTP (FTP с поддержкой GSI), для локального и удалённого доступа применяются RFIO или gsidcap.

Основная часть хранилищ управляется менеджером хранения (SRM), представляющим собой сервис промежуточного уровня с возможностями прозрачной миграции данных между дисками и лентами, закрепления файлов, резервирования пространства и др. Реализуют разные версии и функции SRM. Disk Pool Manager (DPM) — для компактных систем хранения только на дисках; CASTOR — для крупномасштабных ленточных систем (фронт — диски, бэкенд — ленты); dCache — для MSS и крупных массивов. Разрабатываются и другие реализации SRM, сам протокол развивается.

Классические SE, не поддерживающие интерфейс SRM, представляют собой простые дисковые файловые сервисы. Их использование постепенно прекращается.

Информационная служба

Информационная служба (IS) предоставляет данные о грид-ресурсах WLCG/EGEE и их состоянии. Это необходимо для работы инфраструктуры, так как именно через IS происходит обнаружение ресурсов; публикуемые данные используются также для мониторинга и учёта.

Значительная часть данных в IS соответствует схеме GLUE[4], определяющей концептуальную модель для мониторинга и обнаружения грид-ресурсов.

Информационная система в GLite 3.1 унаследовала основные концепции от Monitoring and Discovery Service (MDS) из Globus Toolkit[5]. Однако реализованы собственные компоненты вместо GRIS и GIIS, в частности, для публикации информации используется Berkeley Database Information Index (BDII) — сервер OpenLDAP, обновляемый внешними процессами.

Управление заданиями

Система управления заданиями (Workload Management System, WMS)[6] предназначена для приёма пользовательских заданий, их назначения максимально подходящему вычислительному элементу, отслеживания статуса и возврата результатов. Ресурсным брокером считается машина, где запущены службы WMS.

Параметры заданий описываются в формате Job Description Language (JDL), где указываются исполняемый модуль, параметры запуска, необходимые входные/выходные файлы, требования к вычислительному элементу и узлам, и прочее.

Выбор CE для задания осуществляется через match-making — сначала выбираются подходящие по параметрам элементы и близость к входным данным, затем — элемент с наивысшим рангом (оценка «качества» по статусу очереди и загрузке).

Ресурсный брокер обнаруживает вводные файлы задания при помощи интерфейса Data Location Interface (DLI), работающего с файловыми каталогами любых типов, поддерживающих этот интерфейс, а не только LFC.

Новые реализации WMS из EGEE поддерживают не только отправку одиночных заданий, но и целых коллекций, возможно, с зависимостями, более эффективно и гибко, чем прежний LCG-2 WMS, а также предоставляют новые возможности.

Служба протоколирования и учёта (Logging and Bookkeeping, LB)[7] ведёт учёт и историю заданий, управляемых WMS.

Примечания

  1. Foster, Kesselman, Tuecke. The Anatomy of the Grid: Enabling Scalable Virtual Organizations. Int. J. High Performance Computing Applications, 2001. The Anatomy of the Grid: Enabling Scalable Virtual Organizations (англ.). globus.org (2001). Архивировано 10 марта 2009 года.
  2. Overview of the Grid Security Infrastructure (англ.). globus.org. Архивировано 20 апреля 2008 года.
  3. CESGA Experience with the Grid Engine batch system (англ.). indico.cern.ch. Архивировано 29 декабря 2010 года.
  4. MDS 2.2 Features (GLUE Working Group) (англ.). forge.ogf.org. Архивировано 13 декабря 2012 года.
  5. GLUE Working Group (GLUE) — MDS (англ.). globus.org. Архивировано 10 декабря 2005 года.
  6. F. Pacini, EGEE User’s Guide. WMS Service, DATAMAT, 2005. WMS Service (англ.). edms.cern.ch (2005). Архивировано 15 февраля 2012 года.
  7. Service Logging and Bookkeeping (L&B) (англ.). edms.cern.ch (2005).