GLite
GLite — проект программного обеспечения промежуточного уровня для грид-вычислений, используемый в экспериментах CERN на БАК, а также в других областях научных исследований. Грид был реализован совместными усилиями более 80 специалистов из 12 академических и промышленных исследовательских центров Европы. GLite предоставляет основу для создания приложений, использующих распределённые вычислительные и хранилищные ресурсы через Интернет. Сервисы gLite были развёрнуты более чем в 250 вычислительных центрах и использовались более чем 15 000 исследователей в Европе и по всему миру.
Общие сведения
| GLite | |
|---|---|
| Тип | Грид-вычисления |
| Разработчик | EGEE |
| Операционные системы | Scientific Linux 3, 4, 5 |
| Последняя версия | 3.2 (23 марта 2009) |
| Лицензия | сотрудничество EGEE, 2004 |
История
После этапов прототипирования в 2004 и 2005 годах, сходимость с системой LHC Computing Grid (LCG-2) была достигнута в мае 2006 года, когда была выпущена версия gLite 3.0, которая стала официальным программным обеспечением промежуточного уровня проекта Enabling Grids for E-sciencE (EGEE), завершившегося в 2010 году.
Дальнейшая разработка gLite была продолжена инициативой European Middleware Initiative, и в настоящее время поддерживается в составе программного стека EMI.
Построенная с использованием EGEE инфраструктура распределённых вычислений теперь обслуживается European Grid Infrastructure. Она использует грид-промежуточное ПО, разработанное European Middleware Initiative, значительная часть компонентов которого была унаследована от gLite.
Описание архитектуры
Безопасность
Пользователи GLite группируются в виртуальные организации (VO)[1]. Чтобы получить аутентификацию и авторизацию для использования грид-ресурсов, пользователь должен присоединиться к VO, поддерживаемой инфраструктурой GLite.
Инфраструктура грид-безопасности (GSI), реализованная в WLCG/EGEE, обеспечивает защищённую аутентификацию и коммуникацию через открытые сети[2]. GSI основана на шифровании с открытым ключом, сертификатах X.509 и протоколе SSL, с расширениями для осуществления единого входа и делегирования полномочий.
Для аутентификации пользователь должен иметь цифровой сертификат X.509, выданный доверенным инфраструктуре удостоверяющим центром (CA).
Авторизация пользователя на определённом грид-ресурсе может производиться двумя способами. Первый — простой, основанный на механизме grid-mapfile. Второй использует службу Virtual Organisation Membership Service (VOMS) и механизмы LCAS/LCMAPS, что позволяет более гибко настраивать пользовательские привилегии.
Пользовательский интерфейс
Точка доступа к грид-инфраструктуре GLite — это пользовательский интерфейс (UI). Это любая машина, где у пользователя есть личная учётная запись и установлен пользовательский сертификат. С UI пользователь может быть аутентифицирован и авторизован на использование ресурсов WLCG/EGEE, а также получить доступ к возможностям систем управления информацией, заданиями и данными. Интерфейс предоставляет консольные инструменты для выполнения основных операций в гриде:
- отображение всех ресурсов, подходящих для исполнения определённого задания;
- отправка заданий на выполнение;
- отмена заданий;
- получение результатов завершённых заданий;
- отображение статуса отправленных заданий;
- получение журналов и истории выполнения заданий;
- копирование, репликация и удаление файлов из грид-среды;
- получение информации о состоянии различных ресурсов из информационной системы.
Вычислительный элемент
В терминологии грид-вычислений вычислительный элемент (CE) — это некоторое множество вычислительных ресурсов на площадке (например, кластер, вычислительный комплекс). CE включает в себя грид-шлюз (GG), который выступает универсальным интерфейсом к кластеру, систему управления локальными ресурсами (LRMS; иногда также «сервер пакетной обработки»), а также сам кластер — коллекцию вычислительных узлов (WNs), на которых выполняются задания.
В GLite 3.1 реализовано две версии CE: LCG CE, разработанный EDG и применяемый в LCG-22, и GLite CE, разработанный EGEE. Центры могут устанавливать обе версии; часть площадок поддерживает их параллельно. GG отвечает за приём заданий и передачу их на выполнение через LRMS на вычислительные узлы.
В GLite 3.1 поддерживались типы LRMS: OpenPBS/PBSPro, Platform LSF, Maui/Torque, BQS, Condor и Sun Grid Engine[3].
Элемент хранения данных
Элемент хранения (SE) обеспечивает единый доступ к хранилищам данных. Это может быть как простой файловый сервер, так и масштабные дисковые массивы или ленточные системы массового хранения (MSS). Большинство площадок WLCG/EGEE предоставляют минимум один SE.
SE могут поддерживать разные протоколы доступа. Как правило, для передачи целых файлов используется GSIFTP (FTP с поддержкой GSI), для локального и удалённого доступа применяются RFIO или gsidcap.
Основная часть хранилищ управляется менеджером хранения (SRM), представляющим собой сервис промежуточного уровня с возможностями прозрачной миграции данных между дисками и лентами, закрепления файлов, резервирования пространства и др. Реализуют разные версии и функции SRM. Disk Pool Manager (DPM) — для компактных систем хранения только на дисках; CASTOR — для крупномасштабных ленточных систем (фронт — диски, бэкенд — ленты); dCache — для MSS и крупных массивов. Разрабатываются и другие реализации SRM, сам протокол развивается.
Классические SE, не поддерживающие интерфейс SRM, представляют собой простые дисковые файловые сервисы. Их использование постепенно прекращается.
Информационная служба
Информационная служба (IS) предоставляет данные о грид-ресурсах WLCG/EGEE и их состоянии. Это необходимо для работы инфраструктуры, так как именно через IS происходит обнаружение ресурсов; публикуемые данные используются также для мониторинга и учёта.
Значительная часть данных в IS соответствует схеме GLUE[4], определяющей концептуальную модель для мониторинга и обнаружения грид-ресурсов.
Информационная система в GLite 3.1 унаследовала основные концепции от Monitoring and Discovery Service (MDS) из Globus Toolkit[5]. Однако реализованы собственные компоненты вместо GRIS и GIIS, в частности, для публикации информации используется Berkeley Database Information Index (BDII) — сервер OpenLDAP, обновляемый внешними процессами.
Управление заданиями
Система управления заданиями (Workload Management System, WMS)[6] предназначена для приёма пользовательских заданий, их назначения максимально подходящему вычислительному элементу, отслеживания статуса и возврата результатов. Ресурсным брокером считается машина, где запущены службы WMS.
Параметры заданий описываются в формате Job Description Language (JDL), где указываются исполняемый модуль, параметры запуска, необходимые входные/выходные файлы, требования к вычислительному элементу и узлам, и прочее.
Выбор CE для задания осуществляется через match-making — сначала выбираются подходящие по параметрам элементы и близость к входным данным, затем — элемент с наивысшим рангом (оценка «качества» по статусу очереди и загрузке).
Ресурсный брокер обнаруживает вводные файлы задания при помощи интерфейса Data Location Interface (DLI), работающего с файловыми каталогами любых типов, поддерживающих этот интерфейс, а не только LFC.
Новые реализации WMS из EGEE поддерживают не только отправку одиночных заданий, но и целых коллекций, возможно, с зависимостями, более эффективно и гибко, чем прежний LCG-2 WMS, а также предоставляют новые возможности.
Служба протоколирования и учёта (Logging and Bookkeeping, LB)[7] ведёт учёт и историю заданий, управляемых WMS.
Примечания
- ↑ Foster, Kesselman, Tuecke. The Anatomy of the Grid: Enabling Scalable Virtual Organizations. Int. J. High Performance Computing Applications, 2001. The Anatomy of the Grid: Enabling Scalable Virtual Organizations (англ.). globus.org (2001). Архивировано 10 марта 2009 года.
- ↑ Overview of the Grid Security Infrastructure (англ.). globus.org. Архивировано 20 апреля 2008 года.
- ↑ CESGA Experience with the Grid Engine batch system (англ.). indico.cern.ch. Архивировано 29 декабря 2010 года.
- ↑ MDS 2.2 Features (GLUE Working Group) (англ.). forge.ogf.org. Архивировано 13 декабря 2012 года.
- ↑ GLUE Working Group (GLUE) — MDS (англ.). globus.org. Архивировано 10 декабря 2005 года.
- ↑ F. Pacini, EGEE User’s Guide. WMS Service, DATAMAT, 2005. WMS Service (англ.). edms.cern.ch (2005). Архивировано 15 февраля 2012 года.
- ↑ Service Logging and Bookkeeping (L&B) (англ.). edms.cern.ch (2005).