АссистентНовый вопросИсторияОбласти знаний
Партнёрские проектыСпецпроектыСтать автором
Сменить язык
О РУВИКИ
ТехнологииИнфраструктура и безопасностьСетевая инфраструктура и протоколыAdvanced Resource Connector

Advanced Resource Connector

Экспертиза РАН

Logo-ran-black.png
Проведена экспертиза
Российской академией наук
Подробнее
Aprove.svg

Экспертиза РАН

Arrow-Right.png
Logo-ran.png
Проведена экспертиза
Российской академией наук
Подробнее

Advanced Resource Connector — программное обеспечение промежуточного слоя для грид-вычислений, разработанное проектом NorduGrid.

Предоставляет единый интерфейс для подачи вычислительных заданий в различные распределённые системы и может использоваться в инфраструктурах разного масштаба и сложности. Совокупность сервисов и утилит этого интерфейса известна как ARC Computing Element (ARC-CE)[1]. Возможности ARC-CE включают в себя работу с подготовкой данных и их кэшированием, что особенно важно для поддержания ресурсоёмких распределённых вычислений[2]. ARC распространяется как открытое программное обеспечение под лицензией Apache License 2.0[3].

Общие сведения
Advanced Resource Connector
Тип грид-вычисления
Разработчики NorduGrid, NeIC, проекты ЕС
Написана на C++, PHP, Perl, Python, Shell
Операционные системы Linux, Microsoft Windows, Mac OS X
Языки интерфейса английский, русский, шведский
Первый выпуск 13 апреля 2004
Последняя версия 7.0.0 (27 марта 2025)
Репозиторий github.com/nordugrid/arc
Лицензия Apache License 2.0
Сайт nordugrid.org

История

ARC изначально имел обозначение как «NorduGrid middleware» и был предложен в виде архитектуры для Globus Toolkit[4]. Архитектура была оптимизирована для задач вычислений в физике высоких энергий, в первую очередь для экспериментов БАК[5]. Первое внедрение ARC на тестовой платформе NorduGrid состоялось летом 2002 года, а уже к 2003 году система поддерживала сложные вычисления[6].

Первая стабильная версия ARC (0.4) была выпущена в апреле 2004 года под лицензией GNU General Public License[7]. Именно с этого релиза появилось официальное имя «Advanced Resource Connector», чтобы отделить программный комплекс от инфраструктуры. В том же году национальный грид-проект Швеции Swegrid стал первой крупной междисциплинарной инфраструктурой на базе ARC[8].

В 2005 году NorduGrid был формально оформлен как совместное предприятие для поддержки и развития ARC[9]. В 2006 году стартовало два родственных проекта: Nordic Data Grid Facility, развернувший панскандинавскую инфраструктуру на ARC, и KnowARC, задачей которого стала трансформация ARC в грид-промежуточное ПО нового поколения[10].

Версия ARC 0.6 вышла в мае 2007 года и стала вторым стабильным релизом[11]. Ключевым новшеством стала клиентская библиотека для удобной разработки верхнеуровневых приложений. Это был первый релиз ARC с поддержкой открытых стандартов (в частности, JSDL). Позже в том же году была представлена предварительная версия ARC нового поколения с сервис-ориентированной архитектурой на базе веб-сервисов и глубокой переработкой кода[12].

С 2008 года консорциум NorduGrid перевёл все компоненты ARC под лицензию Apache License[13].

Последний стабильный релиз семейства 0.x — ARC 0.8, выпущен в сентябре 2009 года[14]. В него вошли предварительная версия нового исполнительного модуля A-REX и другие компоненты: Chelonia, ISIS, Charon, графический интерфейс arcjobtool.

Параллельно с выпуском ARC 0.8, в ноябре 2009 года по линии европейского проекта KnowARC появилась концептуальная система ARC NOX — полностью веб-сервисная Grid-платформа[15]. Название NOX указывает на ноябрь Года Быка[15].

В мае 2011 года NorduGrid выпустил ARC 11.05 (по схеме версий Ubuntu). Этот релиз ознаменовал полный переход от старого исполнительного сервиса к A-REX и сопутствующим компонентам. Для обратной совместимости с существующей инфраструктурой были сохранены старые интерфейсы сервисов исполнения и информационной системы[16].

Версия ARC 7 вышла в марте 2025 года[17] и принесла полностью обновлённую систему конфигурации и новый инструмент управления при сохранении совместимых интерфейсов[18].

Исходный код

ARC распространяется свободно и доступен из публичного репозитория NorduGrid — как в бинарном виде для ряда систем на Linux, так и в виде исходных текстов, а также на GitHub[19]. Разработка ведётся открыто и координируется сообществом NorduGrid, в ней участвуют также участники проектов ЕС, KnowARC, EMI, NDGF, NeIC, а также национальные инфраструктурные и исследовательские проекты.

Версионирование

С 2011 по 2018 годы ARC использовал схему нумерации, аналогичную Ubuntu, для сборных релизов, включавших отдельные компоненты. У отдельных модулей своя нумерация версий, соответствующая тэгам исходного кода[20]. Часто в обиходе указывалась версия ядра ARC вместо формального номера релиза. Начиная с ARC6 (2019) версия релиза совпадает с номером тега.

Стандарты и совместимость

ARC реализует ряд стандартов Open Grid Forum, включая JSDL, Glue2, BES, UR/RUS и StAR[21].

ARC в различных проектах и инициативах

European Middleware Initiative

В 2010—2013 годах ряд ключевых компонентов ARC — в первую очередь HED, A-REX, клиенты и библиотеки — были включены в пакет программ European Middleware Initiative (EMI). Благодаря EMI ARC вошёл в состав Unified Middleware Distribution (UMD) European Grid Infrastructure (EGI).

Nordic DataGrid Facility и NeIC

ARC лежит в основе вычислительной инфраструктуры Nordic Data Grid Facility (NDGF), который является Tier1-центром WLCG. В 2006—2010 годах NDGF активно участвовал в развитии ARC; с 2010 года предоставляет экспертизу по эксплуатации ARC в рамках EGI. С 2012 года NDGF стал частью объединённой инфраструктуры североевропейских стран NeIC как Nordic Tier-1 (NT1) проект[22].

Проект KnowARC

Проект «Grid-enabled Know-how Sharing Technology Based on ARC Services and Open Standards» (KnowARC) был целевым исследовательским проектом (Sixth Framework Programme), финансируемым по приоритету IST-2005-2.5.4 «Advanced Grid Technologies, Systems and Services» с июня 2006 по ноябрь 2009 года[23][24]. Этот проект во многом определил современный облик ARC. Его главная задача заключалась в переходе ARC на открытые стандарты сообщества, одним из ключевых итогов стало создание стандартизованной среды размещения сервисов ARC (HED).

Помимо основной цели, проект способствовал развитию стандартов[25] и увеличил распространённость Grid и ARC в медицине и биоинформатике[26][27].

В июле 2009 года KnowARC сообщил о встраивании грид-технологий в официальные репозитории Linux — компоненты Globus Toolkit были добавлены в Fedora и Debian[28].

Примечания

  1. ↑ ARC Computing Element System Administrator Guide (англ.). NorduGrid (25 июня 2015). Дата обращения: 26 июня 2015. Архивировано 8 декабря 2024 года.
  2. ↑ Ellert, Mattias (2007-02). “Advanced Resource Connector middleware for lightweight computational Grids”. Future Generation Computer Systems. 23 (2): 219—240. DOI:10.1016/j.future.2006.05.008. Проверьте дату в |date= (справка на английском)
  3. ↑ NorduGrid Downloads (англ.). NorduGrid. Дата обращения: 7 июня 2024.
  4. ↑ Ellert, Mattias; Konstantinov, Aleksandr; Kónya, Balázs; Smirnova, Oxana; Wäänänen, Anders (2003). “The NorduGrid project: using Globus toolkit for building GRID infrastructure”. Nuclear Instruments and Methods in Physics Research A. 502 (2—3): 407—410. DOI:10.1016/S0168-9002(03)00453-4.
  5. ↑ Wäänänen, Anders. An Overview of an Architecture Proposal for a High Energy Physics Grid // Lecture Notes in Computer Science / Anders Wäänänen, Ellert, Mattias, Konstantinov, Aleksandr … [и др.]. — Springer, 2002. — Vol. 2367. — P. 76–86. — ISBN 978-3-540-43786-4. — doi:10.1007/3-540-48051-X_9.
  6. ↑ Eerola, Paula (2003). “Atlas Data-Challenge 1 on NorduGrid”. Proceedings of 2003 Conference for Computing in High Energy and Nuclear Physics. arXiv:physics/0306013.
  7. ↑ ARC 0.4 Release Notes (англ.). Дата обращения: 7 июня 2024. Архивировано 18 сентября 2004 года.
  8. ↑ “SweGrid gets set for future challenges”. CERN Courier. 2004.
  9. ↑ NorduGrid Web site (англ.). Дата обращения: 7 июня 2024.
  10. ↑ Grid-enabled know-how sharing technology based on ARC services and open standards. Дата обращения: 7 июня 2024. Архивировано 11 декабря 2024 года.
  11. ↑ ARC 0.6 Release Notes (англ.). Дата обращения: 7 июня 2024. Архивировано 8 декабря 2024 года.
  12. ↑ Smirnova, Oxana. ARC middleware: evolution towards standards-based interoperability // Proceedings of the 17th International Conference on Computing in High Energy and Nuclear Physics. — 2009.
  13. ↑ NorduGrid ARC License. Дата обращения: 7 июня 2024. Архивировано 8 декабря 2024 года.
  14. ↑ ARC 0.8 Release Notes (англ.). Дата обращения: 7 июня 2024. Архивировано 8 декабря 2024 года.
  15. ↑ 1 2 ARC NOX Release Notes (англ.). Дата обращения: 7 июня 2024. Архивировано 8 декабря 2024 года.
  16. ↑ ARC 11.05 Release Notes (англ.). Дата обращения: 7 июня 2024. Архивировано 2 ноября 2023 года.
  17. ↑ ARC 7 Release Notes. Дата обращения: 7 июня 2024. Архивировано 25 мая 2025 года.
  18. ↑ ARC 7 Documentation. Дата обращения: 7 июня 2024. Архивировано 9 августа 2025 года.
  19. ↑ NorduGrid ARC. GitHub. Дата обращения: 7 июня 2024. Архивировано 28 марта 2025 года.
  20. ↑ ARC releases table (англ.). Дата обращения: 7 июня 2024. Архивировано 28 марта 2025 года.
  21. ↑ W. Qiang. Transparent use of open standards in the EMI component ecosystem. CERN (31 октября 2012). Дата обращения: 7 июня 2024. Архивировано 19 июля 2024 года.
  22. ↑ NeIC Web site. Дата обращения: 7 июня 2024.
  23. ↑ KnowARC fact-sheet, EU IST database (англ.). Дата обращения: 7 июня 2024.
  24. ↑ Hämmerle, Hannelore; Crémel, Nicole (2006-11). “KnowARC project gets going”. CERN Courier. Geneva, Switzerland. 46 (11): 12. Проверьте дату в |date= (справка на английском)
  25. ↑ Field, Laurence. Grid Information System Interoperability: The Need for a Common Information Model // 2008 IEEE Fourth International Conference on eScience / Laurence Field, Andreozzi, Sergio, Kónya, Balázs. — 2008. — P. 501–507. — ISBN 978-1-4244-3380-3. — doi:10.1109/eScience.2008.159.
  26. ↑ Zhou, Xin (2009). “An Easy Setup for Parallel Medical Image Processing: Using Taverna and ARC”. Studies in Health Technology and Informatics. 147 (Healthgrid Research, Innovation and Business Case): 41—50. DOI:10.3233/978-1-60750-027-8-41. PMID 19593043.
  27. ↑ Krabbenhöft, Hajo; Möller, Steffen; Bayer, Daniel (2008). “Integrating ARC grid middleware with Taverna workflows”. Bioinformatics. 24 (9): 1221—1222. DOI:10.1093/bioinformatics/btn095. PMID 18353787.
  28. ↑ KnowARC Project Brings Grids to Debian, HPC Wire (9 июля 2009). Архивировано 5 сентября 2009 года.

Дополнительная литература

  • Qiang, Weizhong; Konstantinov, Aleksandr (2009-06). “Towards cross-middleware authentication and single sign-on for ARC Grid middleware”. Computer Science - Research and Development. 23 (3—4): 267—274. DOI:10.1007/s00450-009-0084-6. S2CID 14837386. Проверьте дату в |date= (справка на английском)
  • Anderlik, Csaba; Gregersen, Anders Rhod; Kleist, Josva; Peters, Anders; Saiz, Pablo (2008). “ALICE-ARC Integration”. Journal of Physics: Conference Series. 119 (62006): 6. Bibcode:2008JPhCS.119f2006A. DOI:10.1088/1742-6596/119/6/062006. S2CID 250672206.
  • Jensen, Henrik Thostrup. A Framework for Job Management in the NorduGrid ARC Middleware // Advances in Grid Computing - EGC 2005 / Henrik Thostrup Jensen, Kleist, Josva, Leth, Jesper Ryge. — Berlin/Heidelberg : Springer, 2005. — Vol. 3470. — P. 861–871. — ISBN 978-3-540-26918-2. — doi:10.1007/11508380_88.

Ссылки

Категории