Шлюз облачного хранения
Шлюз облачного хранения — это устройство гибридного облачного хранения данных, реализуемое в виде аппаратного или программного комплекса, которое размещается на инфраструктуре заказчика и преобразует прикладные интерфейсы программирования (API) облачного хранения, такие как SOAP или REST, в блочные протоколы хранения, например iSCSI или Fibre Channel, либо файловые интерфейсы, такие как NFS (Network File System) или SMB (Server Message Block)[1][2].
Согласно отчёту компании Gartner Group за 2011 год, распространение шлюзов облачного хранения должно было повысить использование облачных сервисов хранения за счёт снижения ежемесячных затрат и устранения опасений, связанных с безопасностью данных[3].
Технологии
Особенности
Современные приложения (также называемые «облачными нативными приложениями») используют сетевое подключаемое хранилище посредством REST и SOAP с использованием протокола гипертекста (HTTP) на транспортном уровне. Соответствующее хранилище реализуется с помощью массивов, предоставляющих объектное хранение данных. Классические приложения применяют сетевые файловые протоколы, такие как NFS, iSCSI или SMB. Для получения всех преимуществ объектного хранения существующие приложения требуют переработки, а новые приложения должны изначально поддерживать этот тип хранилища, что по умолчанию не реализовано. Данная задача решается посредством шлюзов облачного хранения: они предоставляют объектное хранилище через привычные файловые протоколы (NFS, SMB, некоторые решения поддерживают и iSCSI). Таким образом, классические приложения получают доступ к объектному облачному хранилищу через шлюзы.
Функции
В корпоративной инфраструктуре NFS в основном применяется в системах под управлением Linux, а Windows-системы используют SMB. Объектное хранилище требует хранения данных в виде объектов вместо файлов[4]. Для всех шлюзов облачного хранения обязательно реализовать кэширование входящих файлов с последующим их переносом (destaging) в объектное хранилище на следующем этапе. Время переноса зависит от особенностей шлюза и настроек политики, которая может включать такие функции как:
- закрепление файлов — сохранение определённых файлов в кэше и их перенос только для резервирования/зеркалирования;
- перенос на основе содержимого — помещение в объектное хранилище только файлов с определёнными характеристиками, например всех MP3-файлов;
- зеркалирование в несколько облаков — дублирование файлов в два различных объектных хранилища;
- удаление наименее используемых (Least Recently Used, LRU) — заполнение локального кэша до максимума, перенос всех файлов в объектное хранилище и удаление файлов из кэша по принципу LRU;
- шифрование перед переносом — шифрование файлов на шлюзе перед передачей их в объектное хранилище;
- сжатие и/или дедупликация перед переносом — проведение дедупликации или сжатия файлов до их переноса;
- резервное копирование в исходном формате.
Обычно данные функции используются в различных комбинациях[5]. Схемы сортировки объектов при доступе через шлюз, как правило, требуют безошибочной обработки содержимого и синхронизации двух или более из перечисленных выше функций[6].
Поддержка расширений
Почти все шлюзы объектного хранения поддерживают протокол Amazon S3 в качестве квази-стандарта. Некоторые также реализуют работу с Microsoft Azure Blob, Google Storage и Openstack Swift. Большинство шлюзов обеспечивает поддержку публичных облачных хранилищ (например, Amazon или Microsoft) в качестве объектных хранилищ и Dropbox как файлового хранилища, а также имеется множество решений для построения частных облачных хранилищ — как локальных, так и внешних[7].
Способы внедрения
Шлюзы облачного хранения могут быть внедрены в различных вариантах, и некоторые поставщики поддерживают сразу несколько вариантов в рамках продуктовой линейки:
- автономное аппаратное устройство;
- программный шлюз для различных гипервизоров;
- программное решение, работающее поверх операционной системы (например, на основе FUSE).
Программные шлюзы, а также FUSE-решения могут быть развёрнуты и в публичных облачных инфраструктурах.
Преимущества
Шлюзы облачного хранения позволяют использовать стандартные интерфейсы для работы с облачным хранилищем, не требуя модификации существующих приложений.
Кроме того, ИТ-специалисты традиционно работают с привычными протоколами, такими как SMB или NFS. Используя шлюзы, они получают доступ к облачным технологиям хранения с возможностью интеграции со своей существующей инфраструктурой (например, поддержка Active Directory, интеграция с LDAP, функции общего доступа к файлам и т. д.).
Хотя изначально шлюзы облачного хранения занимали нишевое положение, их популярность возросла с распространением многооблачных технологий. Например, шлюз может быть развёрнут как программная платформа на публичной или частной облачной инфраструктуре с поддержкой драйверов томов Docker для автоматического выделения хранилища контейнерам. В таких случаях диски гипервизора используются исключительно как кэш, а перенос данных осуществляется по принципу LRU на базовое облачное хранилище.
Де-факто стандартом для объектного хранилища выступает Amazon S3, который имеет наибольшую популярность и установленную ёмкость[8]. При этом практически каждый производитель объектных хранилищ реализует поддержку S3 — несмотря на то, что единый «стандарт» S3 API отсутствует, и реализации различаются между производителями. С 2018 года растёт число шлюзов, скрывающих эту сложность, предоставляя S3 на северном интерфейсе (northbound, в то время как southbound — это хранилище, используемое шлюзом). Таким образом, становится возможным использовать более совершенную реализацию S3 на уровне интерфейса, чем поддерживается нижележащим хранилищем.
Недостатки
Использование шлюзов облачного хранения упрощает работу с объектным хранилищем, но при этом частично скрывает его ключевые преимущества:
- горизонтальное масштабирование;
- расширенное добавление метаданных к содержимому;
- применение функций WORM и архивирования, свойственных объектному хранилищу.
По мере перехода приложений на облачно-ориентированные решения (облачные нативные приложения), шлюзы облачного хранения трансформируются из многопротокольных шлюзов в многооблачные, предоставляющие доступ к нескольким облаках и нескольким протоколам и функционирующие как ретрансляторы между различными облачными средами.
Рынок
По данным за 2020 год, объём мирового рынка шлюзов облачного хранения превышал 2 миллиарда долларов США и прогнозировался к росту до 11 миллиардов долларов к 2026 году согласно исследованию компании Mordor Intelligence[9].