Сеть хранения данных
Сеть хранения данных (англ. Storage Area Network, SAN) — это комплексная сетевая архитектура, предназначенная для хранения данных в корпоративных средах. Она включает в себя следующие компоненты:
- Высокоскоростную сеть передачи данных, использующую протоколы Fibre Channel, iSCSI или NVMe over Fabrics (NVMe-oF)[1];
- Специализированное коммутационное оборудование (коммутаторы, мосты и т. д.);
- Сетевые устройства хранения данных (жёсткие диски, твердотельные накопители и другие накопители).
Сеть хранения данных (SAN) представляет собой выделенную для хранения данных сеть, соединённую с основной корпоративной сетью передачи данных. Помимо стандартных сетевых интерфейсов, устройства, имеющие доступ к SAN, оснащаются специальными интерфейсами подключения к сети SAN.
Пропускная способность современных SAN на базе Fibre Channel достигает 128 Гбит/с и выше[2], а ёмкость может составлять десятки и даже сотни петабайт[3].
SAN позволяет нескольким компьютерам в сети совместно использовать данные без снижения производительности, поскольку SAN-трафик обычно полностью изолирован от пользовательского трафика (хотя возможны и смешанные схемы, когда специальные серверы связывают общую сеть с SAN, что при необходимости снижает производительность; выбор архитектуры зависит от потребностей и бюджета организации). В этом случае серверы приложений выступают промежуточным звеном между корпоративной сетью данных (обычно Fibre Channel) и пользовательской сетью (чаще всего Ethernet).
При этом, SAN существенно дороже, чем сетевое хранилище данных (NAS), поскольку сети хранения данных базируются на полноценной и зачастую дорогостоящей технологии. Как правило, сравнение совокупной стоимости владения (TCO) и стоимости на байт оправдывает применение SAN только при достаточно высоких требованиях к производительности и масштабируемости[4]. Стандартная архитектура SAN обычно рассчитана на подключение серверов, дисковых массивов (disk arrays) и ленточных магнитных библиотек. Как правило, используются технологии Fibre Channel, iSCSI, а в современных системах — NVMe over Fabrics (NVMe-oF)[5].
Определение SAN
Сеть хранения данных обеспечивает блочный доступ к устройствам хранения, применяя протоколы, аналогичные тем, что используются при прямом подключении дисков или дисковых кабинетов. Такая унификация протоколов позволяет специализированным контроллерам сети хранения скрывать от операционной системы тот факт, что диски физически не встроены в сервер.
Данный способ хранения отличается низкоуровневым доступом к данным. Протоколы передачи SAN-трафика аналогичны протоколам для жёстких дисков, например ATA, SATA и SCSI. Вместо запроса определённого файла (например, /home/user/wikipedia), как при работе через протоколы общего доступа SMB или NFS, в SAN сервер обращается к конкретному блоку устройства, например — к блоку 6000 на диске 4. Наиболее распространённым протоколом обращения для SAN являлся SCSI, который, однако, в современных системах на базе твердотельных накопителей активно вытесняется более эффективным протоколом NVMe[6].
Изначально такие сети применялись в крупных мэйнфреймах IBM, SUN или HP, но в последнее время, с распространением Microsoft Windows, SAN используются и на платформах с этой операционной системой.
SAN включает в себя выделенную сеть хранения, обеспечивающую блочный доступ к одним или нескольким LUN (номерам логических устройств). LUN — это виртуальный диск, предоставляемый SAN. Для администратора этот диск ничем не отличается от локального: он так же поддаётся разметке и форматированию.
На сетевом уровне чаще всего используются протоколы Fibre Channel и iSCSI. Сети на базе Fibre Channel обычно полностью изолированы от пользовательского трафика и исторически считались эталоном производительности, но при этом остаются дорогим решением, требующим специализированных адаптеров (HBA) и коммутаторов. Протокол iSCSI, в свою очередь, инкапсулирует SCSI-команды в пакеты TCP/IP, что позволяет строить SAN на базе стандартного и более доступного оборудования Ethernet[7].
С развитием высокоскоростного Ethernet (25, 40, 100 Гбит/с и выше) разрыв в производительности между iSCSI и Fibre Channel значительно сократился. Современные сети iSCSI способны демонстрировать пропускную способность и количество операций ввода-вывода в секунду (IOPS), сопоставимые с аналогичными по поколению сетями Fibre Channel[8]. Тем не менее, Fibre Channel сохраняет преимущество в обеспечении стабильно низкой и предсказуемой задержки благодаря своей архитектуре без потерь, что делает его предпочтительным для наиболее критичных приложений, например, для баз данных финансовых транзакций[9].
Появление протокола NVMe over Fabrics (NVMe-oF), разработанного для твердотельных накопителей, дополнительно укрепило позиции Ethernet. Его реализация NVMe/TCP, работающая поверх стандартного стека TCP/IP, предлагает производительность, близкую к NVMe/FC (реализация для Fibre Channel), но без необходимости в дорогостоящем специализированном оборудовании[6][10]. Таким образом, ключевым преимуществом iSCSI и NVMe/TCP остаётся экономическая эффективность: стоимость развёртывания SAN на базе Ethernet может быть на 50–70 % ниже, чем для аналогичного решения на Fibre Channel, а управление такой сетью проще благодаря использованию стандартных IP-технологий[7].
Массовое внедрение SAN в корпоративных инфраструктурах связывается с ростом требований к отказоустойчивости и непрерывности бизнеса (например, после «чёрного вторника» — атаки 11 сентября 2001 года), что обусловило развитие систем резервного копирования и аварийного восстановления. Одним из инструментов повышения надёжности корпоративной ИТ-инфраструктуры и стала сеть хранения данных. Для защиты критических данных рекомендуется размещать SAN в географически удалённых зонах относительно серверов, чтобы минимизировать риск катастрофических потерь. SAN является централизованной моделью хранения, которой характерна простота администрирования и масштабирования, а также высокая надёжность благодаря централизованной политике безопасности и управлению доступом.
История
Большинство SAN используют для передачи данных между серверами и устройствами хранения протокол SCSI (в том числе iSCSI), хотя и не всегда применяют низкоуровневый физический интерфейс. Для этого используется промежуточный слой, например стандарт FCP.
Ограничение расстояния между сервером и устройством хранения, а также недостаточная гибкость классических решений были теми факторами, которые стимулировали разработку новых сетевых технологий с ресурсами общего доступа, увеличенными масштабируемостью и дальностью передачи сигнала.
Первые попытки организации коллективного доступа к хранилищу ограничивались архитектурами, допускавшими подключение всего двух серверов (например, HP MSA500G2), однако невысокая ёмкость и малая длина линий связи обусловили необходимость поиска новых решений.
Сравнение решений хранения
Сеть хранения данных (SAN) можно рассматривать как развитие концепции Direct Attached Storage (DAS).
В DAS каждый сервер имеет прямое (точка-точка) соединение со своим массивом. В SAN несколько серверов получают одновременный доступ к группе устройств хранения через единую сеть.
В обоих случаях приложения и программы обращаются к файловой системе напрямую. Различие состоит в том, как файловая система получает требуемые данные из хранилища: в DAS массив локален, в SAN размещён удалённо.
Ключевое отличие SAN от NAS заключается в уровне доступа: SAN предоставляет блочный доступ к хранилищу (как к локальному диску), тогда как NAS — файловый доступ по сети (как к сетевой папке) с использованием протоколов SMB/CIFS или NFS. Для передачи блочных команд SAN использует специализированные протоколы, такие как Fibre Channel или iSCSI поверх стандартных сетей Ethernet.
Хотя и Fibre Channel, и iSCSI решают одну и ту же задачу, они кардинально различаются по стоимости и сложности. Fibre Channel традиционно обеспечивает максимальную производительность и надёжность, но требует дорогостоящего специализированного оборудования (HBA-адаптеры, FC-коммутаторы) и особых навыков администрирования. iSCSI, в свою очередь, использует стандартную IP-инфраструктуру, что делает его развёртывание на 50–70 % дешевле и проще в управлении для большинства IT-специалистов. Это делает iSCSI-решения более сопоставимыми по совокупной стоимости владения с системами NAS, при этом сохраняя главное преимущество SAN — блочный доступ к данным.
Базовая структура SAN
SAN обеспечивают подключение устройств ввода-вывода между хост-компьютерами и устройствами хранения, сочетая преимущества архитектур Fibre Channel и традиционных сетей передачи данных. Это делает SAN намного более гибкой и отказоустойчивой альтернативой DAS, сохраняя привычный SCSI-интерфейс на уровне приложений.
SAN состоит из трёх уровней:
- Уровень хоста: включает серверы, устройства и компоненты (HBA, GBIC, GLM) и программное обеспечение (операционные системы);
- Fibre Channel-уровень: реализуется за счёт оптоволоконных кабелей и специализированных концентраторов и коммутаторов SAN;
- Уровень хранения: объединяет формируемые массивы дисков, кэш-память, RAID и ленточные устройства.
Сконфигурированная SAN может быть реализована в одном из двух вариантов:
- Сеть Fibre Channel: физическая сеть на базе устройств Fibre Channel с использованием специализированных коммутаторов. В качестве транспортных протоколов используются Fibre Channel Protocol (FCP) для передачи команд SCSI, а в современных системах — NVMe/FC для передачи команд NVMe[11].
- IP SAN: использует стандартную LAN-инфраструктуру на базе Ethernet. Основными транспортными протоколами являются:
Fibre Channel
Fibre Channel (FC) — это семейство высокоскоростных сетевых протоколов, предназначенных для создания сетей хранения данных (SAN). Технология обеспечивает передачу данных без потерь с низкой задержкой, что делает её стандартом для корпоративных сред, требующих высокой надёжности и производительности[14]. В качестве среды передачи могут использоваться как оптоволоконные кабели (на расстояние до 10 км), так и медные (на коротких дистанциях). Существует также стандарт Fibre Channel over Ethernet (FCoE), позволяющий инкапсулировать трафик Fibre Channel в пакеты Ethernet.
Стандарты Fibre Channel классифицируются по поколениям (Gen), каждое из которых, как правило, удваивает пропускную способность предыдущего. Актуальные и широко используемые поколения включают[15]:
- Gen 5 (16GFC): 16 Гбит/с;
- Gen 6 (32GFC): 32 Гбит/с, с внедрением прямой коррекции ошибок (FEC) для повышения надёжности[16];
- Gen 7 (64GFC): 64 Гбит/с[17];
- Gen 8 (128GFC): 128 Гбит/с.
Оборудование Fibre Channel обеспечивает обратную совместимость, как правило, на два поколения назад[15]. Дорожная карта развития технологии включает стандарты 256GFC, 512GFC и 1TFC (1 Тбит/с)[15].
Для Fibre Channel используется три основных топологии:
- Точка-точка (Point-to-Point);
- Арбитрный кольцевой режим (Arbitrated Loop);
- Коммутируемая ткань (Switched Fabric);
«Ткань Fibre Channel» (Fibre Channel Fabric) — обобщённая среда передачи данных между всеми узлами SAN, реализующая физический уровень соединения. Благодаря унифицированному интерфейсу, любой Fibre Channel-совместимый узел может взаимодействовать внутри «ткани», не зная топологию остальных.
На сегодняшний день топология FC-AL считается устаревшей и практически не используется в современных сетях хранения данных, уступив место более эффективной топологии — коммутируемой фабрике (Switched Fabric)[18]. Исторически она являлась более дешёвой альтернативой коммутаторам Fibre Channel, но со временем была вытеснена из-за ряда существенных недостатков[18].
Данная топология позволяла объединять устройства в единую петлю с разделяемой полосой пропускания и поддержкой полнодуплексной передачи данных на скорости 100—200 МБ/с. Аналогично Token Ring, несколько серверов и устройств хранения можно было включить в общий сегмент кольца, где перед отправкой данных устройство должно было пройти процедуру арбитража доступа. Хотя теоретическое максимальное количество устройств в петле составляет 127 портов (126 для оконечных устройств)[19], на практике из-за падения производительности их число редко превышало 10–15[20].
Ключевыми недостатками, приведшими к отказу от FC-AL, являются низкая надёжность и производительность. Добавление или удаление любого устройства в петле вызывает процесс инициализации (Loop Initialization Process, LIP), который приостанавливает все операции ввода-вывода во всей петле[20]. Кроме того, все устройства делят общую пропускную способность, что значительно снижает общую производительность по сравнению с коммутируемыми сетями[18]. В современных стандартах, таких как 16GFC и выше, данная топология не используется[21].
Присоединяясь к коммутируемой «ткани», устройство регистрируется в общей базе данных, где сохраняются параметры для организации подключения и учёта топологии. Основные службы:
- Login Service: начальный обмен идентификаторами между узлом и тканью (FLOGI), назначение адресов;
- Name services: централизованная регистрация всех устройств, выполняющих вход (PLOGIN), с занесением информации в локальную базу данных;
- Fabric Controller: рассылка уведомлений о изменениях состояния всем подключённым узлам посредством RSCN (сообщений об изменении состояния);
- Management Server: централизованная точка управления для всех вышеперечисленных сервисов, реализующая концепцию управляемых зон (zone).
Гибрид SAN—NAS
При выборе инфраструктуры хранения важно учитывать специфические задачи организации. Для крупных корпоративных клиентов с большими объёмами информации SAN предпочтительнее, тогда как для небольших предприятий чаще всего достаточно NAS.
Тем не менее, оба решения не являются взаимоисключающими и могут функционировать в единой архитектуре. В комбинированных реализациях используются сразу несколько технологий: DAS, NAS и SAN.
Характеристики
- Задержка: SAN проектируются таким образом, чтобы минимизировать задержки (латентность) передачи данных;
- Связность: поддержка множественного подключения серверов к единой группе дисков или ленточных устройств, что оптимизирует использование ресурсов хранения;
- Дистанция: при применении оптоволоконных линий SAN позволяют разносить устройства на расстояние до 10 км без репитеров;
- Скорость: пропускная способность современных сетей Fibre Channel достигает 128 Гбит/с (стандарт 128GFC), также широко распространены стандарты 16, 32 и 64 Гбит/с;
- Доступность: реализована многократная коммутация, возможны избыточные маршруты с автоматическим переключением для обеспечения отказоустойчивости;
- Безопасность: для разграничения доступа применяется зональная логика, реализуемая на уровне аппаратуры и/или ПО; допускается группировка по портам или глобальным идентификаторам (WWN, «World Wide Name»). Кроме того, функция «представления» (Presentation) позволяет ограничивать доступ к определённому LUN только заранее определённому перечню серверов;
- Состав: основные компоненты SAN — коммутаторы, директоры, HBA (адаптеры), серверы, маршрутизаторы, шлюзы, массивы дисков и ленточные библиотеки;
- Топология: поддерживаются каскадная, кольцевая, ячеистая и архитектура «ядро—грань» (core/edge);
- ISL (Inter Switch Link): соединения между коммутаторами смонтированы через E-порты и могут агрегироваться в каналы (trunk) с повышенной пропускной способностью и отказоустойчивостью;
- Архитектура: современные сети Fibre Channel строятся на основе коммутируемой топологии (Switched Fabric). Кольцевая архитектура (FC-AL) считается устаревшей и практически не используется. Теоретическое количество устройств в Switched Fabric превышает 16 млн благодаря 24-битной адресации[22], однако на практике оно ограничено возможностями оборудования и редко превышает несколько тысяч устройств в одной фабрике[23]. Устаревшая топология FC-AL теоретически поддерживала до 127 устройств, но на практике её использование было ограничено 10–15 узлами из-за падения производительности.
Преимущества
Совместное использование хранилища упрощает администрирование и повышает гибкость: физически устройства хранения не требуется перемещать между серверами. В отличие от сетевых хранилищ (NAS), где несколько серверов могут одновременно обращаться к одним и тем же файлам, стандартные SAN, за исключением отдельных случаев — например, кластеризации и SAN file system, — привязывают каждый LUN к одному серверу.
Использование SAN повышает эффективность задействования хранилища благодаря возможности расширения общего пространства для группы серверов. Доступны различные маршруты обмена, обеспечивающие высокий ROI («возврат на инвестиции», англ. Return On Investment).
SAN позволяют настраивать резервное копирование с физическим размещением резервных устройств на удалённых площадках, что обеспечивает непрерывность работы и высокую доступность.
Важным преимуществом SAN считается полная совместимость с существующими SCSI-устройствами: маршрутизаторы, мосты и коммутаторы позволяют интегрировать прежние массивы (RAID-SCSI, ленточные библиотеки и т. п.) и использовать SAN единым образом.
Пропускная способность современных SAN на базе Fibre Channel достигает 128 Гбит/с и выше, причём этот показатель масштабируется при увеличении числа подключений.
Ёмкость современных SAN может достигать десятков и даже сотен петабайт, поскольку архитектура может быть расширена практически без ограничений.
Крупное преимущество — полная изоляция SAN-трафика от пользовательского, что исключает негативное влияние нагрузки одних сервисов на остальные.
Недостатки
Существенным минусом SAN является её высокая стоимость относительно NAS: реализовать полноценную архитектуру SAN значительно дороже вследствие применения специализированного оборудования и технологии. Обычно, сравнительный анализ общей стоимости владения (TCO) и стоимости на байт оправдывает внедрение SAN только в крупных организациях с высокими требованиями.
Высокая стоимость в первую очередь характерна для сетей на базе протокола Fibre Channel, которые требуют дорогостоящего специализированного оборудования (адаптеров HBA и FC-коммутаторов) и особых навыков администрирования. В то же время, решения на базе iSCSI и более современного NVMe/TCP используют стандартную и более доступную инфраструктуру Ethernet. Это позволяет снизить стоимость развёртывания на 50–70 % по сравнению с аналогами на Fibre Channel, а управление такими сетями проще благодаря использованию стандартных IP-технологий. Несмотря на это, для наиболее критически важных приложений, где требуется гарантированно низкая и предсказуемая задержка, а бюджет не является главным ограничивающим фактором, Fibre Channel (и его реализация для NVMe — NVMe/FC) остаётся предпочтительным решением.
Основные протоколы
В сетях хранения данных используются следующие базовые протоколы:
Протокол, использовавшийся в кольцевых топологиях для управления арбитражем и распределения прав на передачу данных между участниками. На сегодняшний день считается устаревшей технологией, практически полностью вытесненной более производительной и надёжной коммутируемой фабрикой (Switched Fabric). В современных стандартах, таких как 16GFC и выше, данная топология не используется.
Реализуется в коммутируемых сетях (SAN-switch), обеспечивает одновременную независимую передачу данных между различными устройствами, предотвращая коллизии и оптимизируя коммуникации.
Хотя 24-битная схема адресации протокола Fibre Channel теоретически позволяет подключать до 16 миллионов устройств, на практике масштабируемость коммутируемой фабрики (Switched Fabric) ограничена как архитектурными особенностями, так и лимитами, установленными производителями оборудования. Ключевым архитектурным ограничением является количество уникальных идентификаторов домена (Domain ID), которых стандарт предусматривает 239. Это устанавливает жёсткий предел на максимальное число коммутаторов в одной фабрике[24].
Практические лимиты зависят от конкретного производителя и модели оборудования. Например:
- Brocade (Broadcom): для фабрик на базе оборудования Gen 6 и Gen 7 под управлением Fabric OS 9.x количество коммутаторов в одной фабрике ограничено 12 (в протестированной конфигурации) или 15 (в максимально поддерживаемой)[25].
- Cisco: коммутаторы директорского класса, такие как Cisco MDS 9700, могут поддерживать до 8000 подключённых устройств (FLOGI) на один коммутатор, в то время как модели меньшего размера, например MDS 9396T, — до 4000 устройств.
Таким образом, реальное количество устройств в современной SAN редко превышает несколько тысяч и жёстко регламентируется рекомендациями конкретного производителя оборудования.
Протокол, используемый для связи между приложением и устройством хранения, обрабатывается на уровне приложений и операционной системы. В SAN протокол SCSI инкапсулируется поверх FC-AL или FC-SW. В классическом сервере SCSI-командные последовательности передаются параллельно по медным проводникам, в SAN коммуникация выполняется сериализованно по сетевым каналам.
Однако с массовым распространением твердотельных накопителей протокол SCSI стал «узким местом», не позволяющим полностью раскрыть потенциал флеш-памяти. Для решения этой проблемы был разработан протокол NVMe, изначально предназначенный для прямого подключения накопителей к шине PCIe[26]. В современных сетях хранения данных, особенно построенных на базе SSD, на смену SCSI приходит его сетевая версия — NVMe over Fabrics (NVMe-oF). Этот протокол позволяет передавать команды NVMe напрямую по сети, что значительно снижает задержки и повышает производительность по сравнению с инкапсуляцией команд SCSI[27].
FCoE (Fibre Channel over Ethernet) — протокол, позволяющий передавать кадры Fibre Channel напрямую по сетям Ethernet. Он был разработан с целью объединения трафика сетей хранения данных (SAN) и локальных сетей (LAN) в единой конвергентной инфраструктуре, что должно было сократить количество кабелей и коммутаторов[28]. Стандарт (INCITS T11 FC-BB-5) был опубликован в 2009 году.
Несмотря на первоначальные цели, технология получила ограниченное распространение и на сегодняшний день считается нишевым или устаревающим решением[9][29]. Основными препятствиями для массового внедрения стали высокая сложность настройки сетей Ethernet без потерь (требующих поддержки DCB) и необходимость использования специализированного дорогостоящего оборудования, такого как конвергентные сетевые адаптеры (CNA)[9].
В современных ЦОД FCoE уступил место более простым и эффективным протоколам на базе IP. В отличие от iSCSI, который инкапсулирует команды SCSI в пакеты TCP/IP, FCoE избегает накладных расходов этого стека, но требует более сложной сетевой конфигурации[30]. Ключевым недостатком обоих протоколов является использование устаревшего набора команд SCSI. Более современный протокол NVMe/TCP, работающий на стандартном оборудовании Ethernet, предлагает значительно более высокую производительность и низкие задержки, что делает его предпочтительной альтернативой для новых развёртываний[9][31]. Хотя FCoE технически может работать на высоких скоростях Ethernet (25 Гбит/с и выше), сложность и стоимость развёртывания делают его менее привлекательным по сравнению с NVMe/TCP[29][32].
NVMe over Fabrics (NVMe-oF)
NVMe over Fabrics (NVMe-oF) — это протокол, расширяющий возможности высокопроизводительного интерфейса NVMe за пределы одного сервера на сетевую инфраструктуру, известную как «фабрика» (англ. fabric). Технология позволяет серверам обращаться к удалённым твердотельным накопителям так, как если бы они были подключены локально по шине PCIe, обеспечивая при этом минимальные задержки и высокую пропускную способность.
Изначально протокол NVMe был разработан для прямого подключения SSD к шине PCIe, что позволяло устранить «узкие места» традиционных интерфейсов, таких как SATA и SAS. Однако его применение было ограничено пределами одного сервера. NVMe-oF решает эту проблему, позволяя создавать общие пулы высокопроизводительных хранилищ, доступные для множества серверов в рамках центра обработки данных (ЦОД).
Основная идея NVMe-oF заключается в передаче команд и данных NVMe по сети. Спецификация определяет, как команды NVMe инкапсулируются и передаются через различные сетевые транспорты, при этом сохраняется до 90 % оригинального протокола NVMe, включая его эффективную модель очередей команд. Это позволяет значительно сократить задержки по сравнению с традиционными протоколами для сетей хранения данных, такими как iSCSI, который передаёт команды SCSI.
Для передачи данных NVMe-oF может использовать несколько транспортных протоколов. Наиболее распространёнными из них являются NVMe over Fibre Channel (NVMe/FC) и NVMe over TCP (NVMe/TCP).
NVMe/FC — это реализация протокола NVMe-oF, которая использует сеть Fibre Channel (FC) в качестве транспорта. FC является надёжным и широко распространённым протоколом в корпоративных сетях хранения данных (SAN), известным своей предсказуемой производительностью и гарантированной доставкой пакетов без потерь.
В NVMe/FC команды NVMe инкапсулируются в кадры протокола Fibre Channel, что позволяет передавать трафик NVMe по существующей FC-инфраструктуре. Важным преимуществом является возможность одновременной работы на одной и той же сети как традиционного трафика на базе SCSI (FCP), так и нового трафика NVMe/FC.
Преимущества:
- Высокая производительность и надёжность: FC изначально разрабатывался как сеть для хранения данных без потерь, что обеспечивает стабильно низкие задержки.
- Плавная миграция: Компании с существующей инфраструктурой FC SAN могут перейти на NVMe-oF без полной замены оборудования, часто ограничившись обновлением прошивок на коммутаторах и хост-адаптерах (HBA).
- Низкая загрузка CPU: Обработка протокола FC в значительной степени выполняется аппаратными средствами (HBA), что минимизирует нагрузку на центральный процессор сервера.
- Предсказуемая производительность: Изолированность и механизмы управления потоком в FC обеспечивают детерминированную производительность, что критично для высоконагруженных корпоративных приложений[33].
Недостатки:
- Более высокая стоимость: Инфраструктура Fibre Channel (коммутаторы, HBA) традиционно дороже, чем стандартные компоненты Ethernet.
- Сложность и специализация: Управление и настройка сетей FC требует более высокой квалификации администраторов.
Для развёртывания необходимы FC-коммутаторы (обычно 16 Гбит/с или выше) и HBA с поддержкой NVMe/FC.
NVMe/TCP — это вариант NVMe-oF, который использует стандартный стек протоколов TCP/IP для передачи данных по сетям Ethernet. Этот стандарт был разработан для упрощения внедрения NVMe-oF и снижения затрат.
Команды и данные NVMe инкапсулируются в пакеты TCP и передаются по обычной IP-сети. Каждая очередь команд NVMe сопоставляется с отдельным TCP-соединением, что позволяет использовать существующую и широко распространённую Ethernet-инфраструктуру без необходимости в специализированном оборудовании.
Преимущества:
- Экономичность: Использует стандартное и недорогое Ethernet-оборудование (сетевые карты, коммутаторы), что значительно снижает стоимость развёртывания по сравнению с FC.
- Простота развёртывания и масштабирования: Легко интегрируется в существующие IP-сети, а управление им знакомо большинству сетевых инженеров.
- Гибкость: Трафик NVMe/TCP является маршрутизируемым, что позволяет создавать крупные и географически распределённые сети хранения.
Недостатки:
- Более высокая задержка: Обработка стека TCP/IP вносит дополнительные задержки по сравнению с NVMe/FC[34].
- Повышенная нагрузка на CPU: Программная обработка TCP/IP создаёт дополнительную нагрузку на процессоры хоста, хотя она и ниже, чем у iSCSI.
Для достижения высокой производительности рекомендуются сети со скоростью 25 Гбит/с и выше.
| Характеристика | NVMe over Fibre Channel (NVMe/FC) | NVMe over TCP (NVMe/TCP) |
|---|---|---|
| Производительность (Задержка) | Очень низкая и предсказуемая | Ниже, чем у iSCSI, но выше, чем у NVMe/FC |
| Производительность (IOPS) | Как правило, выше | Сопоставима с NVMe/FC при операциях записи, но может быть до 20 % ниже при чтении (на сопоставимых скоростях)[34] |
| Нагрузка на CPU | Минимальная, так как протокол обрабатывается аппаратно (HBA) | Выше, чем у NVMe/FC, из-за программной обработки стека TCP/IP |
| Инфраструктура | Специализированная сеть Fibre Channel (HBA, FC-коммутаторы) | Стандартная сеть Ethernet (NIC, IP-коммутаторы) |
| Стоимость развёртывания | Высокая. Требует дорогостоящего оборудования и экспертизы | Низкая. Использует существующую и более доступную IP-инфраструктуру |
| Простота внедрения | Относительно проста для компаний с существующей FC SAN | Высокая, особенно в средах на базе Ethernet |
| Идеальные сценарии использования | Критически важные корпоративные приложения (базы данных, ERP), требующие максимальной надёжности и предсказуемой производительности. Модернизация существующих FC SAN[35]. | Облачные ЦОД, гиперконвергентные инфраструктуры (HCI), виртуализация, среды, где важны экономичность и простота масштабирования. Замена iSCSI. |
Выбор между NVMe/FC и NVMe/TCP зависит от конкретных требований к производительности, существующей инфраструктуры и бюджета. NVMe/FC является логичным выбором для организаций, уже инвестировавших в Fibre Channel и нуждающихся в максимальной производительности для критических нагрузок. В то же время, NVMe/TCP предлагает более доступный и гибкий путь к внедрению NVMe-oF, используя повсеместно распространённые сети Ethernet, что делает его привлекательным для широкого круга современных ЦОД и облачных сред.
Безопасность
Ключевым аспектом безопасности SAN является физическое разнесение и грамотное размещение её компонентов (как ПО, так и аппаратных узлов). Критические элементы — коммутаторы, дисковые массивы, хост-сервера — рекомендуется содержать в одном дата-центре, доступ к которому имеют только уполномоченные администраторы. Физическая безопасность предотвращает несанкционированные логические вмешательства, такие как изменение конфигурации кабелей, перенастройка или добавление/удаление устройств.
Проектирование инфраструктуры должно учитывать вопросы климата (охлаждение), электропитания и аварийного восстановления. Необходимо обеспечивать изолированность сетей управления элементами SAN от общей корпоративной сети, а также использовать надёжные уникальные пароли для критических устройств с целью предупреждения несанкционированного доступа.
См. также
Примечания
- ↑ NVMe over Fabrics (NVMe-oF): ускорение доступа к данным в эпоху высокопроизводительных ИИ-нагрузок. ServerFlow. Дата обращения: 3 ноября 2025. Архивировано 14 августа 2025 года.
- ↑ Fibre Channel: актуальные стандарты и перспективы развития. НИКС. Дата обращения: 3 ноября 2025. Архивировано 12 сентября 2025 года.
- ↑ NetApp представила СХД AFF A-Series с поддержкой до 185 Пбайт данных и ИИ-функциями. ServerNews (23 мая 2024). Дата обращения: 3 ноября 2025. Архивировано 13 июля 2025 года.
- ↑ IBM Redbooks: Storage Area Networks (англ.). IBM Redbooks. IBM. Дата обращения: 10 июня 2024. Архивировано 14 декабря 2005 года.
- ↑ NVMe/FC or NVMe/TCP? A Deep-Dive NVMe Packet Flow-Level Comparison Between the Two. SNIA. Дата обращения: 3 ноября 2025. Архивировано 2 октября 2024 года.
- ↑ 1 2 Fibre Channel vs. iSCSI – A Modern Comparison. SNIA. Дата обращения: 3 ноября 2025.
- ↑ 1 2 iSCSI vs. FC vs. FCoE: Choosing the Right Storage Protocol for Your Business. Pure Storage. Дата обращения: 3 ноября 2025. Архивировано 22 января 2025 года.
- ↑ iSCSI vs. Fibre Channel: What is best choice for your SAN? TechTarget. Дата обращения: 3 ноября 2025. Архивировано 25 мая 2025 года.
- ↑ 1 2 3 4 Fibre Channel vs Ethernet Storage: Which is Best for Your SAN? Intelligent Visibility. Дата обращения: 3 ноября 2025. Архивировано 12 августа 2025 года.
- ↑ A Performance Comparison of NVMe over TCP and NVMe over RoCEv2. atlarge-research.com (2024). Дата обращения: 3 ноября 2025. Архивировано 5 августа 2025 года.
- ↑ NVMe-oF/TCP: новые возможности для корпоративных СХД. БАУМ-Информ. Дата обращения: 3 ноября 2025.
- ↑ Embrace NVMe for a better tomorrow. NetApp Community. Дата обращения: 3 ноября 2025. Архивировано 1 марта 2024 года.
- ↑ NVMe по TCP — протокол сетевого хранения данных, о котором вы ещё не слышали. Servermall. Дата обращения: 3 ноября 2025. Архивировано 6 августа 2025 года.
- ↑ Fibre Channel (FC). VStack. Дата обращения: 3 ноября 2025. Архивировано 4 августа 2025 года.
- ↑ 1 2 3 Fibre Channel. TechTarget. Дата обращения: 3 ноября 2025. Архивировано 17 января 2022 года.
- ↑ Gen 6 – Sixth Generation Fibre Channel. Fibre Channel Industry Association. Дата обращения: 3 ноября 2025. Архивировано 7 февраля 2025 года.
- ↑ Fibre Channel и iSCSI: в чем разница? itc.by. Дата обращения: 3 ноября 2025. Архивировано 6 августа 2023 года.
- ↑ 1 2 3 What is Fibre Channel? what-is-my-computer.com. Дата обращения: 3 ноября 2025. Архивировано 18 марта 2025 года.
- ↑ Топологии сетей Fibre Channel. ifmo.ru. Дата обращения: 3 ноября 2025.
- ↑ 1 2 Fibre Channel Topologies. Storage Infra. Дата обращения: 3 ноября 2025. Архивировано 10 марта 2023 года.
- ↑ Fibre Channel (FC) в сети хранения данных (SAN). AscentOptics. Дата обращения: 3 ноября 2025.
- ↑ Технология Fibre Channel. Тис-Ком. Дата обращения: 3 ноября 2025.
- ↑ Cisco MDS 9000 Series NX-OS Configuration Limits, Release 9.x. device.report. Дата обращения: 3 ноября 2025.
- ↑ Fibre Channel fabric. community.hpe.com. Дата обращения: 3 ноября 2025. Архивировано 15 июня 2024 года.
- ↑ SAN Scalability Guide Fabric OS 9.x. Broadcom. Дата обращения: 3 ноября 2025. Архивировано 12 октября 2022 года.
- ↑ NVMe Transport Performance Comparison. Dell Technologies. Дата обращения: 3 ноября 2025.
- ↑ Dell PowerStore: Platform Introduction. Dell Technologies. Дата обращения: 3 ноября 2025. Архивировано 26 августа 2025 года.
- ↑ Технология Fibre Channel over Ethernet для ЦОД. Byte/Mag. Дата обращения: 3 ноября 2025. Архивировано 21 марта 2025 года.
- ↑ 1 2 FCoE — как дела? ИТ-компания Itelon. Дата обращения: 3 ноября 2025. Архивировано 15 апреля 2025 года.
- ↑ FCoE vs. iSCSI. Habr. Дата обращения: 3 ноября 2025.
- ↑ NVMe-over-TCP vs. iSCSI: What’s the Difference? Simplyblock. Дата обращения: 3 ноября 2025. Архивировано 5 августа 2025 года.
- ↑ Fibre Channel over Ethernet (FCoE). Fibermall. Дата обращения: 3 ноября 2025.
- ↑ What is NVMe over TCP? Starwind Software. Дата обращения: 3 ноября 2025. Архивировано 5 августа 2025 года.
- ↑ 1 2 NVMe Transport Performance Comparison. Dell Technologies. Дата обращения: 3 ноября 2025. Архивировано 29 апреля 2025 года.
- ↑ The Network Matters for Storage. Broadcom. Дата обращения: 3 ноября 2025. Архивировано 25 августа 2025 года.
Литература
- Storage Area Network (SAN) (исп.). camoralesma.googlepages.com. Дата обращения: 10 июня 2024. Архивировано 19 февраля 2009 года.
- ¿Qué es un NAS? (исп.). qloudea.com. Дата обращения: 10 июня 2024.