Deep packet inspection

Глубинный анализ пакетов приводит к заметным задержкам в обработке трафика. Для эффективного анализа больших объёмов пакетов необходимы значительные ресурсы памяти и вычислительной мощности. Повысить производительность можно как оптимизацией программной, так и аппаратной составляющей.

ГАП-системы ищут сигнатуры известных приложений с помощью наборов регулярных выражений. Регулярные выражения, используемые в системах обнаружения вторжений, представляют собой набор шаблонов: простых строк, диапазонов символов, джокеров, подшаблонов с повторениями и т.п^[1].. Для поиска сигнатур эти выражения преобразуются в конечные автоматы, что требует больших объёмов памяти и вычислительных ресурсов. К путям оптимизации относятся сокращение занимаемой памяти, уменьшение необходимой вычислительной мощности и распределение нагрузки.

Регулярные выражения могут быть преобразованы в два типа автоматов: детерминированные конечные автоматы (ДКА) и недетерминированные конечные автоматы (НКА). В ДКА символ вызывает только один переход из любого состояния; в НКА один и тот же символ может инициировать несколько переходов. На схеме ниже изображён ДКА для выражения abcd.

Детерминированные автоматы обладают рядом преимуществ: строка проходит автомат за один проход; каждый символ вызывает однозначное состояние, поэтому обращения к памяти детерминированы. Кроме того, регулярное выражение может быть преобразовано в автомат с минимальным числом состояний^[2]. Недостатком является быстрый рост числа состояний при объединении множества выражений. Следующая схема иллюстрирует НКА для выражения a*ba*.

НКА требуют меньше памяти, но больше вычислительных ресурсов и производят вариативные обращения к памяти^[3]. Любой НКА может быть преобразован в ДКА, но зачастую ценой экспоненциального роста числа состояний^[4].

Следующая таблица показывает сложность и использование памяти для ДКА и НКА при выражении размера n^[5]:

Вложенные шаблоны внутри выражений вызывают циклы в соответствующих автоматах^[1]. Например, правило для Snort User-Agent\x3A[^\r\n]*ZC-Bridge ищет совпадение подстроки «ZC-Bridge» только если ранее встретилась «User-Agent\x3A» и до этого не встречался перевод строки. Такие совпадения влияют на переходы в ДКА, но не увеличивают число состояний^[6]. Автоматы, описывающие правила анализа во многих системах, обладают высокой избыточностью переходов^[1].

При объединении разных выражений или использовании конструкций типа .* рост числа состояний может становиться линейным или экспоненциальным^[7]. Ограничения длины, например в ab.{3}cd, могут приводить к экспоненциальному увеличению состояний^[7].

Для борьбы со взрывным ростом числа состояний строится гибридный автомат: при увеличении числа состояний при переходе от НКА к ДКА процесс прекращается, создавая автомат с детерминированным стартовым состоянием и недетерминированной частью, обрабатываемой только при достижении соответствующего участка^[8].

Для уменьшения размера автоматов также применяются оптимизации регулярных выражений (например, сокращения и классы исключений^[9]), а также слияние состояний^[10].

Использование конечных автоматов с задержкой входа также позволяет снизить затраты памяти^[11].

Все эти методы оптимизации уменьшают объём используемой памяти и вычислительные издержки для автоматов, применяемых как в программных решениях (Snort, Bro/Zeek и др.), так и в специализированном оборудовании.

Глубинный анализ пакетов на основе контекста (context-based deep packet inspection, CDPI) анализирует не отдельные пакеты, а потоки целиком, извлекая семантическую информацию из потока сообщений. Это позволяет выявлять, например, этапы обмена ключами в IPsec и отличать легитимные сообщения от подделок^[12].

Появление сетей на скоростях 20/40 Гбит/с и более требует анализа большого трафика в реальном времени. Чаще всего интернет-провайдеры агрегируют трафик с множества маршрутизаторов на мощные серверы; такой подход подразумевает задержки и затруднённую отказоустойчивость. Анализ потоков ГАП на скорости магистрали требует компромисса между точностью, временем, ресурсами и стоимостью^[13].

Для распараллеливания распределённой обработки используются технологии MapReduce, в частности реализация Apache Hadoop, разделяющая вычисления и хранение данных между множеством серверов (HDFS). Такой подход позволяет анализировать большие объёмы трафика, однако не всегда даёт realtime-результаты из-за необходимости ожидать завершения всех операций в очередной фазе и из-за существенных задержек на запись на диск^[13].

Более адаптированные решения, например, StreamMine3G, используют архитектуру распределённого complex event processing, где фазы (захват/генерация потока, классификация, анализ, представление) образуют непарализующую трубопроводную обработку^[14]. Это даёт меньшие задержки и позволяет работать в реальном времени, поскольку результаты фаз хранятся в оперативной памяти.

Сохранение контекста потоков при разделении трафика между узлами решается хешированием (по src/dst адресам) с отправкой пар «хеш+метка времени — пакет» в соответствующие коллекционеры для последующей групповой обработки^[15].

Конечные автоматы могут быть реализованы программно, но ради ускорения широко применяются специализированные аппаратные решения, например, на базе FPGA/ASIC. Имплементация НКА в виде логических схем повышает производительность: в FPGA каждый автомат моделируется комбинацией триггеров и связанных таблиц поиска, управляющих переходами^[16]. FPGA обеспечивают выигрыш по времени построения автомата (O(n)), а также меньшие требования по памяти по сравнению с традиционными серверами^[16].

Использование глубинного анализа пакетов охватывает различные области:

• Pиринговые сети: из-за применения случайных портов и сигнатур в данных, обычные межсетевые экраны неэффективны для выявления P2P. ГАП же позволяет идентифицировать такой трафик^[17];
• Качество обслуживания: определяя тип содержимого, ГАП обеспечивает приоритет для отдельных приложений/сервисов (например, в корпоративной сети или для продажи каналов по категориям для провайдеров).

Глубинный анализ пакетов имеет значимые социальные последствия, поскольку в процессе часто анализируются приватные пользовательские данные. Это порождает как юридические, так и этические вопросы.

Поскольку технология относительно нова, применяемое законодательство разнится по странам и не всегда однозначно.

ГАП может применяться для защиты интеллектуальной собственности. Так, P2P-трафик, часто используемый для обмена нелегальными файлами, поддаётся обнаружению с помощью ГАП^[17].

В Нидерландах в 2009 году рассматривалась возможность применения ГАП в интересах третьих сторон для контроля за соблюдением авторских прав и противодействия незаконному скачиванию. После критики со стороны НКО инициатива была отклонена^[18].

Статья 66 постановления телекоммуникационного регулятора Китая 2000 года гласит: «Свобода и частная жизнь законных пользователей телекоммуникаций защищаются законом. Ни одна организация или лицо не могут исследовать содержание коммуникаций по какой-либо причине»^[19].

ГАП может быть инструментом слежки за пользовательскими привычками^[20].

Глубинный анализ пакетов используют интернет-провайдеры для таргетированной рекламы^[21], регулирования качества сервиса или фильтрации приложений/сайтов в коммерческих целях, что вызывает вопросы о сетевой нейтральности^[20].

В 2011 году в Бельгии правозащитники обеспокоились решениями суда о фильтрации P2P-контента через провайдера Scarlet, реализующего ГАП по требованию авторских прав^[21]. Данная мера была отменена после обращения в Суд ЕС.

Несмотря на формальный запрет в Китае, технологии ГАП широко внедряются национальными провайдерами^[19].

В КНР большинство провайдеров принадлежат государству, и собранные ими данные доступны органам власти, несмотря на декларируемый запрет^[19].

В Великобритании с 1996 года Internet Watch Foundation координирует борьбу с детской порнографией, но для блокировки зарубежных материалов был внедрён фильтр Cleanfeed — система, обрабатывающая подозрительные запросы к IP-фильтрам по ГАП; при обнаружении нелегального содержимого возвращается ошибка HTTP 404^[21]. Критика касалась чрезмерных полномочий частных операторов фильтрации^[22].

В 2008 году URL Википедия попала в список фильтрации Cleanfeed из-за изображения на обложке альбома Scorpions Virgin Killer. Запросы к Википедии четыре дня блокировались, пока страница не была удалена из списка^[21].

Традиционно информационная безопасность в компаниях ограничивалась применением межсетевых экранов на границе сети, однако рост числа портативных устройств и новых угроз сделал ГАП критически важным инструментом для фильтрации, контроля взаимодействий и предотвращения утечек данных (Data Leak Prevention, DLP). Глубинный анализ позволяет настраивать правила и защищать как уровень приложений, так и отдельных пользователей.

Государства Северной Америки, Европы и Азии, помимо внутренней ИТ-безопасности, всё шире применяют ГАП для слежки и цензуры. Например, Иран внедрил такую систему с 2008 года, используя продукты компании Nokia Siemens Networks. В Ливии режим Муаммара Каддафи применял платформу Eagle от Amesys для слежки за оппонентами. Аналогичные системы работают во Франции^[23], а также разрабатывались в Сирии. После журналистских расследований работа над проектами была прекращена, а производитель Qosmos публично заявил, что его ПО никогда там не применялось^[24].

Интернет-провайдеры используют ГАП для внутренней защиты инфраструктуры, блокировки незаконных коммуникаций, таргетированной рекламы, повышения качества сервиса или предоставления сервисов третьих сторон, в том числе для защиты авторских прав:

• Поскольку провайдеры видят весь пользовательский трафик, они могут анализировать и продавать детальные данные рекламным компаниям (Phorm, NebuAd).
• Применение ГАП в Нидерландах рассматривалось для борьбы с пиратством, но не было утверждено^[18]. Во Франции после появления HADOPI анализ P2P-обмена также оценивался, но не был реализован^[25].
• Провайдеры объясняют внедрение ГАП необходимостью справедливого распределения пропускной способности (особенно при P2P-обмене большими файлами) и обеспечения приоритета для VoIP, видеоконференций и пр.
• Широкое внедрение ГАП ставит вопросы о соответствии гарантиям QoS, а также затрагивает приватность, поскольку всё содержимое (от сайтов и писем до музыкальных файлов) может анализироваться, блокироваться и классифицироваться.

Сторонники сетевого нейтралитета и борцы за интернет-свободы считают ГАП нарушением права на личную жизнь^[26] и — в зависимости от целей — дискриминирующей технологией противоречащей принципу недискриминации интернет-трафика и праву на доступ в сеть^[27].