АссистентНовый вопросИсторияОбласти знаний
Партнёрские проектыСпецпроектыСтать автором
Сменить язык
О РУВИКИ

Сетевой трафик

Экспертиза РАН

Logo-ran.pngLogo-ran-black.png
Проводится экспертиза
Российской академией наук
Подробнее
Times2.svg

Экспертиза РАН

Arrow-Right.png
Logo-ran.png
Проводится экспертиза
Российской академией наук
Подробнее

Сетевой трафик — это поток данных во всей сети Интернет или по определённым сетевым связям её составляющих сетей. Обычные метрики трафика включают общий объём данных (в байтах и их кратных) либо скорость передачи (в байтах за единицу времени).

Поскольку топология Интернета не иерархична, не существует единой точки измерения всего сетевого трафика. Данные о трафике могут быть получены на пунктах обмена трафиком магистральных сетей первого уровня (англ. Tier 1 network), что позволяет получить ориентировочные значения объёма и динамики трафика. Однако такие данные не учитывают трафик, остающийся внутри одной сети-провайдера, и обмен между частными точками пиринга.

По состоянию на декабрь 2022 года почти половина (48 %) мобильного интернет-трафика приходится на Индию и Китай, тогда как Северная Америка и Европа в совокупности обеспечивают примерно четверть мирового показателя[1]. Тем не менее, мобильный трафик остаётся меньшей частью от общего сетевого трафика.

Источники трафика

Файлообмен составляет долю интернет-трафика[2]. Преобладающей технологией для обмена файлами является протокол BitTorrent, построенный по принципу одноранговых (P2P) сетей и использующий специальные сайты-индексаторы ресурсов. По данным исследования Sandvine (2013 год), доля BitTorrent в общем интернет-трафике снизилась на 20 % и составила 7,4 %, хотя в 2008 году этот показатель был на уровне 31 %[3].

По данным за 2023 год, примерно 65 % всего интернет-трафика приходится на видеосервисы[4], тогда как в 2016 году эта доля была около 51 %[5].

Управление трафиком

Internet Connectivity Distribution & Core.svg

Управление интернет-трафиком (или управление прикладным трафиком) — это общий термин для методов администрирования потоков данных в компьютерных сетях. В Интернете отсутствует централизованное управление трафиком: исторически в прототипных сетях (особенно ARPANET) вводился магистральный сегмент для пересылки трафика между ключевыми центрами обмена, что привело к многоуровневой структуре провайдеров Интернета, где магистральная сеть уровня 1 осуществляет бесплатный обмен трафиком между собой и маршрутизацию на более низкие уровни. Динамичный рост Интернета повлёк за собой увеличение межсетевых соединений на всех уровнях, что потребовало выработки стойкой системы к сбоям соединений, узким местам и локальным перегрузкам сети.

Экономическое управление трафиком (англ. Economic traffic management, ETM) — термин, который иногда применяют по отношению к практике сидирования как способу стимулирования вклада в одноранговом файлообмене и распространении контента в цифровой среде[6].

Налог на использование Интернета

В 2014 году в Венгрии был предложен налог на использование Интернета в размере 150 форинтов (0,62 доллара США или 0,47 евро) за каждый гигабайт данных. Эта инициатива предназначалась для сокращения объёма трафика, а также позволяла компаниям уменьшать налог на прибыль за счёт нового сбора[7]. В 2013 году в стране было передано 1,15 миллиарда гигабайт, а мобильные устройства добавили ещё 18 миллионов. Это могло бы дать дополнительный доход в 175 миллиардов форинтов согласно оценке консалтинговой фирмы eNet[7].

Министр экономики Михай Варга защитил эту инициативу словами о её справедливости, так как она отражает переход потребителей в Интернет от использования телефонной связи; «150 форинтов за каждый переданный гигабайт нужны для покрытия бюджета одной из наиболее задолжавших стран ЕС»[8].

Критики утверждали, что новый налог может негативно сказаться на экономическом развитии страны, ограничить доступ к информации и препятствовать свободе выражения[9]. Около 36 000 человек заявили о намерении принять участие в акции протеста перед министерством экономики[8].

В 1998 году в США был принят Закон о свободе Интернета от налогов (англ. Internet Tax Freedom Act, ITFA), запрещающий взимание прямых налогов на использование Интернета и связанные с этим онлайн-услуги, такие как эл. почта, доступ в сеть, битовый и полосовой налоги[10][11]. Изначально действие закона было ограничено 10 годами, но в дальнейшем он неоднократно продлевался и был сделан бессрочным в 2016 году. Целью ITFA было поддерживать рост интернет-трафика за счёт защиты пользователей от повторяющихся и дискриминационных налогов, способных препятствовать распространению и использованию Интернета. Закон сыграл заметную роль в развитии цифровой экономики и защите интересов потребителей. По оценкам Pew Research Center, по состоянию на 2024 год около 93 % американцев пользуются Интернетом.[12][13][14] К 2021 году 90 % домохозяйств в США имели широкополосный интернет[15][16]. Несмотря на защиту от прямых интернет-налогов, в США продолжаются дебаты о регулировании и управлении интернет-трафиком.

Классификация трафика

Классификация трафика описывает методы пассивного анализа сетевого трафика с целью его классификации по различным признакам. Простая классификация может делить трафик на массовую передачу данных, одноранговый обмен или ориентированную на транзакции передачу, а более тонкая — идентифицировать конкретные приложения или виды деятельности. Для классификации используются такие признаки, как номер порта, содержимое приложения, временные интервалы, размер пакета и характеристики передач. Существует широкий спектр методов распределения интернет-трафика, например, по точному признаку (номер порта), нагрузке, эвристике или статистическому машинному обучению.

Точная классификация сетевого трафика важна для ряда задач: мониторинга безопасности, учёта, обеспечения качества обслуживания (QoS) и долгосрочного планирования сетевой инфраструктуры. Тем не менее, дефицит информации (например, из заголовков пакетов) зачастую мешает достичь высокой точности этих методов.

Байесовские методы анализа

Работы по классификации сетевого трафика включают использование контролируемого машинного обучения. Данные предварительно классифицируются вручную (на основе содержимого потока) по набору категорий. Сочетание информации о категории данных и дескрипторов потока (длина, номера портов, интервалы между потоками) используется для обучения классификатора. Для повышения точности использование наивного байесовского классификатора дополняется введением предположений и использованием вспомогательных методов.

Классификация интернет-трафика может делить приложения на группы: условно, «нормальные» или «вредоносные» приложения; также возможна более точная идентификация конкретных приложений или реализаций TCP[17]. Примеры подходов взяты из работы C. Logg и др.[18]

Обзор методов

Классификация трафика лежит в основе автоматизированных систем обнаружения вторжений[19][20]. Они позволяют выявлять шаблоны использования сети, выделять ресурсоёмких клиентов и отслеживать нарушения условий обслуживания. Традиционные технологии классификации трафика ориентируются на прямой анализ содержимого пакетов в узлах сети. Для определения управляющего приложения используют адрес источника и получателя, а также номера портов серии пакетов (5-ка параметров). Простые подходы предполагают постоянство портов для большинства приложений (например, стандартные TCP или UDP), однако всё больше программ используют непредсказуемые номера портов. Поэтому современные методы обращаются к анализу данных в полезной нагрузке TCP или UDP пакетов для идентификации типа приложения[21].

Глобальный интернет-трафик

Агрегируя данные различных источников и применяя допущения по объёмам и битрейту, компания Cisco, являющаяся крупным производителем сетевых систем, публиковала следующие исторические данные по мировому трафику IP и Интернету:[22]

Глобальный интернет-трафик по годам
Год IP-трафик
(ПБ/месяц) 		Фиксированный интернет-трафик
(ПБ/месяц) 		Мобильный интернет-трафик
(ПБ/месяц)
1990 0,001 0,001 н/д
1991 0,002 0,002 н/д
1992 0,005 0,004 н/д
1993 0,01 0,01 н/д
1994 0,02 0,02 н/д
1995 0,18 0,17 н/д
1996 1,9 1,8 н/д
1997 5,4 5,0 н/д
1998 12 11 н/д
1999 28 26 н/д
2000 84 75 н/д
2001 197 175 н/д
2002 405 356 н/д
2003 784 681 н/д
2004 1 477 1 267 н/д
2005 2 426 2 055 0,9
2006 3 992 3 339 4
2007 6 430 5 219 15
2008[23] 10 174 8 140 33
2009[24] 14 686 10 942 91
2010[25] 20 151 14 955 237
2011[26] 30 734 23 288 597
2012[27][28] 43 570 31 339 885
2013[29] 51 168 34 952 1 480
2014[30] 59 848 39 909 2 514
2015[31] 72 521 49 494 3 685
2016[32] 96 054 65 942 7 201
2017[33] 122 000 85 000 12 000

Под «фиксированным интернет-трафиком» понимается, возможно, трафик от домашних и корпоративных пользователей операторов, кабельных компаний и других сервис-провайдеров. «Мобильный интернет-трафик» зачастую трактуется как бэкхол трафик от сотовых башен и поставщиков связи. Общий показатель «интернет-трафика» может быть примерно на 30 % больше суммы предыдущих двух, вероятно, за счёт включения обмена по национальному магистральному ядру сети.

Компания Cisco также публикует 5‑летние прогнозы.

Прогнозируемый мировой интернет-трафик по годам[33]
Год Фиксированный интернет-трафик
(ЭБ/месяц) 		Мобильный интернет-трафик
(ЭБ/месяц)
2018 107 19
2019 137 29
2020 174 41
2021 219 57
2022 273 77

Трафик в магистральных сетях США

Ниже приведены данные по магистральному трафику в США согласно Minnesota Internet Traffic Studies (MINTS):[34]

Магистральный трафик США по годам
Год Данные (ТБ/месяц)
1990 1
1991 2
1992 4
1993 8
1994 16
1995 н/д
1996 1 500
1997 2 500-4 000
1998 5 000-8 000
1999 10 000-16 000
2000 20 000-35 000
2001 40 000-70 000
2002 80 000—140 000
2003 н/д
2004 н/д
2005 н/д
2006 450 000—800 000
2007 750 000-1 250 000
2008 1 200 000-1 800 000
2009 1 900 000-2 400 000
2010 2 600 000-3 100 000
2011 3 400 000-4 100 000

По данным Cisco, значения могут быть в 7 раз выше, чем у Minnesota Internet Traffic Studies (MINTS), не только потому что Cisco оценивает глобальный, а не только национальный трафик США, но и потому, что учитывает весь трафик IP (в том числе и закрытые сети на протоколе IP, не являющиеся реальной частью Интернета, как IPTV некоторых телеком-операторов)[35]. Оценка MINTS для США за 2004 год (примерно 200 ПБ/месяц) примерно втрое превышает объём трафика крупнейшего национального магистрального провайдера Level(3) Inc., который заявлял о среднем уровне 60 ПБ/месяц[36].

Закон Эдхолма

В прошлом пропускная способность телекоммуникационных сетей каждые 18 месяцев удваивалась, что известно как закон Эдхолма[37]. Эта тенденция обусловлена прогрессом в полупроводниковых технологиях, например, развитием MOS-транзисторов по закону Мура. В 1980‑е внедрение волоконно-оптических технологий и лазерных источников света резко увеличило возможности передачи данных, что позволило сетям выйти на скорости передачи порядка террабит в секунду[38].

См. также

Примечания

  1. ↑ Kar, Ayushi End of American internet, India-China contribute to 50% of world's data traffic (англ.). www.thehindubusinessline.com (4 декабря 2022). Дата обращения: 24 декабря 2022.
  2. ↑ Data volume of global file sharing traffic from 2013 until 2018. Statista (2014). Дата обращения: 18 октября 2014.
  3. ↑ Paul Resenikoff. File-Sharing Now Accounts for Less Than 10% of US Internet Traffic... (12 ноября 2013). Дата обращения: 18 октября 2014.
  4. ↑ In 2022, 65% of all internet traffic came from video sites (20 января 2023).
  5. ↑ An explosion of online video could triple bandwidth consumption again in the next five years (8 июня 2017).
  6. ↑ Despotovic, Z., Hossfeld, T., Kellerer, W., Lehrieder, F., Oechsner, S., Michel, M. (2011). Mitigating Unfairness In Locality-Aware Peer-To-Peer Networks. International Journal of Network Management
  7. ↑ 1 2 Marton Dunai. Hungary plans new tax on Internet traffic, public calls for rally (2014). Архивировано 20 декабря 2015 года.
  8. ↑ 1 2 Anger mounts in Hungary over internet tax. Yahoo News (25 октября 2014). Дата обращения: 18 октября 2014.
  9. ↑ Margit Feher. Public outrage mounts against hunger's plan to tax internet use (2014). Дата обращения: 18 октября 2014.
  10. ↑ The Internet Tax Freedom Act: In Brief (амер. англ.). FAS Project on Government Secrecy. Дата обращения: 26 октября 2024.
  11. ↑ - INTERNET TAX ISSUES. www.govinfo.gov. Дата обращения: 26 октября 2024.
  12. ↑ Gottfried, Jeffrey Americans’ Social Media Use (амер. англ.). Pew Research Center (31 января 2024). Дата обращения: 26 октября 2024.
  13. ↑ Internet, Broadband Fact Sheet (амер. англ.). Pew Research Center (31 января 2024). Дата обращения: 26 октября 2024.
  14. ↑ Social Media Fact Sheet (амер. англ.). Pew Research Center (31 января 2024). Дата обращения: 26 октября 2024.
  15. ↑ 92 Percent of U.S. Households Get an Internet Service at Home (англ.). Benton Foundation (11 декабря 2023). Дата обращения: 26 октября 2024.
  16. ↑ Buckley, Sean LRG: 92% of households can get residential internet service (англ.). Lightwave (20 декабря 2023). Дата обращения: 26 октября 2024.
  17. ↑ J.Padhye; S.Floyd (июнь 2001). “Identifying the TCP Behavior of Web Servers”. In Proceedings of SIGCOMM 2011, San Diego, CA. Проверьте дату в |date= (справка на английском)
  18. ↑ SLAC National Accelerator Laboratory (2003). Дата обращения: 21 октября 2014. Архивировано 13 июня 2008 года.
  19. ↑ Bro intrusion detection system — Bro overview, http://bro-ids.org, as of August 14, 2007.
  20. ↑ V. Paxson, ‘Bro: A system for detecting network intruders in real-time,’ Computer Networks, no.31 (23-24), pp. 2435—2463, 1999
  21. ↑ S. Sen., O. Spatscheck, and D. Wang, ‘Accurate, scalable in network identification of P2P traffic using application signatures,’ in WWW2004, New York, NY, USA, May 2004.
  22. ↑ «Visual Networking Index», Cisco Systems
  23. ↑ Cisco, «Cisco Visual Networking Index: Forecast and Methodology, 2008—2013» (PDF), 9 июня 2009. Дата обращения: 13 июня 2016
  24. ↑ Cisco, «Cisco Visual Networking Index: Forecast and Methodology, 2009—2014» (PDF), 2 июня 2010. Дата обращения: 13 июня 2016
  25. ↑ Cisco, «Cisco Visual Networking Index: Forecast and Methodology, 2010—2015» (PDF), 1 июня 2011. Дата обращения: 13 июня 2016
  26. ↑ Cisco, «Cisco Visual Networking Index: Forecast and Methodology, 2011—2016 Архивировано 9 августа 2020 года.» (PDF), 30 мая 2012. Дата обращения: 13 июня 2016
  27. ↑ Cisco, «Cisco Visual Networking Index: Global Mobile Data Traffic Forecast Update, 2012—2017 Архивировано 12 августа 2016 года.» (PDF), 2 февраля 2013. Дата обращения: 13 июня 2016
  28. ↑ Cisco, «Cisco Visual Networking Index: Forecast and Methodology, 2012—2017» (PDF), 29 мая 2013. Дата обращения из архива: 28 августа 2016
  29. ↑ Cisco, «Cisco Visual Networking Index: Forecast and Methodology, 2013—2018» (PDF), 10 июня 2014. Дата обращения из архива: 28 августа 2016
  30. ↑ Cisco, «Cisco Visual Networking Index: Forecast and Methodology, 2014—2019» (PDF), 27 мая 2015. Дата обращения из архива: 28 августа 2016
  31. ↑ Cisco, «Cisco Visual Networking Index:Forecast and Methodology, 2015—2020» (PDF), 6 июня 2016. Дата обращения: 13 июня 2016
  32. ↑ Cisco, «Cisco Visual Networking Index:Forecast and Methodology, 2016—2021» (PDF), 6 июня 2017. Дата обращения: 14 августа 2017
  33. ↑ 1 2 Cisco, «Cisco Visual Networking Index:Forecast and Trends, 2017—2022» (PDF), 28 ноября 2018. Дата обращения: 9 января 2019
  34. ↑ Minnesota Internet Traffic Studies (MINTS) Архивировано 28 декабря 2017 года., Университет Миннесоты
  35. ↑ MINTS - Minnesota Internet Traffic Studies. Дата обращения: 16 апреля 2017.
  36. ↑ 2004 Annual Report, Level(3), апрель 2005, с. 1
  37. ↑ Cherry, Steven (2004). “Edholm's law of bandwidth”. IEEE Spectrum. 41 (7): 58—60. DOI:10.1109/MSPEC.2004.1309810. S2CID 27580722.
  38. ↑ Jindal, R. P. From millibits to terabits per second and beyond - over 60 years of innovation // 2009 2nd International Workshop on Electron Devices and Semiconductor Technology. — 2009. — P. 1–6. — ISBN 978-1-4244-3831-0. — doi:10.1109/EDST.2009.5166093.

Литература

  • Williamson, Carey (2001). “Internet Traffic Measurement”. IEEE Internet Computing. 5 (6): 70—74. DOI:10.1109/4236.968834.

Ссылки

Категории