Наука о данных

В 1962 году Джон Тьюки предвосхитил термин «Наука о данных» в своей статье «The Future of Data Analysis», где описал эволюцию математической статистики. В ней впервые был дан следующий подход к анализу данных: «Процедуры анализа данных, техники интерпретации результатов этих процедур, способы планирования сбора данных для более лёгкого, точного и верного анализа, и вся совокупность методов и результатов математической статистики, применяемых к анализу данных»^[9]. В 1977 году он опубликовал «Exploratory Data Analysis», где утверждал, что необходимо больший акцент делать на использовании данных для формулирования гипотез для последующего тестирования посредством статистических моделей.

Хотя наука о данных считается сравнительно новой дисциплиной, впервые этот термин был предложен датским учёным Питером Науром ещё в 1960-х годах как альтернатива для информатики. В 1974 году он опубликовал книгу «Concise Survey of Computer Methods»^[10], где широко использовал понятие «наука о данных», благодаря чему оно стало свободно использоваться в академических кругах.

В 1977 году основана Международная ассоциация вычислительной статистики (International Association for Statistical Computing, IASC) как секция International Statistical Institute (ISI): «Миссия IASC — соединить традиционные статистические методы, современные вычислительные технологии и знания экспертов предметной области, чтобы превращать данные в информацию и знания»^[11].

В 1996 году термин «Наука о данных» впервые использовался на конференции «Data Science, Classification and Related Methods», состоявшейся на собрании членов International Federation of Classification Societies (IFCS) в Кобе (Япония)^[11]. В 1997 году Чжефф Ву прочитал доклад «Statistics = Data Science?», где описал статистику как триаду — сбор, анализ и моделирование данных, а также принятие решений — и предложил переименовать дисциплину в науку о данных, а статистиков — в специалистов по данным^[12].

В 2001 году Уильям С. Кливленд представил науку о данных как самостоятельную дисциплину, расширяя границы статистики учётом достижений в обработке данных; в своей статье «Data science: an action plan for expanding the technical areas of the field of statistics» он выделил шесть технических областей, формирующих науку о данных: междисциплинарные исследования, модели и методы для данных, вычисления с данными, обучение, оценка инструментов и теория^[13].

В апреле 2002 года Международный совет по науке: комитет по данным (CODATA) начал издавать «Data Science Journal»^[14], который фокусируется на описании систем хранения данных, публикации в интернете, их прикладных задачах и юридических вопросах. В январе 2003 года Колумбийский университет начал издавать «The Journal of Data Science»^[15], предоставив платформу для обмена опытом между специалистами по данным.

В 2005 году Национальный научный совет США (The National Science Board) опубликовал отчёт «Long-Lived Digital Data Collections Enabling Research and Education in the 21st Century», где определял специалистов по данным как «научных работников по вычислениям и информации, программистов баз данных и ПО, а также отраслевых экспертов, […] которые играют ключевую роль в успешном управлении цифровыми коллекциями данных, их основной деятельностью является творческое исследование и анализ»^[16].

В 2008 году Джефф Хаммербахер и Ди Джей Патил стали применять термин «специалист по данным» к своим ролям в компаниях^[17],

В 2009 году Яньюн Чжу и Юнь Сюн из Research Center for Dataology and Data Science опубликовали работу «Introduction to Dataology and Data Science», где утверждали: «В отличие от естественных и социальных наук, датология и наука о данных изучают данные в сети как объект исследования»^[11].

В 2013 году была создана рабочая группа IEEE по науке о данных и продвинутой аналитике (IEEE Task Force on Data Science and Advanced Analytics)^[18], а первая международная конференция «IEEE International Conference on Data Science and Advanced Analytics» состоялась в 2014 году^[19]. В 2015 году издательство Springer запустило журнал «International Journal on Data Science and Analytics», посвящённый публикации оригинальных работ по науке о данных и аналитике больших данных^[20].

В сентябре 1994 года журнал BusinessWeek опубликовал статью «Маркетинг баз данных», в которой отмечалось, что компании собирают огромные объёмы клиентских данных и используют их для прогнозирования вероятности покупки продукта. Эти знания позволяют формировать высокоточные маркетинговые послания, чтобы привлечь внимание определённого покупателя. В то же время отмечалось, что в 1980-х распространение сканеров штрихкодов вызвало разочарование, поскольку объём данных оказался слишком велик для извлечения практической пользы. Однако многие компании уверены, что необходимо преодолевать этот барьер, чтобы создавать более совершенные маркетинговые технологии^[21].

В 2014 году шведский музыкальный сервис Spotify купил компанию The Echo Nest, специализирующуюся на науке о данных в музыкальной сфере. Теперь она занимается хранением и анализом информации о 170 миллионах пользователей Spotify^[22]. С помощью Echo Nest в 2015 году Spotify запустил сервис персонализированных музыкальных рекомендаций Discover Weekly, который еженедельно предлагает каждому пользователю подборку песен, потенциально интересных на основе анализа прослушанной музыки и поисковой истории. Сервис получил положительные отзывы^[23] и является значимым конкурентным преимуществом компании^[24].

Компания Netflix анализирует привычки потребления своих более чем 120 миллионов пользователей через алгоритмы, что позволяет определять и прогнозировать предпочтения аудитории и формировать персонализированные рекомендации. Тодд Еллин, вице-президент по продукту Netflix, отмечал, что анализируется время входа пользователя, продолжительность работы с платформой, список просмотренных материалов и даже их последовательность — все эти данные используются для совершенствования рекомендаций^[25].

В странах Латинской Америки Межамериканский банк развития (BID) проводил исследования применения науки о данных в проектировании и реализации государственной политики на примере таких стран, как Аргентина и Бразилия, формулируя рекомендации по внедрению и поддержанию подобных решений.

Рассматриваются вопросы устойчивой городской мобильности, умных городов, безопасности, приватности и собственности данных. В исследовании подчёркивается важность «интеллекта публичной ценности», которая способна стать стратегическим инструментом для принятия решений и формирования, внедрения и оценки политики. Также подчёркивается, что использование науки о данных повышает подотчётность государственных институтов гражданам и совершенствует работу государственных данных^[26].

Термин «большие данные» применяется к огромным объёмам информации, которые невозможно эффективно обработать с помощью традиционных программных инструментов^[27]. Согласно руководству Amazon Web Services, под большими данными понимаются настолько крупные массивы информации, для которых характерны трудности хранения в обычных базах данных, обработки на стандартных серверах и анализа привычными инструментами.

Понятие «большие данные» тесно связано с наукой о данных, поскольку именно она предоставляет инструменты для анализа таких сложных и неструктурированных массивов, что позволяет принимать обоснованные решения в области операций и новых продуктов.

Профессионалы, занимающиеся наукой о данных, называются специалистами по данным; согласно образовательному проекту Master in Data Science, специалист по данным — это сочетание статистика, информатика, математика и креативного мыслителя со следующими навыками:

• Сбор, обработка и извлечение ценности из разнообразных и объёмных баз данных;
• Умение представлять, визуализировать, интерпретировать и доносить сложные результаты до неспециалистов;
• Создание решений на основе данных с целью увеличения прибыли и сокращения издержек;
• Специалисты по данным востребованы во всех отраслях и драйвят крупные проекты на всех уровнях.

Процесс решения задач специалистом по данным включает этапы:

1. Извлечение данных вне зависимости от источника и объёма.
2. Очистка данных для устранения искажений.
3. Обработка данных с помощью статистических методов (например, статистическое выводение, регрессионные модели, проверка гипотез).
4. Построение дополнительных экспериментов при необходимости.
5. Создание графических визуализаций ключевых данных исследования^[28].

Доктор статистики Нэйтан Яу отмечал, что специалист по данным — это статистик, который должен освоить интерфейсы программирования прикладных программ (API), базы данных и методы извлечения данных; это дизайнер, осваивающий программирование; и это компьютерщик, изучающий методы анализа и смыслового поиска данных^[29].

В диссертации Бенджамина Фрая описан процесс анализа данных как движение от набора чисел к постановке вопросов о данных; на каждом из этапов (сбор, анализ, фильтрация, извлечение, представление, уточнение, взаимодействие) требуются узкоспециализированные подходы: системные инженеры, математики, статистики, графические дизайнеры, специалисты по визуализации информации и эксперты по взаимодействию человека с компьютером (human-computer interaction, HCI). При этом наличие разных специализаций зачастую усложняет процесс, так как каждое звено решает задачу только в своей области, и результат может теряться при переходе между этапами^[30].

Дрю Конвей на своём сайте визуализировал основные навыки специалиста по данным с помощью диаграммы Венна, отражая их взаимосвязь.

Наука о данных как дисциплина и профессия («специалист по данным») приобретает всю большую значимость во всём мире. Томас Х. Давенпорт высказал мнение, что профиль специалиста по данным представлен как гибрид «хакера данных», аналитика, коммуникатора и советника — крайне востребованное и редкое сочетание компетенций. Давенпорт отмечал, что специалист по данным должен иметь свободу для экспериментов и самостоятельных поисков, а в той же статье даёт рекомендации по поиску необходимых специалистов (стр. 74 статьи)^[31].

Отчёт компании McKinsey (2011)^[32] оценивал, что спрос на специалистов по анализу данных к 2018 году может достичь 440—490 тысяч человек.

К самым острым технологическим вызовам сегодня относятся:

• Объём данных: геномика, медицинский мониторинг (реанимация, носимые устройства), социальные данные. Требуются новые методы хранения, интеграции, анализа для таких данных;
• Физическое хранение данных: необходимы новые среды и архитектуры для эффективного хранения;
• Проблемы интероперабельности: различные медицинские учреждения используют разные системы, требуется слой совместимости для интеграции ИТ-решений;
• Очистка, интеграция, анализ, инструменты: при наличии разнообразных источников данных нужны новые средства для выделения полезной информации;
• Интерпретируемость моделей искусственного интеллекта, влияние изменений в протоколах и нормативной базе на качество данных^[33].